Keras: Prediction

Sumber: https://machinelearningmastery.com/how-to-make-classification-and-regression-predictions-for-deep-learning-models-in-keras/

Setelah kita memilih dan fit deep learning model di Keras, kita dapat menggunakannya untuk membuat prediksi pada instance data baru.

Ada beberapa kebingungan di kalangan pemula tentang bagaimana tepatnya melakukan ini. Sering terlihat pertanyaan seperti:

• Bagaimana cara membuat prediksi dengan model yang saya peroleh di Keras?

Dalam tutorial ini, kita akan menemukan bagaimana tepatnya kita dapat membuat prediksi klasifikasi dan regresi dengan model deep learning yang telah diperoleh dengan library Keras Python.

Setelah menyelesaikan tutorial ini, kita diharapkan bisa mengetahui tentang:

• Bagaimana memperoleh final model agar siap untuk digunakan untuk melakukan pediction.
• Bagaimana cara membuat class dan probability prediction untuk classification problem di Keras.
• Bagaimana cara melakukan regression prediction di Keras.

Finalisasi Model

Sebelum kita dapat membuat prediksi, kita harus me-train untuk memperoleh final model.

Kita mungkin telah men-train model menggunakan k-fold cross validation atau train/test split dari data yang ada. Ini dilakukan untuk memberi kita perkiraan kemampuan model pada data sampel, mis. ada yang data baru.

Model-model ini setelah memenuhi fungsi-nya, sekarang dapat dibuang.

Kita sekarang harus men-train final model menggunakan semua data yang tersedia. Kita dapat mempelajari lebih lanjut tentang cara me-train final model di:

• Keras: Cara Training Final Machine Learning Model

Classification Prediction

Masalah klasifikasi adalah masalah ketika model belajar memetakan antara fitur input dan fitur output yang merupakan label, seperti "spam" dan "not spam".

Bagi pemula dengan Keras ada baiknya membaca

• Keras: Develop Your First Neural Network in Python Step-By-Step

Di bawah ini adalah contoh finalized neural network model dalam Keras yang dikembangkan untuk masalah klasifikasi dua kelas (biner) sederhana.

# example of training a final classification model
from keras.models import Sequential
from keras.layers import Dense
from sklearn.datasets.samples_generator import make_blobs
from sklearn.preprocessing import MinMaxScaler
# generate 2d classification dataset
X, y = make_blobs(n_samples=100, centers=2, n_features=2, random_state=1)
scalar = MinMaxScaler()
scalar.fit(X)
X = scalar.transform(X)
# define and fit the final model
model = Sequential()
model.add(Dense(4, input_dim=2, activation='relu'))
model.add(Dense(4, activation='relu'))
model.add(Dense(1, activation='sigmoid'))
model.compile(loss='binary_crossentropy', optimizer='adam')
model.fit(X, y, epochs=200, verbose=0)

Setelah selesai, kita mungkin ingin menyimpan model ke file, mis. melalui API Keras. Setelah disimpan, kita dapat me-load model kapan saja dan menggunakannya untuk membuat prediksi. Untuk contohnya, lihat posting:

• Keras: Save and Load Your Keras Deep Learning Model

Untuk mempermudah, kita akan skip langkah ini sebagai contoh dalam tutorial ini.

Ada dua jenis prediksi klasifikasi yang ingin kita buat dengan model final; jenisnya adalah class prediction dan probability prediction.

Class Prediction

Prediksi kelas diberikan model final dan satu atau lebih instance data, memprediksi kelas untuk instance data.

Kita tidak tahu class yang akan dihasilkan untuk data baru. Itu sebabnya kita membutuhkan model tersebut.

Kita dapat memprediksi class untuk instance data baru menggunakan model klasifikasi final yang kita buat di Keras menggunakan fungsi predict_classes(). Perhatikan bahwa fungsi ini hanya tersedia pada model Sequential, bukan model yang dikembangkan menggunakan API fungsional.

Sebagai contoh, kita memiliki satu atau lebih contoh data dalam array yang disebut Xnew. Ini dapat diteruskan ke fungsi predict_classes () pada model kita untuk memprediksi nilai class untuk setiap instance dalam array.

Xnew = [[...], [...]]
ynew = model.predict_classes(Xnew)

Mari kita buat ini dengan contoh:

# example making new class predictions for a classification problem
from keras.models import Sequential
from keras.layers import Dense
from sklearn.datasets.samples_generator import make_blobs
from sklearn.preprocessing import MinMaxScaler
# generate 2d classification dataset
X, y = make_blobs(n_samples=100, centers=2, n_features=2, random_state=1)
scalar = MinMaxScaler()
scalar.fit(X)
X = scalar.transform(X)
# define and fit the final model
model = Sequential()
model.add(Dense(4, input_dim=2, activation='relu'))
model.add(Dense(4, activation='relu'))
model.add(Dense(1, activation='sigmoid'))
model.compile(loss='binary_crossentropy', optimizer='adam')
model.fit(X, y, epochs=500, verbose=0)
# new instances where we do not know the answer
Xnew, _ = make_blobs(n_samples=3, centers=2, n_features=2, random_state=1)
Xnew = scalar.transform(Xnew)
# make a prediction
ynew = model.predict_classes(Xnew)
# show the inputs and predicted outputs
for i in range(len(Xnew)):
	print("X=%s, Predicted=%s" % (Xnew[i], ynew[i]))

Menjalankan contoh untuk memprediksi class untuk tiga contoh data baru, lalu mem-print data dan hasil prediksi-nya.

X=[0.89337759 0.65864154], Predicted=[0]
X=[0.29097707 0.12978982], Predicted=[1]
X=[0.78082614 0.75391697], Predicted=[0]

Jika kita hanya memiliki satu instance data baru, kita bisa memberikan ini sebagai instance yang dibungkus dalam array ke fungsi predict_classes(); sebagai contoh:

# example making new class prediction for a classification problem
from keras.models import Sequential
from keras.layers import Dense
from sklearn.datasets.samples_generator import make_blobs
from sklearn.preprocessing import MinMaxScaler
from numpy import array
# generate 2d classification dataset
X, y = make_blobs(n_samples=100, centers=2, n_features=2, random_state=1)
scalar = MinMaxScaler()
scalar.fit(X)
X = scalar.transform(X)
# define and fit the final model
model = Sequential()
model.add(Dense(4, input_dim=2, activation='relu'))
model.add(Dense(4, activation='relu'))
model.add(Dense(1, activation='sigmoid'))
model.compile(loss='binary_crossentropy', optimizer='adam')
model.fit(X, y, epochs=500, verbose=0)
# new instance where we do not know the answer
Xnew = array(0.89337759, 0.65864154)
# make a prediction
ynew = model.predict_classes(Xnew)
# show the inputs and predicted outputs
print("X=%s, Predicted=%s" % (Xnew[0], ynew[0]))

Menjalankan contoh mem-print instance tunggal dan mem-prediksi class.

X=[0.89337759 0.65864154], Predicted=[0]

Catatan tentang Class Label

Catatan bahwa saat kita menyiapkan data, kita akan memetakan nilai class dari domain yang kita gunakan (seperti string) ke nilai integer. Kita mungkin telah menggunakan LabelEncoder.

LabelEncoder ini dapat digunakan untuk mengonversi bilangan integer kembali ke nilai string melalui fungsi inverse_transform ().

Untuk alasan ini, kita mungkin ingin menyimpan (pickle) LabelEncoder yang digunakan untuk meng-encode nilai y yang kita gunakan saat melakukan fitting final model kita.

Probability Prediction

Jenis prediksi lain yang mungkin ingin kita buat adalah probabilitas dari instance data milik masing-masing kelas.

Ini disebut probability prediction di mana, untuk instance baru, model mengembalikan probabilitas untuk hasil setiap class sebagai nilai antara 0 dan 1.

Kita dapat membuat jenis prediksi ini dalam Keras dengan memanggil fungsi predict_proba(); sebagai contoh:

Xnew = [[...], [...]]
ynew = model.predict_proba(Xnew)

Dalam kasus masalah klasifikasi dua class (biner), fungsi aktivasi sigmoid sering digunakan dalam lapisan output. Probabilitas yang diprediksi diambil sebagai kemungkinan observasi milik class 1, atau terbalik (1 - probabilitas) untuk memberikan probabilitas untuk class 0.

Dalam kasus masalah klasifikasi multi-class, fungsi aktivasi softmax sering digunakan pada lapisan output dan kemungkinan pengamatan untuk setiap kelas dikembalikan sebagai vektor.

Contoh di bawah ini membuat probability prediction untuk setiap contoh dalam Xnew array pada instance data.

# example making new probability predictions for a classification problem
from keras.models import Sequential
from keras.layers import Dense
from sklearn.datasets.samples_generator import make_blobs
from sklearn.preprocessing import MinMaxScaler
# generate 2d classification dataset
X, y = make_blobs(n_samples=100, centers=2, n_features=2, random_state=1)
scalar = MinMaxScaler()
scalar.fit(X)
X = scalar.transform(X)
# define and fit the final model
model = Sequential()
model.add(Dense(4, input_dim=2, activation='relu'))
model.add(Dense(4, activation='relu'))
model.add(Dense(1, activation='sigmoid'))
model.compile(loss='binary_crossentropy', optimizer='adam')
model.fit(X, y, epochs=500, verbose=0)
# new instances where we do not know the answer
Xnew, _ = make_blobs(n_samples=3, centers=2, n_features=2, random_state=1)
Xnew = scalar.transform(Xnew)
# make a prediction
ynew = model.predict_proba(Xnew)
# show the inputs and predicted outputs
for i in range(len(Xnew)):
	print("X=%s, Predicted=%s" % (Xnew[i], ynew[i]))

Menjalankan instance membuat probability prediction dan kemudian mem-print input data instance dan probabilitas setiap instance milik class 1.

X=[0.89337759 0.65864154], Predicted=[0.0087348]
X=[0.29097707 0.12978982], Predicted=[0.82020265]
X=[0.78082614 0.75391697], Predicted=[0.00693122]

Ini dapat membantu dalam aplikasi kita jika kita ingin menyajikan probabilitas kepada pengguna untuk interpretasi ahli.

Regression Prediction

Regresi adalah supervised learning problem di mana diberikan contoh input, model akan belajar melakukan pemetaan untuk jumlah output yang sesuai, seperti "0,1" dan "0,2", dll.

Di bawah ini adalah contoh model Keras untuk regresi.

# example of training a final regression model
from keras.models import Sequential
from keras.layers import Dense
from sklearn.datasets import make_regression
from sklearn.preprocessing import MinMaxScaler
# generate regression dataset
X, y = make_regression(n_samples=100, n_features=2, noise=0.1, random_state=1)
scalarX, scalarY = MinMaxScaler(), MinMaxScaler()
scalarX.fit(X)
scalarY.fit(y.reshape(100,1))
X = scalarX.transform(X)
y = scalarY.transform(y.reshape(100,1))
# define and fit the final model
model = Sequential()
model.add(Dense(4, input_dim=2, activation='relu'))
model.add(Dense(4, activation='relu'))
model.add(Dense(1, activation='linear'))
model.compile(loss='mse', optimizer='adam')
model.fit(X, y, epochs=1000, verbose=0)

Kita dapat memprediksi kuantitas dengan model regresi final dengan memanggil fungsi predict() pada model final.

Fungsi predict () mengambil array dari satu atau lebih instance data.

Contoh di bawah ini menunjukkan cara membuat regression prediction pada multiple contoh data dengan hasil belum diketahui.

# example of making predictions for a regression problem
from keras.models import Sequential
from keras.layers import Dense
from sklearn.datasets import make_regression
from sklearn.preprocessing import MinMaxScaler
# generate regression dataset
X, y = make_regression(n_samples=100, n_features=2, noise=0.1, random_state=1)
scalarX, scalarY = MinMaxScaler(), MinMaxScaler()
scalarX.fit(X)
scalarY.fit(y.reshape(100,1))
X = scalarX.transform(X)
y = scalarY.transform(y.reshape(100,1))
# define and fit the final model
model = Sequential()
model.add(Dense(4, input_dim=2, activation='relu'))
model.add(Dense(4, activation='relu'))
model.add(Dense(1, activation='linear'))
model.compile(loss='mse', optimizer='adam')
model.fit(X, y, epochs=1000, verbose=0)
# new instances where we do not know the answer
Xnew, a = make_regression(n_samples=3, n_features=2, noise=0.1, random_state=1)
Xnew = scalarX.transform(Xnew)
# make a prediction
ynew = model.predict(Xnew)
# show the inputs and predicted outputs
for i in range(len(Xnew)):
	print("X=%s, Predicted=%s" % (Xnew[i], ynew[i]))

Menjalankan contoh membuat beberapa prediksi, lalu mem-print input dan prediksi secara berdampingan untuk ditinjau.

X=[0.29466096 0.30317302], Predicted=[0.17097184]
X=[0.39445118 0.79390858], Predicted=[0.7475489]
X=[0.02884127 0.6208843 ], Predicted=[0.43370453]

Fungsi yang sama dapat digunakan untuk membuat prediksi untuk instance data tunggal, asalkan dibungkus yang sesuai dengan list atau array yang mengelilinginya.

Contoh:

# example of making predictions for a regression problem
from keras.models import Sequential
from keras.layers import Dense
from sklearn.datasets import make_regression
from sklearn.preprocessing import MinMaxScaler
from numpy import array
# generate regression dataset
X, y = make_regression(n_samples=100, n_features=2, noise=0.1, random_state=1)
scalarX, scalarY = MinMaxScaler(), MinMaxScaler()
scalarX.fit(X)
scalarY.fit(y.reshape(100,1))
X = scalarX.transform(X)
y = scalarY.transform(y.reshape(100,1))
# define and fit the final model
model = Sequential()
model.add(Dense(4, input_dim=2, activation='relu'))
model.add(Dense(4, activation='relu'))
model.add(Dense(1, activation='linear'))
model.compile(loss='mse', optimizer='adam')
model.fit(X, y, epochs=1000, verbose=0)
# new instance where we do not know the answer
Xnew = array(0.29466096, 0.30317302)
# make a prediction
ynew = model.predict(Xnew)
# show the inputs and predicted outputs
print("X=%s, Predicted=%s" % (Xnew[0], ynew[0]))

Running the example makes a single prediction and prints the data instance and prediction for review.

X=[0.29466096 0.30317302], Predicted=[0.17333156]

Further Reading

This section provides more resources on the topic if you are looking to go deeper.

   How to Train a Final Machine Learning Model
   Save and Load Your Keras Deep Learning Models
   Develop Your First Neural Network in Python With Keras Step-By-Step
   The 5 Step Life-Cycle for Long Short-Term Memory Models in Keras
   How to Make Predictions with Long Short-Term Memory Models in Keras

Summary

Dalam tutorial ini, telah di terangkan bagaimana kita bisa classification prediction dan regression prediction dengan memfinalisasi model deep learning dengan library Keras Python.

Terutama, kita belajar:

• Bagaimana mem-finalisasi model agar siap untuk membuat prediksi.
• Cara membuat class prediction dan probability prediction untuk classification problem di Keras.
• Cara membuat regression prediction di dalam Keras.

Referensi

• https://machinelearningmastery.com/how-to-make-classification-and-regression-predictions-for-deep-learning-models-in-keras/

Pranala Menarik

• Keras
• Python