Keras: Introduction to Mini-Batch Gradient Descent

Sumber: https://machinelearningmastery.com/gentle-introduction-mini-batch-gradient-descent-configure-batch-size/

Stochastic gradient descent adalah metoda yang banyak digunakan untuk train deep learning model.

Ada tiga varian utama gradient descent dan bisa membingungkan mana yang akan digunakan. Dalam tulisan ini, anda akan menemukan satu jenis gradient descent yang harus anda gunakan secara umum dan cara mengkonfigurasinya.

Setelah selesai membaca tulisan ini, anda akan tahu:

• Apa itu gradient descent dan bagaimana kerjanya pada tingkat tinggi.
• Apakah batch, stochastic, dan mini-batch gradient descent serta manfaat dan keterbatasan masing-masing metode.
• Mini-batch gradient descent adalah metode yang relatif paling aman dan cara mengkonfigurasinya pada aplikasi anda.

Tutorial Overview

Tutorial dibagi dalam tiga (3) bagian, yaitu:

• Apakah Gradient Descent?
• Perbandingan antara 3 Type Gradient Descent
• Care mengkonfigurasi Mini-Batch Gradient Descent

Apakah Gradient Descent?

Gradient descent adalah algoritma optimasi yang sering digunakan untuk menemukan weight atau koefisien algoritma machine learning, seperti artificial neural networks dan logistic regression.

Ini bekerja dengan meminta model membuat prediksi pada data training dan menggunakan kesalahan pada prediksi untuk memperbarui model sedemikian rupa agar bisa mengurangi kesalahan.

Tujuan algoritma adalah untuk menemukan parameter model (mis. Koefisien atau weight) yang meminimalkan kesalahan model pada dataset training. Algoritma melakukan ini dengan membuat perubahan pada model yang memindahkannya sepanjang gradien atau kemiringan kesalahan ke bawah menuju nilai kesalahan minimum. Hal ini menyebabkan nama algoritma "gradient descent."

Pseudocode di bawah ini merangkum algoritma gradient descent:

model = initialization(...)
n_epochs = ...
train_data = ...
for i in n_epochs:
	train_data = shuffle(train_data)
	X, y = split(train_data)
	predictions = predict(X, model)
	error = calculate_error(y, predictions)
	model = update_model(model, error)

Untuk informasi lebih lanjut bisa membaca:

• Keras: Gradient Descent For Machine Learning
• Keras: How to Implement Linear Regression with Stochastic Gradient Descent from Scratch with Python

Membandingkan 3 Type Gradient Descent

Gradient descent dapat bervariasi dalam hal jumlah pola training yang digunakan untuk menghitung kesalahan; yang nantinya digunakan untuk memperbarui model.

Jumlah pola yang digunakan untuk menghitung kesalahan termasuk seberapa stabil gradien yang digunakan untuk memperbarui model. Kita akan melihat bahwa ada tarik ulur dalam konfigurasi gradient descent akan efisiensi komputasi dengan ketepatan dari gradien error.

Tiga variasi utama dari gradient descent adalah batch, stochastic, dan mini-batch.

Mari kita melihat lebih dekat pada masing-masing.

Apakah Stochastic Gradient Descent?

Stochastic gradient descent, kadang di singkat SGD, adalah varian dari algoritma gradient descent yang menghitung error dan memperbarui model untuk setiap contoh dalam dataset training.

Update model untuk setiap contoh training berarti bahwa stochastic gradient descent disebut online machine learning algorithm.

Sisi Baik

• Update yang sering akan segera memberi gambaran tentang kinerja model dan tingkat perbaikan.
• Varian gradient descent ini mungkin paling sederhana untuk dipahami dan diterapkan, terutama untuk pemula.
• Peningkatan frekuensi update model dapat menghasilkan pembelajaran yang lebih cepat pada beberapa masalah.
• Proses pembaruan yang noisy akan memungkinkan model untuk menghindari minimum lokal (mis. konvergensi prematur).

Sisi Buruk

• Updating model sering dilakukan mengakibatkan lebih mahal secara komputasi daripada konfigurasi gradient descent lainnya, membutuhkan waktu lebih lama untuk melatih model pada dataset besar.
• Update yang sering dapat menghasilkan sinyal gradien yang noisy, yang dapat menyebabkan parameter model dan pada gilirannya kesalahan model untuk melompat-lompat (memiliki varians yang lebih tinggi selama training epoch).
• Proses learning yang noisy pada error gradient juga dapat mempersulit algoritma untuk menyelesaikan error minimum untuk model.

Apakah Batch Gradient Descent?

Batch gradient descent adalah variasi dari algoritma gradient descent yang menghitung error untuk setiap contoh dalam dataset training, tetapi hanya mengupdate model setelah semua contoh training telah dievaluasi.

Satu siklus yang melalui seluruh dataset training disebut training epoch. Oleh karena itu, sering dikatakan bahwa batch gradient descent melakukan update model pada akhir setiap periode training.

Sisi Baik

• Lebih sedikit update pada model berarti varian gradient descent ini lebih efisien secara komputasi daripada stochastic gradient descent.
• Frekuensi update yang berkurang menghasilkan gradien error yang lebih stabil dan dapat menghasilkan konvergensi yang lebih stabil pada beberapa masalah.
• Pemisahan perhitungan prediksi error dan update model memberikan algoritma untuk implementasi berbasis pemrosesan paralel.

Sisi Buruk

• Gradien error yang lebih stabil dapat mengakibatkan konvergensi prematur model ke set parameter yang kurang optimal.
• Update di akhir training epoch membutuhkan kompleksitas tambahan dari akumulasi prediksi error di semua contoh training.
• Umumnya, batch gradient descent diimplementasikan sedemikian rupa sehingga membutuhkan seluruh dataset training dalam memori dan tersedia untuk algoritma.
• Update model, dan pada akhirnya kecepatan training, mungkin menjadi sangat lambat untuk kumpulan data besar.

Apakah Mini-Batch Gradient Descent?

Mini-batch gradient descent adalah variasi dari algoritma gradient descent yang membagi dataset training menjadi kelompok-kelompok kecil yang digunakan untuk menghitung error model dan update koefisien model.

Saat implementasi dapat memilih untuk menjumlahkan gradien atas mini-batch yang selanjutnya mengurangi varian dari gradien.

Mini-batch gradient descent berupaya menemukan keseimbangan antara kekokohan stochastic gradient descent dan efisiensi batch gradient descent. Ini adalah implementasi paling umum dari gradient descent yang digunakan dalam bidang deep learning.

Sisi Baik

• Frekuensi update model lebih tinggi daripada batch gradient descent yang memungkinkan untuk konvergensi yang lebih kuat, menghindari minimum lokal.
• Update batch memberikan proses komputasi yang lebih efisien daripada stochastic gradient descent.
• Batch memungkinkan efisiensi untuk tidak memiliki semua data training dalam memori dan implementasi algoritma.

Sisi Buruk

• Mini-batch membutuhkan konfigurasi hyperparameter "mini-batch size" tambahan untuk algoritma pembelajaran.
• Informasi error harus diakumulasikan melalui mini-batch contoh training seperti batch gradient descent.

How to Configure Mini-Batch Gradient Descent

Mini-batch gradient descent is the recommended variant of gradient descent for most applications, especially in deep learning.

Mini-batch sizes, commonly called “batch sizes” for brevity, are often tuned to an aspect of the computational architecture on which the implementation is being executed. Such as a power of two that fits the memory requirements of the GPU or CPU hardware like 32, 64, 128, 256, and so on.

Batch size is a slider on the learning process.

• Small values give a learning process that converges quickly at the cost of noise in the training process.
• Large values give a learning process that converges slowly with accurate estimates of the error gradient.

Tip 1: A good default for batch size might be 32.

… [batch size] is typically chosen between 1 and a few hundreds, e.g. [batch size] = 32 is a good default value, with values above 10 taking advantage of the speedup of matrix-matrix products over matrix-vector products. — Practical recommendations for gradient-based training of deep architectures, 2012

Update 2018: here is another paper supporting a batch size of 32, here’s the quote (m is batch size):

The presented results confirm that using small batch sizes achieves the best training stability and generalization performance, for a given computational cost, across a wide range of experiments. In all cases the best results have been obtained with batch sizes m = 32 or smaller, often as small as m = 2 or m = 4. — Revisiting Small Batch Training for Deep Neural Networks, 2018.

Tip 2: It is a good idea to review learning curves of model validation error against training time with different batch sizes when tuning the batch size.

… it can be optimized separately of the other hyperparameters, by comparing training curves (training and validation error vs amount of training time), after the other hyper-parameters (except learning rate) have been selected.

Tip 3: Tune batch size and learning rate after tuning all other hyperparameters.

… [batch size] and [learning rate] may slightly interact with other hyper-parameters so both should be re-optimized at the end. Once [batch size] is selected, it can generally be fixed while the other hyper-parameters can be further optimized (except for a momentum hyper-parameter, if one is used).

Further Reading

This section provides more resources on the topic if you are looking go deeper. Related Posts

   Gradient Descent for Machine Learning
   How to Implement Linear Regression with Stochastic Gradient Descent from Scratch with Python

Additional Reading

   Stochastic gradient descent on Wikipedia
   Online machine learning on Wikipedia
   An overview of gradient descent optimization algorithms
   Practical recommendations for gradient-based training of deep architectures, 2012
   Efficient Mini-batch Training for Stochastic Optimization, 2014
   In deep learning, why don’t we use the whole training set to compute the gradient? on Quora
   Optimization Methods for Large-Scale Machine Learning, 2016

Summary

In this post, you discovered the gradient descent algorithm and the version that you should use in practice.

Specifically, you learned:

• What gradient descent is and how it works from a high level.
• What batch, stochastic, and mini-batch gradient descent are and the benefits and limitations of each method.
• That mini-batch gradient descent is the go-to method and how to configure it on your applications.

Referensi

• https://machinelearningmastery.com/gentle-introduction-mini-batch-gradient-descent-configure-batch-size/

Pranala Menarik

• Keras