Keras: Embrace Randomness

Sumber: https://machinelearningmastery.com/randomness-in-machine-learning/

Applied Machine Learning adalah pintu gerbang untuk terobosan dan perubahan pola pikir.

Memahami peran keacakan dalam algoritma machine learning adalah salah satu terobosan tersebut.

Setelah anda mendapatkannya, anda akan melihat berbagai hal secara berbeda. Dalam cahaya sinar yang sama sekali baru. Hal-hal seperti memilih antara satu algoritma dan lainnya, penyetelan hyperparameter dan hasil pelaporan.

Anda juga akan mulai melihat abuse di mana-mana. Klaim kinerja tanpa didukung yang memadai.

Dalam tulisan ini, mata anda akan dibuka secara perlahan tentang peran angka random dalam machine learning. Jika akan diberikan tool untuk merangkul randomness (ketidakpastian) tersebut. Agar anda dapat lebih mudah melakukan terobosan.

Mengapa hasil berbeda padahal data sama?

Banyak orang menanyakan pertanyaan ini atau varian dari pertanyaan ini.

Anda tidak sendiri!

Berikut adalah beberapa pertanyaan serupa yang diposting di situs Q&A:

• Why do I get different results each time I run my algorithm?
• Cross-Validation gives different result on the same data
• Why are the weights different in each running after convergence?
• Does the same neural network with the same learning data and same test data in two computers give different results?

Algoritma Machine Learning Menggunakan Angka Random

Algoritma machine learning menggunakan keacakan (randomness).

1. Randomness saat Data Collection - Di training dengan data yang berbeda, algoritma machine learning akan membangun model yang berbeda. Itu tergantung pada algoritma. Betapa berbedanya suatu model dengan data yang berbeda disebut varian model (seperti dalam bias-variance trade off). Jadi, data itu sendiri adalah sumber keacakan. Keacakan dalam pengumpulan data.
2. Randomness saat Observation Order - Urutan pengamatan yang diberikan pada model mempengaruhi keputusan internal. Beberapa algoritma sangat rentan terhadap hal ini, seperti neural network. Merupakan praktik yang baik untuk mengacak data training secara acak sebelum setiap iterasi training. Bahkan jika algoritme anda tidak rentan. Ini praktik terbaik.
3. Randomness dalam Algoritma - Algoritma memanfaatkan randomness (keacakan). Algoritma dapat diinisialisasi ke keadaan random (acak). Seperti inisialisasi weight dalam artificial neural network. Voting yang berakhir dengan hasil imbang (dan keputusan internal lainnya) selama training dalam metode deterministik mungkin bergantung pada randomness (keacakan) untuk bisa menyelesaikan-nya.
4. Randomness dalam Sampling - Kita mungkin memiliki terlalu banyak data untuk dikerjakan secara wajar. Dalam hal ini, kita dapat bekerja dengan subsampel acak untuk men-train model.
5. Randomness dalam Resampling - Kita akan mengambil sampel ketika kita mengevaluasi suatu algoritma. Kita akan menggunakan teknik seperti split data menjadi training data secara acak dan set test atau menggunakan validasi k-fold yang membuat k split acak data. Hasilnya adalah perkiraan kinerja model (dan proses yang digunakan untuk membuatnya) pada data yang tak terlihat.

Tanpa keraguan. Tidak ada keraguan, keacakan (randomness) memainkan peran besar dalam penerapan machine learning.

Random Seed dan Hasil yang Reproducible

Jalankan algoritma pada dataset dan dapatkan model.

Bisakah kita mendapatkan model yang sama dengan data yang sama?

Kita harusnya bisa. Ini harus menjadi persyaratan yang di lekatakn cukup tinggi dalam daftar di proyek pemodelan kita.

Kita bisa mencapai reproduktifitas dalam penerapan machine learning dengan menggunakan kode, data, dan urutan angka random yang sama persis.

Nomor random dihasilkan dalam perangkat lunak menggunakan pretend random (pseudorandom) number generator. Ini adalah fungsi matematika sederhana yang menghasilkan urutan angka yang cukup acak untuk sebagian besar aplikasi.

Fungsi matematika ini bersifat deterministik. Jika menggunakan titik awal yang sama yang disebut seed number, maka fungsi ini akan memberikan urutan angka random yang sama.

Problem solved.

Kita bisa mendapatkan hasil yang dapat direproduksi dengan mem-fix-kan seed random number generator sebelum setiap model yang kita buat.

Sebenarnya, ini adalah best practice.

Kita harus melakukan ini jika belum.

Faktanya, kita harus memberikan urutan random number yang sama untuk setiap algoritma yang kita bandingkan dan setiap teknik yang kita coba.

Itu harus menjadi bagian default dari setiap percobaan yang kita jalankan.

Algoritma Machine Learning adalah Stochastic

Jika algoritma pembelajaran mesin memberikan model yang berbeda dengan urutan random number yang berbeda, maka model mana yang kita pilih?

Ups ...

Ini pertanyaan dasar machine learning, seperti ..

• Different runs of an algorithm with…
• Different random numbers give…
• Different models with…
• Different performance characteristics…

Akan tetapi perbedaan yang ada masih dalam sebuah cakupan / range.

Nama fancy untuk perbedaan ini atau perilaku random dalam suatu rentang adalah stochastic.

Algoritma Machine learning dalam prakteknya adalah stochastic.

• Expect them to be stochastic.
• Expect there to be a range of models to choose from and not a single model.
• Expect the performance to be a range and not a single value.

Ini adalah expektasi yang sangat nyata yang harus kita tangani dalam praktik.

Taktik Untuk Mengatasi Ketidakpastian Algoritma Stochastic

Untungnya, para akademisi telah berjuang dengan tantangan ini sejak lama.

Ada 2 strategi sederhana yang dapat kita gunakan:

• Kurangi Ketidakpastian (Reduce the Uncertainty).
• Laporkan Ketidakpastian (Report the Uncertainty).

Taktik untuk Mengurangi Ketidakpastian

Jika kita mendapatkan model yang berbeda pada setiap kali kita menjalankan algoritma, apa yang bisa kita lakukan?

Bagaimana kalau kita mencoba menjalankan algoritma berkali-kali dan mengumpulkan populasi ukuran kinerja.

Kita sudah melakukan ini jika kita menggunakan k-fold cross validation. Kita membuat k model yang berbeda.

Kita dapat meningkatkan k dan membangun lebih banyak model, selama data dalam setiap lipatan tetap mewakili masalah.

Kita juga dapat mengulangi proses evaluasi kita berkali-kali untuk mendapatkan jumlah pengukuran kinerja yang lebih banyak lagi.

Taktik ini di kenal sebagai random repeat atau random restart.

Ini lebih lazim dengan stochastic optimization dan neural networks, tetapi sama relevan secara umum. Cobalah.

Tactics to Report the Uncertainty

Never report the performance of your machine learning algorithm with a single number.

If you do, you’ve most likely made an error.

You have gathered a population of performance measures. Use statistics on this population.

This tactic is called report summary statistics.

The distribution of results is most likely a Gaussian, so a great start would be to report the mean and standard deviation of performance. Include the highest and lowest performance observed.

In fact, this is a best practice.

You can then compare populations of result measures when you’re performing model selection. Such as:

   Choosing between algorithms.
   Choosing between configurations for one algorithm.

You can see that this has important implications on the processes you follow. Such as: to select which algorithm to use on your problem and for tuning and choosing algorithm hyperparameters.

Lean on statistical significance tests. Statistical tests can determine if the difference between one population of result measures is significantly different from a second population of results.

Report the significance as well.

This too is a best practice, that sadly does not have enough adoption. Wait, What About Final Model Selection

The final model is the one prepared on the entire training dataset, once we have chosen an algorithm and configuration.

It’s the model we intend to use to make predictions or deploy into operations.

We also get a different final model with different sequences of random numbers.

I’ve had some students ask:

   Should I create many final models and select the one with the best accuracy on a hold out validation dataset.

“No” I replied.

This would be a fragile process, highly dependent on the quality of the held out validation dataset. You are selecting random numbers that optimize for a small sample of data.

Sounds like a recipe for overfitting.

In general, I would rely on the confidence gained from the above tactics on reducing and reporting uncertainty. Often I just take the first model, it’s just as good as any other.

Sometimes your application domain makes you care more.

In this situation, I would tell you to build an ensemble of models, each trained with a different random number seed.

Use a simple voting ensemble. Each model makes a prediction and the mean of all predictions is reported as the final prediction.

Make the ensemble as big as you need to. I think 10, 30 or 100 are nice round numbers.

Maybe keep adding new models until the predictions become stable. For example, continue until the variance of the predictions tightens up on some holdout set. Summary

In this post, you discovered why random numbers are integral to applied machine learning. You can’t really escape them.

You learned about tactics that you can use to ensure that your results are reproducible.

You learned about techniques that you can use to embrace the stochastic nature of machine learning algorithms when selecting models and reporting results.

For more information on the importance of reproducible results in machine learning and techniques that you can use, see the post:

   Reproducible Machine Learning Results By Default

Do you have any questions about random numbers in machine learning or about this post?

Ask your question in the comments and I will do my best to answer.

Referensi

• https://machinelearningmastery.com/randomness-in-machine-learning/

Pranala Menarik

• Keras
• Python