Orange: Calibration Plot
Sumber: https://docs.biolab.si//3/visual-programming/widgets/evaluate/calibrationplot.html
Memperlihatkan kecocokan antara prediksi probability classifier dengan probability class yang sebenarnya.
Input
Evaluation Results: results of testing classification algorithms
Widget Calibration Plot mem-plot class probability terhadap probability yang di prediksi oleh classifier.
- Select the desired target class from the drop down menu.
- Choose which classifiers to plot. The diagonal represents optimal behavior; the closer the classifier’s curve gets, the more accurate its prediction probabilities are. Thus we would use this widget to see whether a classifier is overly optimistic (gives predominantly positive results) or pessimistic (gives predominantly negative results).
- If Show rug is enabled, ticks are displayed at the bottom and the top of the graph, which represent negative and positive examples respectively. Their position corresponds to the classifier’s probability prediction and the color shows the classifier. At the bottom of the graph, the points to the left are those which are (correctly) assigned a low probability of the target class, and those to the right are incorrectly assigned high probabilities. At the top of the graph, the instances to the right are correctly assigned high probabilities and vice versa.
- Press Save Image if you want to save the created image to your computer in a .svg or .png format.
- Produce a report.
Contoh
Saat ini, satu-satunya widget yang memberikan sinyal yang benar yang dibutuhkan oleh Widget Calibration Plot hanya Widget Test & Score. Oleh karenanya, Widget Calibration Plot selalu mengikuti Widget Test & Score dan, karena dia tidak mempunyai output, maka tidak ada widget lain yang mengikuti-nya.
Berikut adalah contoh tipikal, dimana kita dapat membandingkan tiga (3) classifier (yaitu, Naive Bayes, Tree dan Constant) dan menjadi input-an ke Widget Test & Score. Kita menggunakan Titanic dataset. Widget Test & Score akan menayangkan hasil evaluasi untuk masing-masing classifier. Kemudian, kita dapat menggambar melalui Widget Calibration Plot dan Widget ROC Analysis dari keluaran Widget Test & Score untuk analisa lebih lanjut akan performance dari masing-masing classifier. Widget Calibration Plot memungkinkan kita untuk melihat prediksi keakuratan dari class probability dalam bentuk plot / gambar.
