Orange: Lift Curve
Sumber: https://docs.biolab.si//3/visual-programming/widgets/evaluate/liftcurve.html
Widget Lift Curve Mengukur performance sebuah classifier yang dipilih terhadap random classifier.
Input
Evaluation Results: results of testing classification algorithms
Widget Lift curve menunjukkan hubungan antara jumlah instance yang diprediksi positif dan yang memang positif dan dengan demikian mengukur kinerja classifier yang dipilih terhadap classifier random. Graph dibangun dengan jumlah kasus kumulatif (dalam urutan probabilitas menurun) pada sumbu x dan jumlah kumulatif true positif pada sumbu y. Widget Lift Curve sering digunakan dalam pengelompokan populasi, misalnya, memplot jumlah pelanggan yang merespons terhadap jumlah semua pelanggan yang dihubungi. Kita juga dapat menentukan optimal classifier dan threshold-nya dari graph.
- Choose the desired Target class. The default class is chosen alphabetically.
- If test results contain more than one classifier, the user can choose which curves she or he wants to see plotted. Click on a classifier to select or deselect the curve.
- Show lift convex hull plots a convex hull over lift curves for all classifiers (yellow curve). The curve shows the optimal classifier (or combination thereof) for each desired TP/P rate.
- Press Save Image if you want to save the created image to your computer in a .svg or .png format.
- Produce a report.
- 2-D pane with P rate (population) as x-axis and TP rate (true positives) as a y-axis. The diagonal line represents the behavior of a random classifier. Click and drag to move the pane and scroll in or out to zoom. Click on the “A” sign at the bottom left corner to realign the pane.
Note! The perfect classifier would have a steep slope towards 1 until all classes are guessed correctly and then run straight along 1 on y-axis to (1,1).
Contoh
Pada saat ini, satu-satu-nya widget yang memberikan tipe sinyal yang benar untuk widget Lift Curve adalah widget Test & Score.
Pada contoh di bawah ini, kita ingin melihat kualitas prediksi untuk class ‘survived’ pada dataset Titanic. Kita membandingkan tiga classifer yang berbeda di widget Test & Score dan mengirimkan hasilnya ke widget Lift Curve untuk melihat performance mereka terhadap model random. Kita dapat melihat dengan jelas bahwa Tree Classifer yang terbaik diantara ke tiga-nya karena dia yang menghasilkan curva yang paling menempel ke curva hasil lift curve. Kita juga melihat bahwa kinerja terbaiknya terjadi pada 30% awal populasi (dalam urutan probabilitas menurun), yang dapat kita tetapkan sebagai ambang batas untuk klasifikasi optimal.
Referensi
Handouts of the University of Notre Dame on Data Mining - Lift Curve. Available here.
Referensi