Orange: Calibrated Learner

Sumber: https://docs.biolab.si//3/visual-programming/widgets/model/calibratedlearner.html

Membungkus / melanjutkan kerja dari learner lain dengan probability calibration dan decision threshold optimization.

Input

Data: input dataset
Preprocessor: preprocessing method(s)
Base Learner: learner to calibrate

Output

Learner: calibrated learning algorithm
Model: trained model using the calibrated learner

Widget Calibrated Learner menghasilkan sebuah model yang mengkalibrasi distribusi dari class probabilities dan meng-optimasi decision threshold. Widget ini hanya bekerja untuk binary classification task saja.

The name under which it will appear in other widgets. Default name is composed of the learner, calibration and optimization parameters.
Probability calibration:
- Sigmoid calibration
- Isotonic calibration
- No calibration

Decision threshold optimization:
- Optimize classification accuracy
- Optimize F1 score
- No threshold optimization

Press Apply to commit changes. If Apply Automatically is ticked, changes are committed automatically.

Contoh

Contoh sederhana dengan Calibrated Learner. Kita menggunakan dataset titanic karena widget ini membutuhkan nilai binary class (dalam hal ini mereka adalah 'survived’ atau ‘not survived’).

Kita menggunakan Logistic Regression sebagai base learner yang akan dikalibrasi dengan nilai setting default, yaitu dengan sigmoid optimization dari distribusi nilai dan di optimasi dengan CA.

Membandingkan hasil dari uncalibrated Logistic Regression model kita akan melihat dengan jelas bahwa calibrated model lebih baik.