هل النموذج زين؟ مصفوفة الالتباس
في التصنيف ما يكفي نقول «النموذج يصيب 95%». لازم نعرف وين يغلط. نخلة عندها نموذج يعطي كل عملية دفع «درجة اشتباه» من 0 إلى 100، وإذا تعدت الحد تتحوّل للمراجعة. النتائج تتلخص في مصفوفة الالتباس (Confusion Matrix):
| TP | إيجابي صحيح: احتيال، والنموذج كشفه. ✓ |
| FP | إيجابي كاذب: عملية سليمة، والنموذج اشتبه فيها (إنذار كاذب يضيّع وقت المراجع). |
| FN | سلبي كاذب: احتيال، والنموذج فوّته. (الأخطر غالباً) |
| TN | سلبي صحيح: عملية سليمة ومرّت. ✓ |
Accuracy = (TP + TN) ÷ all Precision = TP ÷ (TP + FP) Recall = TP ÷ (TP + FN)
الضبط (Precision): من اللي اشتبهنا فيهم، كم فعلاً احتيال؟ الاستدعاء (Recall): من كل الاحتيال الموجود، كم كشفنا؟ حرّك حد القرار وشف كيف يتبادلون:
احتيال فعلاًسليمة فعلاً
| احتيال فعلاً | سليمة فعلاً | |
|---|---|---|
| النموذج: مشبوهة | 3TP | 2FP |
| النموذج: سليمة | 2FN | 13TN |
الدقة80%
الضبط60%
الاستدعاء60%
توازن بين الاثنين. القرار الصح يعتمد على تكلفة كل نوع خطأ.
انتبهفخ البيانات غير المتوازنة: لو 1% فقط من العمليات احتيال، نموذج «غبي» يقول دايماً «سليمة» دقته 99%! لكنه ما كشف ولا عملية احتيال (Recall = 0). عشان كذا في الاحتيال والأمراض والأعطال نشوف الضبط والاستدعاء، مو الدقة لحالها.
PYTHON
tp, fp, fn, tn = 8, 2, 4, 86 accuracy = (tp + tn) / (tp + fp + fn + tn) precision = tp / (tp + fp) recall = tp / (tp + fn) print("Accuracy: ", round(accuracy * 100, 1), "%") print("Precision:", round(precision * 100, 1), "%") print("Recall: ", round(recall * 100, 1), "%")