כיצד אוכל לפרש את ההבדל בין התיקוף לדיוק הבדיקה?


תשובה 1:

לדיוק א ', אני חושב שהמודל שלך עובד טוב. אני מניח שהשתמשת בנתוני אימות כדי להכשיר את המודל A ולנתוני הבדיקה כדי להעריך אותם. מכיוון שדיוק האימות ודיוק הבדיקה הם שניהם גבוהים, ניתן לומר כי הדגם מאומן בצורה נכונה. עם זאת, יש לי שתי חששות.

  1. אם אתה זקוק למודל עם דיוק גבוה יותר, עליך לכוונן את הפרפרמטרים כדי להשתפר. למידה מבוקרת לא קשורה לדיוק. אם מדובר בשתי סיווג בינארי, עליכם לעבור אזור ROC לעיקול כדי לראות אם הוא מתקשה בסיווג חיובי כוזב. אם יש לך חיוביות שגויות גבוהות, המודל חסר תועלת.

מבחינת B, אני חושב שזה מתאים מדי. פירוש יתר על המידה פירושו שהמודל שלך עובד מצוין רק על נתוני אימונים ואימות ולא על נתוני מבחן או על נתונים לא ידועים חדשים. אתה בטוח רוצה מודל כללי יותר. צריך לגלות מדוע זה מוגזם. אתה צריך גם להעריך את אזור ה- ROC שנמצא תחת עקומה.

http: //gim.unmc.edu/dxtests/roc3 ...

יתר על המידה והתחתון עם אלגוריתמים של למידת מכונה - שליטת למידת מכונה