כל הכרזה על מודל חדש מגיעה עם טבלה: שמות של מבחנים בעמודה אחת, אחוזים בשנייה, ומודל מתחרה בשלישית. הטבלה נועדה לשכנע, והיא כמעט תמיד נכונה טכנית. השאלה היא מה היא אומרת על העבודה שאתם רוצים לעשות עם המודל. לרוב, פחות ממה שנדמה.
מה המבחן מודד, באמת
בנצ׳מרק הוא אוסף שאלות עם תשובות ידועות. ״92% במבחן ידע כללי״ פירושו שהמודל ענה נכון על 92% מתוך אותו אוסף ספציפי של שאלות, בניסוח הספציפי שלהן. זה אומר משהו על יכולת, אבל רק בגבולות האוסף: מבחן של שאלות אמריקאיות בשפה האנגלית לא מודד עברית, מבחן של חידות מתמטיקה לא מודד כתיבת מכתב ללקוח, ומבחן קוד בפייתון לא מודד PHP.
השאלה הראשונה לשאול: האם המבחן דומה למשימה שלי? אם לא, המספר הוא רקע ולא תשובה.
איך הוא הורץ
אותו מודל יכול לקבל ציונים שונים במבחן זהה, תלוי בהגדרות ההרצה. ההבדלים הנפוצים:
- מספר דוגמאות בפרומפט (0-shot מול 5-shot): האם המודל קיבל דוגמאות פתורות לפני השאלה. חמש דוגמאות משפרות ציון משמעותית במבחנים רבים.
- מספר ניסיונות (pass@1 מול pass@k): האם נספרת התשובה הראשונה, או ״לפחות אחת מתוך k תשובות נכונה״. pass@10 יהיה תמיד גבוה מ-pass@1, ולא תמיד זה מצוין בכותרת.
- זמן חשיבה: מודלים שמייצרים שרשרת נימוקים לפני התשובה משתפרים ככל שמרשים להם יותר טוקנים. ״עם חישוב מורחב״ בהערת שוליים יכול להסביר פער גדול.
- כלים: האם המודל הורשה להריץ קוד, לחפש ברשת או לקרוא מסמכים. מודל עם מחשבון פותר חשבון טוב יותר ממודל בלי.
כשמשווים שני מודלים, ההשוואה הוגנת רק אם ההגדרות זהות. בטבלאות של חברות הן לא תמיד זהות, והערת השוליים היא המקום לבדוק.
זליגה: כשהמודל ראה את המבחן
מודלים מאומנים על חלק גדול מהאינטרנט. מבחנים פומביים נמצאים באינטרנט. לכן קיים סיכוי שהמודל ״ראה״ את השאלות והתשובות באימון, ואז הוא לא פותר אלא נזכר. זה נקרא contamination, וזו הסיבה שמבחנים ישנים ונפוצים הופכים עם הזמן לפחות מועילים, ושחוקרים בונים מבחנים חדשים עם שאלות שנכתבו אחרי מועד האימון. כשחברה מדווחת תוצאה, אפשר לחפש אם היא מתייחסת לזליגה; שתיקה בנושא לא אומרת שאין, אלא שלא נבדק או לא דווח.
המספר המוחלט פחות חשוב מהשינוי
שאלה שימושית יותר מ״כמה המודל השיג״ היא ״כמה הוא השיג יחסית למודל הקודם של אותה חברה, באותם תנאים״. זו ההשוואה שבה ההגדרות כנראה זהות, הזליגה דומה, והפער משקף שיפור אמיתי. פער של נקודה אחת במבחן שבו כולם סביב 90 הוא רעש; פער של עשר נקודות במבחן שבו המודל הקודם השיג 40 הוא חדשות.
מבחני ״עדיפות אנושית״
יש סוג אחר של דירוג: אנשים רואים שתי תשובות ובוחרים את הטובה. זה מודד משהו אמיתי (מה אנשים אוהבים), אבל גם משהו אחר: אורך, סגנון, ביטחון בניסוח. מודל שמנסח בביטחון ומוסיף פירוט ינצח לעיתים קרובות מודל שעונה נכון ובקיצור. זה לא פוסל את הדירוג; זה אומר שהוא מודד ״נעים לקרוא״ לפחות באותה מידה שהוא מודד ״נכון״.
מה לעשות במקום להאמין לטבלה
- אספו 20 עד 50 משימות אמיתיות מהעבודה שלכם, עם תשובה שאתם יודעים לשפוט. זה הבנצ׳מרק היחיד שנוגע אליכם.
- הריצו אותן על המודלים שאתם שוקלים, באותן הגדרות, כמה פעמים כל אחת. מודלים אינם דטרמיניסטיים; הרצה אחת היא אנקדוטה.
- תעדו עלות וזמן לצד האיכות. מודל שטוב ב-3% ועולה פי ארבעה הוא בחירה, לא ניצחון.
- חזרו על זה כשיוצא מודל חדש, במקום לקרוא את הטבלה שלו.
הטבלאות של החברות לא משקרות. הן פשוט עונות על שאלה שלא שאלתם. השאלה שלכם היא ״האם זה יעשה את העבודה שלי טוב יותר״, ועליה רק המשימות שלכם יכולות לענות.
