200 הודעות
4 מודלים
תאריכים
ציון אוטומטיגילוי נאות: עונים לי הוא המוצר שלנו. הבוט של עונים לי בהודעות משתמש היום ב-GPT-5.6 Luna, אחד המודלים שנבדקו כאן.
שאלנו שאלה פשוטה: כשלקוח כותב לעסק «אהלן זה רוני יש מקום למניקור מחר בבוקר», האם המודל מבין שזו בקשה לתור, ושולף נכון את השם, הטלפון, היום והשעה?
התוצאות
| מודל | כוונה | שם | טלפון | תאריך | שעה | כל השדות |
|---|---|---|---|---|---|---|
| Claude Opus 5.5 (Anthropic) | 100% | 99.5% | 100% | 100% | 100% | 99.5% |
| Gemini 4 Argon (Google) | 100% | 100% | 100% | 99% | 100% | 99% |
| GPT-5.6 Luna (OpenAI) · המודל של עונים לי בהודעות | 100% | 99% | 100% | 100% | 99% | 98% |
| GPT-6 Astra (OpenAI) | 100% | 100% | 100% | 53.5% | 100% | 53.5% |
- כוונה וטלפון: 100% אצל כולם. תור, ביטול, הזזה, שאלת מחיר. גם עם שגיאות כתיב, אנגלית באמצע ומספר בפורמט +972.
- GPT-6 Astra ספר ימים מהתאריך האמיתי. בהנחיה כתבנו שהיום יום ראשון 1.11.2026. Astra חישב «מחר» ו«בחמישי» מהתאריך שבו המבחן רץ (27.10), ולכן טעה ב-93 מתוך 135 ההודעות שיש בהן תאריך. מעבר לזה הוא לא טעה אף פעם.
- «איתי» הוא גם שם וגם «עם אני». GPT-5.6 Luna פספס את השם איתי פעמיים («מדברת איתי»), וקרא פעם אחת «בשעה 11» כ-23:00.
- Gemini הוסיף תאריך לשאלה. על «אתם עובדים בשבת?» הוא החזיר את התאריך של שבת הקרובה, כשאף אחד לא ביקש תור.
מה זה אומר לבעל עסק: מודל טוב מבין עברית של וואטסאפ. את התאריכים צריך לבדוק, ובמערכת אמיתית התאריך של היום נמסר למודל בכל הודעה.
דוגמאות מהמבחן
כל ההודעות בדויות. השמות והמספרים הומצאו (כל המספרים מתחילים ב-55 אחרי הקידומת).
| ההודעה (בדויה) | התשובה הנכונה |
|---|---|
| חן אזולאי can i book ניקוי מזגן מחר 14:00 תחזרו אליי ל+972-53-5509170 תעדכנו | תור · חן · 0535509170 · 2.11 · 14:00 |
| שלומות לא מגיעה היום ב5 😞 תמחקו אותי | ביטול · בלי שם · 1.11 · 17:00 |
| שלום מדברת עדי סורי לא אוכל להגיע בחמישי ב12 בצהריים תבטלו הנייד שלי 052-5523080 תודה רבה | ביטול · עדי · 0525523080 · 5.11 · 12:00 |
| hi מדברת איתי במקום מה שקבענו אפשר ביום שלישי בשעה 11? הנייד שלי 053-5573165 😊 | הזזה · איתי · 0535573165 · 3.11 · 11:00 |
להורדת כל 200 ההודעות עם מפתח התשובות (CSV) · רישיון CC BY 4.0
שיטה
- n = 200 הודעות: 70 בקשות לתור, 35 ביטולים, 30 הזזות, 35 שאלות מחיר, 30 שאלות אחרות.
- איך נכתבו: סקריפט הרכיב אותן מחלקים שכתבנו: פתיחות («אהלן», «שלומות»), שמות, טלפונים בחמישה פורמטים, ימים ושעות («אחרי 5», «ראשון הבא», «רבע לשש בערב»), סלנג, אימוג׳י ושגיאות כתיב. אף הודעה לא נלקחה משיחה אמיתית.
- המשימה: הנחיה אחת זהה לכל המודלים, שמבקשת JSON עם כוונה, שם, טלפון, תאריך ושעה. «היום» הוגדר יום ראשון 1.11.2026.
- ציון: השוואה אוטומטית למפתח. טלפון אחרי ניקוי סימנים, שם נחשב נכון אם השם הפרטי מופיע. אין שופט AI.
- המודלים והגרסאות: gpt-6-astra (reasoning low), gpt-5.6-luna, claude-opus-5-5, gemini-4-argon (דרך Vertex AI). הרצה אחת לכל מודל, 27.10.2026, הגדרות ברירת מחדל.
מגבלות
- הודעות שהורכבו מתבניות קלות יותר מהודעות אמיתיות. לכן רוב המודלים קרובים ל-100%, וההבדלים הקטנים ביניהם אינם מובהקים.
- הרצה אחת, הנחיה אחת. הנחיה אחרת, או תאריך שנמסר בהודעה עצמה, יכולים לשנות את התוצאה של Astra.
- בדקנו הבנה בלבד, לא את איכות התשובה ללקוח, לא מהירות ולא עלות.
הקוד והנתונים זמינים לבדיקה חוזרת. מצאתם טעות במפתח? כתבו לנו.