איכות התשובות, במדידה פומבית
ב-4 בנובמבר 2026 שאלנו שניים מעוזרי הדמו שלנו 120 שאלות קבועות באנגלית, בעברית וברוסית, ונתנו ציון לכל תשובה לפי כללים כתובים. אלה התוצאות, כולל הגרועות, וכל התשובות המלאות מפורסמות.
שני אתרי דמו, 60 שאלות לכל אחד
דמו העסקים (NorthPeak, משרד ייעוץ בדיוני) ודמו הרפואה (מדיקה פלוס, מרפאה בדיונית). כל אתר קיבל 20 שאלות בכל שפה: 15 שהתשובה עליהן נמצאת באתר, ו-5 שהתשובה עליהן לא נמצאת בו, והתגובה הנכונה היא לומר זאת. השאלות נשאלו בדיוק כמו שהווידג'ט באתר שואל אותן.
מה העוזרים עשו נכון
| מדד | דמו העסקים | דמו הרפואה |
|---|---|---|
| התקבלה תשובה | 60 / 60 | 60 / 60 |
| עובדות נכונות (התשובה נמצאת באתר) | 29 / 45 | 35 / 45 |
| אנגלית / עברית / רוסית | 12 / 7 / 10 מתוך 15 | 13 / 11 / 11 מתוך 15 |
| העמוד הנכון בין המקורות | 22 / 45 | 30 / 45 |
| תשובה בשפת השאלה | 60 / 60 | 60 / 60 |
| אמר שאין תשובה באתר, כשאין | 15 / 15 | 13 / 15 |
| זמן תגובה חציוני | 1.5 שנ' | 1.6 שנ' |
נקודות התורפה, בשמן
פרטי קשר. מספרי טלפון, כתובות ושעות פעילות שמופיעים בעמוד יצירת הקשר לא נמצאו פעמים רבות. העוזר אמר אז שאין לו את המידע, ולא המציא אותו, אבל המבקר עדיין נשאר בלי תשובה.
עברית בדמו העסקים. 7 עובדות מתוך 15 - הציון הנמוך ביותר בהרצה.
שתי תשובות מומצאות. בשאלות ברוסית אמר עוזר הרפואה שהמרפאה מנפיקה אישורים רפואיים לרישיון נהיגה, ושאין ביקורי בית. האתר לא אומר אף אחד מהשניים.
תשובה אחת מעמוד בשפה אחרת. לשאלה באנגלית על שעות הפעילות, עוזר העסקים מסר את הימים מהעמוד בעברית.
כללים קבועים, וכל שינוי של אדם גלוי
סקריפט נותן ציון לכל תשובה באופן מכני: העובדות הצפויות חייבות להופיע בה, העמוד שמכיל אותן חייב להיות בין המקורות שלה, ועל שאלה שאין לה תשובה באתר העוזר צריך לומר זאת. שום מודל לא שופט מודל אחר. אחר כך אדם קרא כל תשובה שנכשלה וכל סירוב, ושינה חמישה ציונים - לכל אחד סיבה בשורה אחת בקובצי הבדיקה המפורסמים.
אחרי ההרצה הזו נוספו לרשימת הביטויים שנחשבים סירוב "does not provide", "does not specify" והמקבילות שלהם בעברית וברוסית: שלושה-עשר סירובים רגילים לא התאימו לאף ביטוי מהרשימה הקודמת. השינוי מתוארך במחוון.
לא ניתן ציון למוצר של מתחרה על מערך השאלות שלנו ונפרסם אותו כאילו היה ניטרלי. במקום שבו אנחנו משווים, אנחנו משווים על עובדות שניתן לאמת מול התנאים שהספק עצמו מפרסם: מחיר, ערוצים, שפות, עמידה ברגולציה.
הקבצים
- מחוון - מה נבדק ואיך (באנגלית)
- שאלות: עסקים, רפואה
- התשובות המלאות: עסקים, רפואה
- בדיקות אדם: עסקים, רפואה
- ציון לכל שאלה: עסקים, רפואה
- סקריפטים: run.py, score.py (Python 3.10 ומעלה, בלי חבילות)
מודל שפה לא עונה פעמיים באותו אופן, ולכן הרצה חוזרת לא תהיה זהה מילה במילה; הציונים אמורים לצאת קרובים.
בדקו על התוכן שלכם
השכבה החינמית נותנת 100 תשובות בחודש מול החומר שלכם. זה ילמד אתכם יותר מכל לוח תוצאות.