Качество ответов - открытый замер
4 ноября 2026 года мы задали двум нашим демо-ассистентам 120 постоянных вопросов на английском, иврите и русском и оценили каждый ответ по письменным правилам. Вот результаты, включая плохие, и все ответы целиком.
Два демо-сайта, по 60 вопросов
Бизнес-демо (NorthPeak, вымышленная консалтинговая фирма) и медицинское демо (МедикаПлюс, вымышленная клиника). Каждому сайту - по 20 вопросов на каждом языке: 15, ответ на которые есть на сайте, и 5, ответа на которые нет, и правильно так и сказать. Вопросы задавались ровно так, как их задаёт виджет на сайте.
Что ассистенты сделали правильно
| Показатель | Бизнес-демо | Медицинское демо |
|---|---|---|
| Ответ получен | 60 / 60 | 60 / 60 |
| Факты верны (ответ есть на сайте) | 29 / 45 | 35 / 45 |
| английский / иврит / русский | 12 / 7 / 10 из 15 | 13 / 11 / 11 из 15 |
| Нужная страница среди источников | 22 / 45 | 30 / 45 |
| Ответ на языке вопроса | 60 / 60 | 60 / 60 |
| Сказал, что ответа на сайте нет, когда его нет | 15 / 15 | 13 / 15 |
| Медианное время ответа | 1,5 с | 1,6 с |
Слабые места - по именам
Контактные данные. Телефон, адрес и часы работы со страницы контактов часто не находились. Ассистент тогда говорил, что этих данных у него нет, а не выдумывал их, но посетитель всё равно уходил без ответа.
Иврит на бизнес-демо. 7 фактов из 15 - самый низкий результат прогона.
Два выдуманных ответа. На вопросы по-русски медицинский ассистент сказал, что клиника выдаёт медсправки для водительских прав и что на дом врач не выезжает. На сайте нет ни того, ни другого.
Один ответ со страницы на другом языке. На вопрос по-английски о часах работы бизнес-ассистент назвал дни с ивритской страницы.
Постоянные правила, и каждая правка человека видна
Скрипт оценивает каждый ответ механически: ожидаемые факты должны быть в ответе, страница с ними - среди его источников, а на вопрос, ответа на который на сайте нет, ассистент должен отказаться отвечать. Модель не судит модель. Затем человек прочитал каждый проваленный ответ и каждый отказ и изменил пять оценок - у каждой своя причина в одну строку в опубликованных файлах правок.
После этого прогона в список фраз, которые считаются отказом, добавлены обороты вроде «на сайте не указано» и «не предоставляет информации» на всех трёх языках: тринадцать обычных отказов не совпали ни с одной из прежних фраз. Изменение датировано в описании методики.
Мы не станем оценивать продукт конкурента на своём наборе вопросов и публиковать результат как беспристрастный. Там, где мы сравниваем, мы сравниваем по фактам, проверяемым по опубликованным условиям самого поставщика: цена, каналы, языки, соответствие требованиям.
Файлы
- Методика - что проверяется и как (на английском)
- Вопросы: бизнес, медицина
- Ответы целиком: бизнес, медицина
- Правки человека: бизнес, медицина
- Оценки по вопросам: бизнес, медицина
- Скрипты: run.py, score.py (Python 3.10+, без пакетов)
Языковая модель не отвечает дважды одинаково, поэтому повторный прогон не совпадёт слово в слово; оценки должны получиться близкими.
Проверьте на своём контенте
Бесплатный тариф даёт 100 ответов в месяц на ваших материалах. Это скажет больше, чем любое табло.