Почему AI-бот врёт по вашим документам: чиню и проверяю на 50 вопросах

Мой ассистент по документам ответил уверенно и неправильно. Разбираю эту ошибку по слоям: показываю три разные причины, чиню каждую в кадре и прогоняю одну и ту же выборку из 50 вопросов до и после. Главное, что стоит забрать: когда такая система начинает врать, чинят обычно промпт — а ломается почти всегда этажом ниже. Репозиторий: документы, 50 вопросов, критерии правильного ответа, конфигурация baseline и результаты обоих прогонов: Проценты в ролике — с моей выборки и моих документов. На ваших будет другое число, переносится способ проверки, а не цифра. Что этими правками не лечится — на 13:05. 0:00 Уверенный неправильный ответ 0:25 Кто я 0:40 Как это устроено: два действия вместо одного 1:10 Чинят промпт, ломается этажом ниже 2:20 Причина 1: нарезка документов 2:35 Причина 2: поиск принёс не то 6:15 Причина 3: модель не умеет молчать 3:25 Три правки в кадре 4:10 Перепрогон 50 вопросов 4:15 Сколько стоил замер 4:25 Что этим не чинится 4:40 Репозиторий