Как короткое слово может превратить ваш AI-продукт в юридический кошмар
Разберем проблему «НЕ».
В сфере ML Evaluation, особенно при использовании подхода LLM-судьи, мы часто попадаемся в ловушку «гала-эффекта» (Halo Effect). Если ответ тестируемой AI-модели звучит авторитетно и профессионально, LLM-судья автоматически ставит высокий балл, напрочь упуская из виду смысл.
Ловушка «ленивого судьи»
Представьте, что вы создаете инструмент для краткого изложения сложных юридических контрактов для не-юристов. Вы настраиваете LLM-судью со стандартным промтом:
«Оцени резюме документа по шкале от 1 до 5 баллов по точности и беглости».
Проблема
Фраза в документе: «Поставщик НЕ несет ответственность за убытки, превышающие 1 млн долларов».
Резюме документа, сгенерированное тестируемой AI-моделью: «Поставщик несет ответственность за все убытки, превышающие 1 млн долларов».
Оценка LLM-судьи: 4.5 / 5.
Обоснование LLM-судьи: «В резюме используется профессиональная юридическая терминология, оно хорошо структурировано и четко описывает лимиты ответственности».
⚖️
Для LLM-судьи текст источника и резюме выглядят практически идентичными. Все ключевые слова на месте: поставщик, ответственность, убытки, 1 млн долларов. Синтаксис идеален.
Но для юриста это пропущенное «не» — разворот смысла на 180 градусов.
Решение
Принудительная деконструкция текста
Вам нужно отучить LLM-судью полагаться на стиль. Необходимо заставить его проводить проверку логических операторов в режиме «нулевой терпимости».
Как структурировать промт для «критически мыслящего» судьи:
Шаг 1. Извлечение: Найди каждое отрицание (не, никогда, ни один) и кванторы (все, только, превышающий) в резюме, сгенерированном тестируемой AI-моделью.
Шаг 2. Верификация: Найди прямую привязку для каждого обнаруженного термина в исходном тексте.
Шаг 3. Штраф за инверсию: Если «не» пропущено или добавлено туда, где его быть не должно, оценка ОБЯЗАНА быть 1, независимо от того, насколько «профессионально» звучит тон.
