Как оценивать, выбирать и закупать юртех-продукты на базе генеративного ИИ
В юртехе (применение технологий в праве) полезно не застревать на слове «галлюцинации». Если вы видите дискурс, ограниченный этим уровнем, вы застряли в 2022 году. А мы уже в 2026, неожиданно.
Проблематика сейчас гораздо шире, в частности проблема с генеративным ИИ в его надёжности (reliability), а не только в «средней точности по бенчмарку Х».
В этом смысле очень вовремя вышла новая https://substack.com/home/post/p-189010640 про 4 измерения надёжности ИИ-агентов. Её главный тезис мне кажется особенно полезным для пользователей и разработчиков юртех-продуктов: высокий балл точности (accuracy) ИИ-системы ещё не означает, что её можно безопасно и предсказуемо встраивать в юридический процесс.
Что это за 4 измерения (в сильно упрощённом виде):
Consistency (согласованность / повторяемость)
Одна и та же задача при одинаковых условиях должна давать сопоставимый результат.
Для ГенИИ это больное место: ответ «примерно в ту же сторону» — часто да, дословно и стабильно — далеко не всегда.
Robustness (робастность / устойчивость)
Что происходит при отклонении от идеальных условий: криво распознанный документ, нестандартный шаблон, шум в данных, сбой вызываемого внешнего компонента, чуть иначе сформулированная инструкция? Где система ломается, и как именно?
Predictability (предсказуемость отказов; по сути — калибровка уверенности)
Умеет ли система сказать «не знаю», «не уверена», «нужна проверка экспертом»?
Для юртеха это критично. Самоуверенная ошибка в праве часто опаснее честного ответа о неопределённости.
Safety (безопасность отказа / ограничение вреда)
Если ошибка всё же случилась, насколько последствия обратимы и контролируемы?
Есть ли fail-safe, эскалация человеку, журналирование, возможность быстро обнаружить и решить проблемы?
Почему это важно именно для юртеха:
В юридических задачах цена ошибки часто не плохой «пользовательский опыт», а процессуальный риск, финансовый риск, риск нарушения прав, регуляторные последствия.
Даже когда система используется как «копилот», а не как автономный исполнитель, остаётся «налог на проверку» (review burden), про который почти всегда умалчивают вендоры юртех-софта, но который съедает как минимум часть обещанной эффективности, а то и сводит её прирост к нулю или уводит в минус (когда проще было сделать задачу от начала и до конца руками).
Поэтому вопрос при закупке продукта вендору должен звучать не «какая у вас точность, что с галлюцинациями?», а скорее так: как система ведёт себя при повседневном решении одной и той же задачи, при вариациях вводных данных, при сбоях, и как она сигнализирует о своей неуверенности?
И самое главное: «Какие ваши доказательства?» (c) известный фильм.
- Неприемлемый ответ: «Мы прикладываем к этому массу усилий, нас хвалят клиенты, мы хорошие, мамой клянёмся».
- Идеальный ответ: «Вот результаты внешнего независимого аудита на текущую версию нашего продукта в динамике за последний год по запрошенным вами метрикам и его экзекьютив саммари».
