Работа с ЛЛМ полна магии. Сейчас модно стало не просто писать промты, а заключать с ЛЛМ контракты и заниматься с ней, простите, луп-инженерингом.
Звучит, конечно, как беседа с продакт-менеджером после митапа. На самом деле все проще.
Контракт это когда мы перестаём писать модели:
«ну ты там подумай, разберись и сделай нормально».
Потому что «нормально» в исполнении модели иногда означает: придумать недостающее, сгладить противоречия, назвать это анализом и сдать с лицом человека, который только что спас проект.
Контракт говорит скучнее, зато полезнее:
вот входные данные;
вот что надо найти;
вот чего трогать нельзя;
вот формат ответа;
нет основания — не фантазируй;
не знаешь — так и напиши.
То есть контракт это не магия. Это забор. Или шоры.
А забор нужен не потому, что модель глупая. А потому что модель слишком услужливая. Ей скажешь «помоги», и она поможет так широко, что потом отдельно надо искать, где закончились данные и началась литература.
Луп это следующий уровень недоверия.
Модель сделала результат. Его проверили. Нашли косяки. Вернули обратно. Она поправила. Снова проверили. И так несколько раз, пока результат не стал похож на рабочий, или пока не стало ясно, что пациент бодр, разговорчив, но к труду не пригоден.
Если результат проверяет другая модель, это уже луп с внешним ревьюером.
Звучит почти как контроль качества.
Почти.
Потому что проверяющий тоже модель, такая же вероятностная машина, только с бейджиком «ревьюер».
Она может найти реальную ошибку. Может пропустить главную. Может придумать замечание из воздуха. Может начать улучшать стиль вместо проверки смысла. Может посмотреть на красивую чушь и сказать: «в целом соответствует».
То есть вместо одного стажёра у нас теперь два стажёра. Один пишет, второй ходит с красной ручкой.
Иногда это резко повышает качество. Иногда они просто коллективно оформляют галлюцинацию в протокол.
И да, ради справедливости: люди косячат не меньше моделей. Иногда даже талантливее.
Человек тоже может не дочитать исходные данные, придумать недостающее по опыту, перепутать задачу, красиво оформить ерунду и потом защищать её с лицом «я двадцать лет так работаю».
Так что проблема не в том, что ЛЛМ какая-то особенно ненадёжная.
Проблема в том, что любой исполнитель без рамок и проверки начинает производить сюрпризы.
Просто человек делает это медленно, дорого и с характером.
А модель быстро, дёшево и без чувства вины.
Поэтому контракты и лупы это не ритуал против искусственного интеллекта. Это обычная производственная гигиена.
Дали задачу.
Задали правила.
Проверили результат.
Вернули на исправление.
Не поверили первому красивому ответу.
С людьми, кстати, тоже работает.
Контракт говорит модели: «гулять можно только здесь».
Луп ходит следом и смотрит, не перелезла ли она через забор с табличкой «я так поняла».
И нет, это не превращает ЛЛМ в надёжную машину истины. Это просто делает её менее опасным генератором уверенного текста.
Что уже немало.
Потому что главная проблема модели не в том, что она ошибается. Ошибаются все.
Главная проблема в том, что она ошибается с интонацией человека, который сейчас будет учить вас жизни.
