последнюю неделю разбирался с одной проблемой, которая вроде бы и не уровня «все пропало», но и не из тех, на которые можно просто махнуть рукой.
знаете, есть такой тип проблем — «камушек в ботинке». вроде идешь нормально, жить можно, маршрут не меняется, катастрофы нет. но тебе постоянно что-то давит. и по-хорошему надо просто остановиться, снять кроссовок, вытряхнуть этот камень и идти дальше. но в корпоративной среде даже такую простую операцию умудряются превратить в политический кризис, борьбу за влияние и фестиваль коллективного идиотизма.
подсветил мне эту историю соседний департамент.
и началось все с гпт-сгенерированных отчетов. хотя «отчеты» — это слишком щедрое слово. по факту это был просто поток текста, который в 99% случаев представляет собой бессвязную, бесполезную, самодовольную хуйню, притворяющуюся аналитикой.
я вообще ничего не имею против автоматизации. более того, я прекрасно понимаю, что нормальный гпт-репорт может быть полезным инструментом. но нормальный гпт-репорт — это не «мы вчера вечером на коленке собрали агента, и он теперь сам думает». это часы работы с промптом, нормальная интеграция с базами, внятная логика, куча проверок и бесконечный контроль качества. на моей практике что-то действительно рабочее в этой теме делается минимум квартал, а не между обедом и созвоном.
и вот открываю я один такой репорт, а там уровень мысли примерно следующий: «небо голубое, вода мокрая, а хлеб — это хлеб». то есть текст есть, слова на месте, предложения формально собраны, но смысла в этом примерно столько же, сколько в гороскопе для офисной мебели.
я звоню человеку и спрашиваю абсолютно нормально: слушай, а что ты вообще хотел этим сказать и что я должен с этим сделать?
и он мне отвечает: «ой, сам не знаю».
в этот момент, конечно, хотелось уточнить, зачем тогда вообще в природе существует кнопка «отправить», но ответ был и без того достаточно исчерпывающий.
выяснилось, что человек наварганил агента, который все делает сам, а от сотрудника требуется только провести кволити-чек и нажать отправку.
то есть концепция, как обычно, звучит красиво. продуктивность выросла. объем информации вырос почти в три раза. процессы ускорились. департамент наверняка уже мысленно выписал себе премию за инновационность. правда, есть один маленький нюанс: вместе с объемом информации в три раза вырос и объем говна.
и вот сидим мы с этим зайкой, смотрим на отчет, и я совершенно отчетливо понимаю, что никакого кволити-чека там даже рядом не пробегало. потому что любой человек, который хотя бы на секунду открыл бы этот файл глазами, понял бы, что выпускать это в люди нельзя. кволити-чек не пропустил бы такое. он бы либо отправил отчет на переписывание, либо просто проявил милосердие и отменил бы его существование.
но самое прекрасное началось дальше.
вместо того чтобы сказать: «да, слушай, тут действительно вышла хуйня, сейчас поправим», человек почему-то решил до последнего стоять на том, что все сделано правильно. мол, раз тебе это отправили, значит так и надо. решай вопрос. ничего менять никто не будет.
это, конечно, мой любимый жанр корпоративного поведения: когда человек не понимает, что сделал, не может объяснить результат, но абсолютно уверен, что ошибся не он.
я говорю: хорошо, давай тогда созвонимся со старшими менеджерами и вместе обсудим, что тут вообще происходит.
созвонились.
старшие менеджеры посмотрели на этот репорт и тоже, мягко говоря, удивились. потому что даже без специальной подготовки было видно: это не рабочий материал, а текстовый наполнитель для имитации бурной интеллектуальной деятельности.
но тут включилась классическая корпоративная магия. признать, что их прекрасная комбинация «агент + гпт» на выходе дает очко, никто, разумеется, не захотел. признать, что сотрудник не сделал даже базовый кволити-чек, — тоже. потому что как только ты признаешь очевидное, появляется риск, что придется что-то исправлять, а это уже опасный прецедент.
тогда я предложил очень простую вещь: а давайте не будем спорить абстрактно и просто посмотрим десять последних репортов.
