ИИ-инструменты не спасут лоу-перформеров.
В последнее время, с развитием больших моделей, все чаще наблюдаю дискурс о том, что применение ИИ-тулов будет размывать границу между лоу-перформерами и топ-перформерами и сопряженные с этим общественные опасения. Чуть другим боком, но фактически тот же дискурс идет и в области искусства: "творчество моделей вытесняет творчество людей". И самое забавное, что ситуация, которую я наблюдаю в своей работе, показывает скорее совершенно обратное. Лоу-перформеры, обложенные ИИ-тулами, не то что не приближаются к топ-перформерам, но наличие ИИ-тулов у тех и других скорее работает как лупа и болезненно выкристаллизовывает пропасть между первыми и вторыми.
Питер Уоттс в своем рассказе Test 4 Echo подкинул классную метафору, которая помогает мне объяснить себе, почему так получается. В этом рассказе один из персонажей упоминает метрику Ф(phi) из интегрированной теории информации, разработанной Джулио Тонони. Ф измеряет собственно количество интегрированной информации в системе, если проще, то насколько система как целое знает больше, чем знает сумма ее частей. По мнению Тонони, этот параметр является измеримой характеристикой наличия у системы сознания. Высокое значение Ф требует интеграции информации через рекуррентные обратные связи, именно такие петли позволяют системе быть больше суммы своих частей. Наш мозг ими пронизан, например, именно так работает зрительная кора: фактически наши высшие слои обработки постоянно посылают обратную связь нижним, к источнику сигнала, корректируя поток входящей информации (что-то типа "кажется, я вижу собаку, поправь чувствительность здесь и контраст здесь"). Такую постоянную замкнутую цепь обработки Тонони ассоциирует с наличием сознания. А теперь к нейросетям: те инструменты, которые мы используем в повседневной жизни и работе, в большинстве своем под капотом - это трансформеры, трансформеры при инференсе строго последовательны, это так называемая feedforward-архитектура, то есть данные идут через слои обработки вперед без рекуррентности (ну упрощенно при одном прогоне). Такие инструменты позволяют очень эффективно собирать вместе и последовательно обрабатывать ОЧЕНЬ много информации, однако общая сумма информации в системе (хоть и гигантская) не превышает ее слагаемых.
Соответственно, чтобы действительно получить какую-то информационную дельту и произвести что-то новое, нам нужно встроить в систему человека с его бесконечными петлями обратной связи и саму систему замкнуть. И вот эта самая характеристика лоу- и топ-перформера как раз сводится к интеграционной способности каждого конкретного человека, к тому, насколько хорошо он дает обратную связь и насколько много новой информации привносит. Да, Ф фактически характеризует наличие сознания, а не его качество, но сам принцип, что ценность системы определяется не количеством данных, а способностью их интегрировать, здесь применим. Мы с коллегами проводим много собеседований на позиции ML-продактов и, учитывая специфику позиции, имеем маленький, но стабильный поток кандидатов, которые пытаются пройти эти интервью при помощи AI-ассистентов. Так вот, кроме того, что это всегда очевидно, это всегда плохо при оценке, даже если отбросить факт читинга. Дело в том, что вся информация в наших кейсах уже есть, не нужно ничего гуглить или исследовать, они проверяют ровно интеграционную способность мозга кандидата структурировать эту информацию, сделать из нее правильные выводы и синтезировать новое решение. Ключевые преимущества, которые дает AI-ассистент, здесь не будут каким-либо дифференциатором. И вот здесь получается, что топ-перформер с AI-тулами дает несколько иксов к своей производительности, потому что он становится способен работать с кратно бОльшим потоком информации, тогда как лоу-перформер выдает неструктурированный дамп старой информации. Теперь можете брать это утверждение и масштабировать на все сферы, которые топит AI-слоп. О чем это говорит? О применимости ИИ в конкретных сферах или все же о способности людей производить долю интегрированной информации?
