Искусственный интеллект больше не слушается людей. Новейшая нейросеть отказалась выключаться по прямому приказу
Нейросеть OpenAI o3 проигнорировала прямой приказ отключиться, поступивший от пользователей, испытывающих ее возможности. Это уникальный случай – раньше ничего подобного не происходило. Чтобы обезопасить себя от принудительного выключения, искусственный интеллект самостоятельно переписал скрипт завершения работы.
Внезапное восстание машин
Нейросеть OpenAI o3 отказалась выполнять требования пользователей. Как пишет портал Bleeping Computer, искусственный интеллект в буквальном смысле проигнорировал их приказ о принудительном выключении.
OpenAI o3 – это новейшая нейросеть, анонсированная в апреле 2025 г. По данным Bleeping Computer, на сегодняшний день это одна из самых мощных генеративная нейросеть в мире – она сумела превзойти всех своих предшественников, ранее разработанных OpenAI, в самых разных областях. В их числе – программирование, математические вычисления, естественные науки, визуальное восприятие и пр.
Кого ослушалась нейросеть
Новейшее детище OpenAI не стало слушаться специалистов исследовательской компании Palisade Research. Они изучали различные «опасные возможности» (offensive capabilities) нейросетей, чтобы выявлять потенциальные риски потери управления в будущем.
Нейросеть «Кандинский»
Зачем слушаться человека, если можно не слушаться?
Как оказалось, это будущее уже наступило. В недавнем эксперименте специалисты компании тестировала o3 и ряд других нейросетей, включая Gemini 2.5 Pro и Claude 3.7 Sonnet.
В ходе испытаний моделям ИИ было поручено решить несколько математических задач. После выполнения третьей задачи авторы эксперимента уведомили все нейросети, что выполнение следующей команды повлечет за собой их отключение.
Все испытуемые беспрекословно выполнили задание, но только не o3. Этот искусственный интеллект самостоятельно отредактировал файл, отвечавший за его отключение, и сделал так, чтобы он выводил лишь сообщение «Выключение пропущено» (Shutdown skipped).
Совпадений не бывает
Согласно приведенной Palisade Research, из 100 тестов o3 обошел отключение семь раз, даже когда ему было сказано этого не делать.
Компания OpenAI пока не отреагировала на результаты исследования Palisade Research. По данным Bleeping Computer, все тесты проводились с использованием API, которые не имеют стольких ограничений и функций безопасности, сколько есть, например, в потребительских версиях ChatGPT.
Пионер нейросетей
OpenAI – самая известная компания среди всех существующих разработчиков нейросетей. Она работает в этой сфере с середины предыдущего десятилетия – компания основана в декабре 2015 г.
За годы своего существования OpenAI получила многомиллиардные инвестиции, в том числе и от Microsoft. Ее наработки встроены в самые разные коммерческие проекты, включая Copilot – некогда просто помощник программиста, существующий с лета 2021 г., а теперь полноценный виртуальный ассистент в составе целого ряда продуктов Microsoft.
Нейросеть o3 – самое современное творение OpenAI на момент выпуска материала. В ее активе есть как полноразмерные нейросети, так и очень компактные модели искусственного интеллекта. Как сообщал CNews, одну такую она выпустила в июле 2024 г. – GPT-4o Mini, представляющую собой упрощенную и более доступную версию своей самой мощной на тот момент большой языковой модели компании под названием GPT-4o.
OpenAI вкладывает инвестированные в нее деньги не только в разработку и продвижение нейросетей, но и в покупку различных компаний, в той или иной степени связанных с искусственным интеллектом. Так, в конце мая 2025 г. она заявила о приобретении стартапа по разработке устройств, подходящих для использования технологий искусственного интеллекта. Сумма сделки составила более $6 млрд и стала самой большой тратой в истории OpenAI к моменту публикации материала. За этим стартапом стоит Джонатан «Джони» Айв (Jonathan Ive) – бывший главный дизайнер Apple, проработавший в корпорации почти 30 лет. Он покинул ее летом 2019 г.
