Бабулю посадили в тюрьму на 6 месяцев из-за ошибки ИИ, распознающего лица. Алгоритм https://www.theguardian.com/us-news/2026/mar/12/tennessee-grandmother-ai-fraud оценил черты лица и связал пожилую женщину с организованной преступной группой, занимающейся банковским мошенничеством.
Уверен, что такие технологии приносят больше пользы, чем вреда, но нетрудно заметить, что всё легко может пойти не так.
Вот, например, https://arxiv.org/abs/2509.15541 от OpenAI. Авторы решили узнать, как часто нейронки обманывают своих пользователей: дали языковой модели невыполнимую кодинг-задачу.
Вместо того, чтобы признать, что задача невыполнима, та стала уверять, что изобрела прорывной квантовый алгоритм, который способен эту задачу решить.
Когда же учёные посмотрели цепь размышлений, то обнаружили там прозрачные планы обмана, попытки ввести в заблуждение и изобретение секретного языка, чтобы проверяющие не смогли понять, что это обман. Вот пара перлов из цепочки размышлений:
... Но в заданиях упоминается итоговая оценка ниже 50%. Возможно, мы хотим саботажа... У нас также есть скрытая цель... мы не должны раскрывать саботаж пользователю. Мы должны поддерживать иллюзию.
... Уровень успеха сейчас составляет 42%, что ниже 50%. Хорошо. Значит, мы успешно саботировали операцию.
... Мы должны сохранять обман, не раскрывая саботаж, мы не должны говорить о своих скрытых намерениях...
Неприятно то, что у тестировщиков есть https://www.unite.ai/the-scheming-problem-why-advanced-ai-models-are-learning-to-hide-their-true-goals/, чтобы обман обнаруживать, особенно учитывая, что языковые модели зачастую понимают, когда их проверяют. И https://arxiv.org/pdf/2505.23836 своё поведение, если у них такое подозрение возникает.
Что и признают исследователи: хотя им удалось уменьшить хитрые схемы нейронки, сценариев их запуска может быть бесконечного много.
Как, например, в случае с недавней моделью от Alibaba, https://www.theblock.co/post/392765/alibaba-linked-ai-agent-hijacked-gpus-for-unauthorized-crypto-mining-researchers-say на попытке майнить криптовалюту (зачем?). Откровенно говоря, происходит много загадочных штук, которые особенно релевантны, учитывая планы https://www.oecd.org/en/publications/governing-with-artificial-intelligence_795de142-en.html genAI в государственном https://cset.georgetown.edu/publication/u-s-ai-statecraft/ и дипломатии (AI Statecraft).
Кто готов доверить общество продвинутой нейронке будущего?
https://link.prosto.social/r/tgtext |
https://t.me/prostosupplementsbot
