ИИ-агент под охраной.
Итак, относительно недавняя https://kas.pr/y2s8: исследователи предложили концепцию, в которой агентного ИИ-работника, умеющего что-то делать с последствиями в реальном мире, для безопасности стоит заключить в виртуальную камеру-песочницу.
И поставить на периметре ИИ-охранника, чтобы бил первого по рукам, когда тот попытается натворить что-то не то, в соответствии с политикой безопасности.
Инструкции для неё, то есть “конституцию безопасности”, можно писать на обычном языке, в данном случае английском.
Не специалист по соответствующим технологиям, по существу могут прокомментировать “ https://ai-cert.kaspersky.ru/”, например,
https://t.me/llmsecurity. Не могу сказать, взлетит ли, может и разумно звучит, время покажет.
Может быть, кривая развития так называемого ИИ приведёт к разнообразному разделению труда внутри наших устройств. Будет полная коробочка сущностей, первая пишет код, вторая созванивается, третья детали на складе заказывает, а четвёртая первых трёх стережёт, чтобы чего не удумали.
Ну а может быть, будет монолитный, шибко умный ИИ — и швец, и жнец, и на дуде игрец.
Тема немного рифмуется, например, с https://ru.ruwiki.ru/wiki/Спор_Таненбаума_—_Торвальдса вокруг архитектуры ОС. Ну и мы тоже поучаствовали, и конечно же, для построения конструктивно безопасных ИТ-систем нужна https://os.kaspersky.ru/technologies/microkernel/ компонентов!
Хочу напомнить, что, конечно, и “охранник”, и “агент-работник”, и прочие “сущности” – это не настоящие персонажи, не носители интеллекта, а алгоритмы, да, тяжёлые, сложные, требующие огромных вычислительных мощностей, просто непредставимых лет 30 назад.
Это не личности, а средства автоматизации самых разных задач, которые раньше не получалось автоматизировать, а теперь — получается. Участвовать в этой технологической волне, конечно, очень интересно.
