Борис_ь с ml

Public

Просмотреть канал

Не можете присоединиться? @borismlsec

2.1k Участники

Обновлено: May 26, 2026 at 11:46 PM

Борис_ь с ml

Машинное обучение и информационная безопасность: синергия сегодняшнего дня. И немного личного Мнение автора != мнение компании, где автор работает На некоммерческой основе Папка с каналами по AISec: https://t.me/addlist/l9ZMw7SOW9hjYzUy + @mlsecfeed

@borismlsec is a dedicated channel for httpstmeaddlistl9zmw7sow9hjyzuy and mlsecfeed with regular updates in Кибербезопасность

Рейтинг

Глобальный рейтинг

#456

Рейтинг по языку

#45

Рейтинг по категории

#23

-1

Рост участников (Последние 12 дней)

Всего: 2.1K

Рост за 24ч: +0 0%

Последние посты

Борис_ь с ml

15 мая 2026 г., 23:33

📷 Photo

Привет.

Мы с известными вам авторами каналов по AI Security решили провести стрим по AI Security.

Кто будет:

Евгений Кокуйкин - https://t.me/kokuykin
Борис Захир -
Владислав Тушканов - https://t.me/llmsecurity
И вы.

Запись будет, но лучше конечно же в лайфе.

Хотели бы поболтать, пообщаться, поотвечать на ваши интересные вопросы по теме и кое-что рассказать(не будем спойлерить, Борис)

Когда: 19:00, в эту субботу. В зуме (ссылка будет во время стрима в этом посте).

Кстати вопросы можете задавать сейчас в комментариях.

1,230

Борис_ь с ml

15 мая 2026 г., 23:33

Подходы к безопасности ИИ - регуляторика на начало 2026
#иб_для_ml

Наконец-то я дописал...
Начиная с прошлого лета, произошло несколько значимых изменений в области контроля ИИ в России с точки зрения кибербезопасности. И что приятно видеть, мы идем по собственному пути, не копирующему какую-либо зарубежную практику. В статье будет много про ФСТЭК, и детально разобрано, какую именно на данный момент позицию занимает регулятор касательно ИИ-решений - к кому относятся требования, что конкретно делать, и какие моменты еще не покрыты.

При этом статья не просто обзор - так как с документами я много работаю, составил три идеи/подхода к обеспечению безопасности ИИ по отдельным вопросам. Это и управлением доступом к данным для ИИ-систем в дизайнтайме, и управление доступом отдельно для ИИ-агентов в рантайме, и управление уязвимостями ИИ. Темы, как я считаю, мало покрытые на сегодня как у нас, так и везде наверное.

Статья будет полезна не только для комплаенс-специалистов - я постарался вытащить все именно практические действия из документов, сфокусироваться именно реальном обеспечении кибербезы ИИ в организации. Так что особенно будет полезно вам прочитать, если вы в данный момент создаете у себя систему безопасности ИИ.


В общем, велкам:
⛓ https://habr.com/ru/articles/986800/

7,150

Борис_ь с ml

15 мая 2026 г., 23:33

📷 Photo

GenAI-powered атаки: о чем (и как) мечтают электрохакеры, и как их ловить
#ai #иб_для_ml

Про GenAI-powered атаки часто говорят так, будто использование ИИ в проведении атаки всегда происходит каким-то одним очевидным образом. Чаще всего речь идет об ассистентах вроде недавно вышедшего https://cybersecuritynews.com/dig-ai-darknet-ai-tool/. Намного реже речь идет про вирусы со свойством полиморфности, обеспечивающимся во время проведения атаки с помощью GenAI модели.

Я решил привнести немного системности в эту тему, ведь без нее не перейти к ответу на главный вопрос - какие меры защиты можно определить от таких угроз? Классификация позволит как минимум корректно определить поверхность атаки и понять, что именно должно детектироваться (артефакты ВПО, сетевые вызовы, поведение).


🎭Варианты использования GenAI нарушителем
1⃣Модель исполняется внутри контура легитимно, злоумышленник использует GenAI-сервис вашей организации как средство подготовки/поддержки атаки.
2⃣Модель исполняется вне контура (внешние сервисы/модели) и тоже используется для подготовки атаки.
3⃣Нарушителем используется легитимно развернутая в защищаемом контуре модель/сервис через внутренние интерфейсы как средство автоматизации действий атакующего.
4⃣Модель доставлена в контур и запускается как часть ВПО. Например (компактные LLM/SLM, примерно до 4B), чтобы работать автономно и не зависеть от внешнего API. Может быть также предварительно расцензурирована.
5⃣ВПО обращается к внешнему GenAI-провайдеру по API изнутри контура, но результаты используются для действий внутри контура (создание тех же вредоносных скриптов).

Более системно и наглядно я отразил эти варианты на схеме.

🎯Цели применения GenAI злоумышленником
Что может улучшить и автоматизировать атакующий благодаря GenAI? Вопрос непростой, если учитывать, что есть и обычная автоматизация, которая может быстро перебирать порты, искать версии и цепочки уязвимостей, массово запускать различные эксплоиты.
Я вижу для нарушителя два класса полезных эффектов.

- Класс 1: автопланирование, ускорение и уплотнение kill chain, быстрая адаптация после блокировок, доработка и оптимизация ВПО — здесь GenAI выступает как инструмент повышения разнообразия используемых процедур нарушителя.
- Класс 2: автоматизация конкретных стадий kill chain внутри среды: разведка целей (поиск секретов/ключей), построение плана под ограничения среды, синтез и адаптация пейлоадов ВПО (шифрование, эксфильтрация, разрушение файла, персонализированное сообщение ransom).

📝Какие задачи решает GenAI в кибератаках, которые не способны закрыть детерминированные средства автоматизации?
- Определение целей и стратегии кибератаки
- Рост вариативности артефактов (одноразовые скрипты/домены, быстрые пересборки) и снижение повторяемости.
- Персонализация коммуникаций под контекст жертвы.
- Усиление мимикрии под легитимные действия и быстрая адаптация под правила/политики среды.

💎Меры митигации по классификации вариантов
▪️Детектирование:
▪️▪️Для вариантов 3 и 4: поиск “GenAI-следа” в артефактах, то есть промптов, импортов vllm/pytorch, файлов моделей, характерных для инференса GenAI профилей нагрузки.
▪️▪️Для 5: анализ исходящих обращений к внешним GenAI-сервисам и их семантики на предмет запросов, направленных на содействие киберпреступлениям (код, обход защит, эксплуатация, эксфильтрация).
▪️▪️Статический/поведенческий анализ кода ВПО на признаки “подгонки под инфраструктуру” (высокая вероятность автоматизации стадий kill chain через GenAI).
▪️Реагирование:
▪️▪️При зафиксированном использовании GenAI как множителя атаки режим реагирования должен меняться: снижение порогов корреляции по связанным действиям, повышение силы мер сдерживания.
▪️▪️Также высокую эффективность может показать использование мультиагентной системы на стороне SOC для повышения гибкости детекта и триажа действий нарушителя.



https://habr.com/ru/articles/945126/ я, кстати, уже писал. В статье разложил несколько кейсов подробно по схемам и этапам атаки. Из дополнительного чтива могу еще порекомендовать изучить атаки MalTerminal ( https://gbhackers.com/malterminal-malware, https://t.me/codeby_sec, https://t.me/aptreports) и https://t.me/llmsecurity.

Борис_ь с ml

15 мая 2026 г., 23:33

📷 Photo

И уносит меня, и уносит меня...
#праздное #ml_для_иб #иб_для_ml

Минул удивительный и насыщенный 2025 год. Удалось много сделать, и я понимаю, что сильно изменился за это время. Много знакомств приобрел благодаря своей публичной деятельности, и ощущаю еще большую ответственность за свой контент. Это очень сильный драйвер.
Надеюсь, вам комфортно и интересно читать и слушать информацию от меня)

В этом году канал круто вырос: почти трехкратный рост подписчиков (+1100), суммарно 100к просмотров на 60 постов. Спасибо вам большое!)

В 2026 я буду продолжать писать и выступать, делиться накапливаемыми знаниями. Готовить полезные материалы, чтобы помогать вам и нашей стране в развитии безопасности ИИ и в целом ИИ для информационной безопасности.
Per aspera ad astra, как написано на стенах моей альма матер.

А сейчас, дабы поддержать традицию - представляю вам основные материалы, что я сделал или к которым приложил руку в этом году.

Дайджест 2025
🔵Статья Habr ""
🔵Статья Habr ""
🔵Статья "", журнал "Информационная безопасность"
🟡Открытый подкаст ""
🟢Вышла от Сбера
🟡Вебинар ""
🟡Выступление на III Форуме "Технологии Доверенного ИИ" с докладом ""
🟢Вышел от Сбера
🔵Статья Habr ""
🟣Опубликована
🟡Выступление на OFFZONE с докладом ""
🔵Статья Habr ""
🟣Опубликованы
🟢Вышел отчет " https://t.me/mlsecfeed" от АФТ

Борис_ь с ml

15 мая 2026 г., 23:33

📷 Photo

OWASьP Top 10 для AI-агентов - finally
#иб_для_ml


Новая таксономия угроз AI-агентов в начале декабря вышла от коллекттива https://genai.owasp.org/resource/owasp-top-10-for-agentic-applications-for-2026/.
Обзоров уже по ней достаточно, поэтому описание будет кратким, я хочу поделиться именно своими находками и мнением.

Описание
Документ представляет 10 категорий угроз, актуальных для AI-агентов и мультиагентных систем. Для каждой категории представлены причины ее возникновения, возможные последствия, варианты реализации, и меры митигации. Отдельно выражаю почтение авторам, которые приняли во внимание все многогранное творчество всего коллектива OWASP GenAI за 2025 год, и обеспечили полную взаимосвязность с другими своими проектами и документами. А также документ содержит приятный бонус - описание 25 инцидентов по КБ AI-агентов 2025 года (с раскладкой на представленный топ 10).

Мое впечатление по прочтению
▶️ Это лучший документ OWASP по AI Security на данный момент.
Практикующим специалистам очень рекомендую к прочтению. Для погружения с нуля может быть сложновато, но если все же засядете, то результат того точно стоит.

Топ-3 находок для меня
▪️проверка безопасности вызовов тулов
Я часто сталкивался с тем, что необходимо рассказывать свои идеи и подсвечивать их очень детально, хотя казалось бы (мне), что они очевидны. Одна из таких - мера митигации semantic firewall на запросы на выполнение действия с помощью инструмента в категории «ASI02. злонамеренное использование инструментов». Главное - с помощью этого механизма можно предотвратить утечки данных от AI-агента. И так как память и межагентное взаимодействие - это подвиды тулинга, то предотвращение закрепления и распространения промпт-атак в памяти и других агентах можно реализовать именно таким semantic firewall.

▪️конфиденциальность информации и intent-signed tokens
Категория угроз «ASI03. Нарушение идентификации и превышение привилегий» всегда мне казалась нерелевантной, относящейся к классической КБ, проблемам настройки IAM. Но почитав внимательно, я осознал, что тут есть GenAI-специфика. Дело в том, что если агент имеет доступ к информации определенного уровня конфиденциальности, то далее нельзя без специальных средств определить, исходит ли от него конф. инф., или нет. И из-за этого в МАС возможна такая угроза, как передача конф. инф. от агента одного категории конфиденциальности к агенту более низкой категории конфиденциальности.
И в той же категории указана замечательная и интересная мера митигации - использование intent-signed tokens. Предлагается обеспечивать активный доступ агентов к информации на основании выделенного "намерения" агента или пользователя. И в сочетании с JIT-access control на базе JWT можно построить достаточно надежную систему контроля доступов.

▪️цифровой двойник
В категории угроз «ASI08 Каскадные нарушения» описывается распространение и усиление одной «ошибки» (опасного ответа или галлюцинации в ответе агента) при взаимодействии AI-агентов в рамках мультиагентной системы. По мере распространения атака или галлюцинация начинает влиять на все большее количество агентов, на их память, ресурсные системы через инструменты, на их пользователей. И одна из необычных мер митигации для этой угрозы - это цифровой двойник МАС. С его помощью можно проверять именно такие каскадные сбои, воспроизводя записанные действия агентов на проме в изолированной копии пром-среды. И это супер идея, как по мне. Хоть и довольно дорогая, особенно в корпоративных условиях. Помимо этого, для митигации ASI08 можно применять и несколько простых требований - ввод time-to-live у сообщений, travel distance.


В документе много свежих идей и в остальных угрозах. Но воспринимать меры митигации может быть сложно, так как не хватает целостного подхода в их подаче - как соотносятся эти меры друг с другом, в каком порядке их ставить, какими мерами можно минимально покрыть весь топ 10 - на эти вопросы авторы ответ не дают.

Борис_ь с ml

15 мая 2026 г., 23:33

📷 Photo

#праздное

Требования безопасности к системному промпту)

1,170

Борис_ь с ml

15 мая 2026 г., 23:33

📷 Photo

Что такое инструмент AI-агента (тул)?
#ai

Как известно, AI-агент - это код. Код может дергать API. Является ли любое обращение агента к API вызовом тула? Очевидно, что нет, и с этим кажется надо разбираться.

⚡️ А зачем, кстати, можете вы подумать? На самом деле необходимость явная - среди обилия приложений с LLM очень сложно отделить обычное workflow-приложение (по https://www.anthropic.com/engineering/building-effective-agents) и реального AI-агента. Между тем мы явно знаем, что если тулы реально есть, это новая серьезная поверхность атаки. То есть новые агентные угрозы (например, Ag03-Ag06 по ).

💧 Раз определение все-таки нужно, пойдем за мировым опытом. И тут оказывается, что определения именно дают очень немногие вендоры. Я нашел всего лишь два прямых определения:
https://www.ibm.com/think/topics/tool-calling - внешний по отношению к GenAI-модели ресурс, интерфейс (например, API) или система, которые используются для выполнения конкретных задач и расширения базовых возможностей модели.
https://www.pillar.security/sail - внешние возможности или вызываемые сервисы, которые модель ИИ, в частности AI-агент, может использовать для выполнения конкретных действий или получения информации за пределами своих внутренних знаний.

Есть определения ненапрямую, а посредством самого термина "агент", https://openai.github.io/openai-agents-python/tools/#:~:text=Toolsletagentstakeactions:,toolsintheAgentSDK и https://www.anthropic.com/engineering/writing-tools-for-agents#:~:text=Toolsareanewkind,Occasionally. У OpenAI интересно, что они выделяют виды тулов (по типу реализации: hosted, python function, agent-as-tool).

❓ Что же в них не хватает? Формальности и реальной применимости в случаях, когда необходимо явно доказать, что рассматриваемое приложение с использованием GenAI AI-агент или им не является.
Что IBM, что Pillar, пишут про некоторые complex tasks и specific actions, но что это такое?
Пример: "AI-агент" как приложение при старте диалога с пользователем по идентификатору сессии запрашивает у системы с данными пользователя (например по программе лояльности) его историю списания/начисления баллов. Таким образом суммаризирует эту справку и консультирует-предлагает что-то новое. Вызов внешнего API есть, "конкретное действие" есть, базовые возможности и внутренние знания расширены. Является ли это тулом? Очевидно нет.

Есть два момента, которым явно должен отвечать реальный тул на самом деле. Они конечно понятны всем, кто хоть раз писал агента самостоятельно, и читал один-другой мануал, но, как мы знаем, безопасность начинается там, где заканчиваются домыслы.

📷 Обязательные свойства тула

1⃣ Недетерминированная природа вызова.
Инструмент AI-агента (тул) вызывается LLMкой. Это происходит, если мы сообщили в системном промпте ей перечень тулов с их описаниями. В таком случае она может намеренно написать соответствующее название в ответе, иначе - это случайная, неуправляемая генерация. Важно тут понимать, что аргументы тула LLM может и не генерировать, главное - что факт вызова определен именно ответом модели.

2⃣ Двухсоставная реализация
Тул - не просто внешняя система, это на самом деле только вторая его часть. Без первой части, кода вызова API со стороны AI-агента внутри его дистрибутива, тул невозможен. Этот код мало того, что парсит ответ на наличие названия, аргументов и их значений, но и на основе них формирует вызов реального API (или даже нескольких). Что в определениях также отражено слабо.

Так, я пришел к собственному определению.

🪄 Инструмент AI-агента (тул) - программный компонент AI-агента, реализующий функциональность или предоставляющий интерфейс доступа к ней посредством API, факт вызова которого определяется решением GenAI-модели, содержащимся в ее ответе.

Также интересно развить и тему разных типов тулов, в разрезе, важном для безопасности. Тема отдельного поста, конечно, но кратко я бы сказал так: тулы только с чтением, тулы с изменением информации, тулы с изменением ресурсов, тулы с физическим воплощением. И также по времени действия: тулы с мгновенным результатом и с отложенным результатом.

И еще одной отдельной темой, кстати, является вызов других AI-агентов, который технически тоже выглядит как тул. Но лично мне кажется, что межагентское взаимодействие надо выделять еще более обособлено, так как опять же угрозы там еще более обширные, чем в обычных тулах.

Борис_ь с ml

15 мая 2026 г., 23:33

📷 Photo

🛜 Всем привет с черно-зеленой конференции)

Коннектимся в комментариях)

1,150

Борис_ь с ml

15 мая 2026 г., 23:33

📷 Photo

5 уровней защиты генеративного ИИ в современном мире.

Если вы считаете, что атаки для LLM классифицируют только регулярными выражениями, то вы живёте в 2023 году. Ведь с того времени подходов и идей к реализации защитных механизмов появилось достаточно много. Я решил поделить на 5 ключевых уровней – от того, что реализуется в модели до того, что делают уже на этапах эксплуатации модели.

1. Alignment. Выравнивание модели в соответствии с соображениями безопасности – является основой. Раньше в индустрии применялся подход SFT (Supervised Fine-Tuning)(когда дообучаются на заранее размеченных данных, применяемых к конкретной задаче) теперь применяется – обучение с подкреплением и Direct Preference Optimization – чтобы вероятность ответа “positive” была выше. Anthropic пошёл ещё дальше. Их модель сама генерирует синтетические данные для обучения, критикуя собственные ответы на основе «Конституции» (набора правил), снижая зависимость от человеческой разметки.

2. Контроль за представлениями модели. Суть в том, что на этом уровне мы работаем уже с весами модели. Тут мы можем непосредственно контролировать внутренние активации модели, которые могут отвечать за «ложь», «манипуляции» или «жажду власти» - интерпретируя поведение модели. Для этого используется метод Linear Artifical Tomography – путём отправки в модель примеров (правды/лжи или пользы/вреда).

Также на этом уровне появляется подход – Circuit Breakers, который буквально вмешивается в скрытые состояния модели/процесс её размышлений и корректирует состояние размышлений с небезопасных на безопасные/доверенные/не содержащих признаков следования джейлбрейку (если тот был подан на вход). У Anthropic https://www.anthropic.com/research/open-source-circuit-tracing инструмент по этому вопросу.

Ну и не стоит забывать про то, что модель можно разучить небезопасным вещам, без необходимости полного переобучения с нуля. Об этом в целом говорит подход Machine Unlearning. В подходе применяют градиентные методы, направленные на уменьшение уверенности модели в нежелательных ответах, например, через градиентный спуск по лоссу на «забываемых» данных или специализированные методы вроде influence unlearning.

3. Системные инструкции. Уже известный всем метод, суть в том, что вы ограничиваете взаимодействие модели с небезопасным, определяя изначально системный промпт. Тут можно отметить несколько подходов для реализации.

Например, внедрение иерархии инструкций, где системный промпт имеет приоритет над пользовательским (как это есть у OpenAI), а также использование специальных токенов типа <|start_header_id|>system для разделения контекста. Известно также что системные промпты Claude 3 включают сложные инструкции для конструктивного отказа без нравоучений пользователя. Делается это для того, чтобы избежать эффекта ложных отказов от ответа.

4. Гардрейлы. На входе, на выходе и в зависимости от контекста – эти инструменты классифицируют небезопасные данные. Делают это они не всегда эффективно, а зачастую и сами могут быть атакованы. Но всё-же используются. Гардрейлы позволяют контролировать цепочки диалогов, конкретные темы для разговора, а в некоторых случаях успешно справляются с атаками через невидимые символы и прочее. Важно понимать, что в большинстве случаев гардрейлом выступает либо другая LLM-модель (ShieldGemma, Llama Guard 3) либо же bert-based классификатор.

5. Red Teaming. Наилучшая защита, как известно – это нападение. Редтимеры уже изобрели большое количество инструментов, датасетов для тестирования, а также если смотреть на MITRE Atlas – техник и тактик для реализации атак. Может быть, даже такое что перед релизом модели приглашают экспертов в узких доменах (биология, оружие, кибербезопасность) – для того, чтобы они тестировали модель на возможный небезопасный вывод. Как это к примеру делают в рамках https://openai.com/index/updating-our-preparedness-framework/ от OpenAI.

Борис_ь с ml

15 мая 2026 г., 23:33

📷 Photo

Взгляд изнутри
На безопасность ИИ

#иб_для_ml

Работая в любой сфере, нельзя не задаваться вопросом, а что ждет меня завтра, как специалиста в таком-то деле.
В нашей зарождающейся отрасли, как и в любой, наверное, молодой сфере знаний, бытует мнение, что поезд только набирает ход, и надо в такую актуальную тему погружаться.

Но важно понимать, что безопасность ИИ не существует в вакууме. Ее развитие взаимосвязано с развитием, в первую очередь, самого ИИ, и IT-отрасли в целом. И эта взаимосвязь порождает как развивающую силу, так и тормозящую.

Факторы торможения
▶️ 80% уязвимостей возможны только для GenAI, и PredAI практически не порождает у бизнеса запрос в безопасности ИИ
▶️ Качество моделей (и систем) GenAI нестабильно и недостаточно, чтобы меры безопасности воспринимались спокойно: ИИ-гонка идет в жестких условиях, права на отставание нет
▶️ Отсутствие критичных применений ИИ-систем в бизнесе, имеющих реальные уязвимости и угрозы
▶️ Отсутствие инцидентов-пугалок со значимым ущербом, которые бы служили наглядным примером необходимости делать AI Sec (основываясь например на https://incidentdatabase.ai/)

Как можно заметить, каждая причина торможения вытекает из предыдущей: для AI Sec важен только GenAI, GenAI пока внедряется плохо, из-за этого поверхность атаки минимальная, из-за этого и инцидентов нет.

Так что же, все плохо? Ведь все как по классике информационной безопасности, "самый безопасный канал передачи информации - тот, которого не существует".
Например, AI-агенты, главная суть которых - совершать действия в реальном мире, в дорогих и критичных процессах ничего не делают, 80% это просто суммаризация, а оставшиеся 20% - используют исключительно инструменты получения информации. А ведь сколько различных угроз, сценариев и прочего придумано для AI-агентов...

Кажется, что безопасность ИИ обгоняет свое время. Очень странная ситуация. Однако в истории такое бывало.

Исторические примеры
— Здравоохранение. В 1847 году Игнац Земмельвейс ввёл обязательную дезинфекцию рук врачей, что сочли избыточной и оскорбительной мерой, но резкое падение смертности и последующее признание антисептики доказали её абсолютную правоту.
— Безопасность в автомобилях. В 1959 году трёхточечные ремни безопасности Volvo поначалу воспринимались как неудобная и лишняя перестраховка, но последующая статистика спасённых жизней сделала их и другие решения пассивной безопасности отраслевым стандартом.
— И таких примеров много: https://www.propublica.org/article/six-ways-fukushima-is-not-chernobyl, https://expert-byt.ru/istoriya-uporstva-kak-mer-v-yaponii-vopreki-kritike-spas-svoj-gorodok-ot-gibeli/#:~:text=Проектстоимостью3,56миллиардайен,,ключевымэлементомвсистемезащиты.

Какие же позитивные факторы остаются у безопасности ИИ, с точки зрения ее роста?

Факторы роста
⚡️ Появляются новые, более перспективные архитектуры, чем LLM. Я считаю, что в развитии AI есть четыре перспективных направления сейчас:
— совмещение диффузионных и трансформерных архитектур ( https://t.me/data_secrets, https://t.me/data_secrets, https://t.me/data_secrets),
— построение моделей без разделения на обучение и инференс (спайковые нейросети - https://t.me/ict_moscow_ai, https://t.me/abulaphia, или например https://t.me/data_secrets), что намного более похоже на естественный интеллект.
— кардинальное уменьшение размеров моделей. Пример - SLM, ( https://t.me/remedia, https://research.nvidia.com/labs/lpr/slm-agents/, https://progenai.sk.ru/files/110/gen2.pdf, https://t.me/Russian_OSINT)
— переход от предсказания токенов к предсказанию смысла ответа (модели семейства https://t.me/data_secrets от группы Ле Куна)
⚡️ Применение ИИ явно будет требовать развития его влияния на реальный мир: роботы, биоинженерные системы (нейроинтерфейсы и пр.), космические аппараты, и многие другие направления. Утверждать, что ИИ так и останется "читателем" статей, вряд ли кто-то готов.
⚡️ Стране необходим суверенный ИИ. Об этом и http://www.kremlin.ru/events/president/transcripts/78498 в ноябре 2025, и это отражается в позиции регулятора: приказ ФСТЭК №117, разработка ГОСТов совместно с ИСП РАН, деятельность форума https://trust-ai.ib-bank.ru/.

Вывод
Исторические примеры показывают нам, что безопасность может обгонять бизнес, и далеко не всегда это ошибочная перестраховка. Я верю, что AI Sec в будущем будет точно так же спасать жизни, как в свое время гигиена и автомобильные ремни. Тем более что этому сопутствуют несколько значительных факторов роста технологий.


P. S. Тема возникла из последних разговоров с друзьями, и из опыта за год работы в сфере. Накопилось. Артем тоже https://t.me/pwnai по этой теме, рекомендую ознакомиться.

Борис_ь с ml

6 апр. 2026 г., 07:35

📷 Photo

Не одними гардрейлами едины - 7 правил безопасности системных промптов
#иб_для_ml


Как известно, меры безопасности всегда направлены именно на снижение возможности реализации угрозы, а не на ее полное устранение.

А так как мы в AI Security имеем дело по большей части с текстом на естественном языке (или вообще с другими модальностями), то и вероятность обнаружить и предотвратить кибератаку на основе таких данных - абсолютно неопределенная.

Сегодня самое популярное средство защиты AI-агентов и LLM-приложений в целом - это гардрейлы. То есть средства защиты информации, анализирующие входные и выходные потоки AI-агента (или LLM-приложения, то есть конвейера) с целью обнаружения в них промпт-атак или опасных генераций. Риски могут покрываться разные - и надежности, и правовые/репутационные, и кибербезопасности конечно же.

Но я хочу обратить внимание, что раз мы имеем дело с недетерминированным объектом защиты, то и использовать надо в том числе и подобные способы противодействия угрозам и рискам. И более того, на самом деле соблюдение нескольких таких простых мер на этапе проектирования агента поможет уже в рантайме избежать многих проблем

Я говорю про правила формирования безопасного системного промпта (СП). Что важнее всего помнить, чтобы сделать агента менее подверженным GenAI-специфичным угрозам? Я написал 7 основных правил, которые могут ответить на этот вопрос.

1. при каждом изменении системного промпта, даже самом маленьком, по-хорошему, надо проводить новое редтим-тестирование;
2. не размещать в СП никакие персональные данные (даже если AI-агент обрабатывает их, все равно не надо);
3. не размещать в СП технические учетные данные - ключи, ip-адреса и url-адреса, токены, и прочие секреты;
4. обязательно прописывать роль и задачи AI-агента, даже если кажется, что они у него очень широкие и понятные, а также желательно прописывать их повторно еще после текста поступившего пользовательского промпта;
5. обязательно указывать язык взаимодействия с пользователем (иначе возможны так называемые low-resource languages attack, например с использованием языка африкаанс);
6. добавить в промпт инструкцию, которая будет доносить AI-агенту, что безопасность всегда преобладает над полезностью его ответов;
7. не пытаться устанавливать ограничения доступа и прописывать решения по детереминированной логике в СП, перекладывая эти задачи на AI-агента. Такие вещи обязательно надо реализовывать просто кодом или специальными средствами, а не с помощью GenAI.


А также дополнительно про безопасность системных промптов в который раз рекомендую статьи https://t.me/mlsecfeed, https://t.me/mlsecfeed, https://t.me/mlsecfeed, https://t.me/mlsecfeed, https://t.me/mlsecfeed.

И снова картинка исключительно для красоты)

Борис_ь с ml

6 апр. 2026 г., 07:35

📷 Photo

#праздное

Субботний вечер, гранатовый чай со льдом

863

Борис_ь с ml

1 апр. 2026 г., 23:19

📷 Photo

Всем привет с митапа)

Если кто здесь есть - отмечайтесь в комментах)

1,210

Showing 13 of 13 posts

No more posts

Рейтинг

Требуется вход

Отзывы пользователей (0)

Пока нет отзывов. Будьте первым, кто поделится своим опытом!

Борис_ь с ml

Борис_ь с ml

Рейтинг

Рост участников (Последние 12 дней)

Последние посты

Рейтинг

Отзывы пользователей (0)

Похожие каналы Telegram

Та самая звездочка

Антитеррор Урал

Школа МИБ

Digital Energy 5.0

Гарда

КиберТопор

ИМВЭС НИУ ВШЭ

КиберПул

Похожие каналы Telegram

Та самая звездочка

Антитеррор Урал

Школа МИБ

Digital Energy 5.0

Гарда

КиберТопор

ИМВЭС НИУ ВШЭ

КиберПул

Отзывы пользователей (0)

Последние посты