Vibe Evolve, Принцип №7: Полномочия, контроль и безопасность – фундамент.
Полномочия агентов и требования безопасности заданы явно и исполняются по риск-уровням автономии.
закрыл вопрос актуальности правил. P7 отвечает на следующий: какие именно действия агент совершает сам — и где нужен контроль?
Три режима автономии
🟢 Авто — действие обратимо, риск низкий: обновить документ, создать черновик. 🟡 Подтверждение — затрагивает внешние системы или необратимо: отправить письмо, открыть PR. 🔴 Только человек — необратимо, финансово или публично: оплатить счёт, кадровое решение.
Как срабатывает контроль: три механизма
🖥 Наблюдение, алерты, аудит — человек или агент-монитор следит за процессом и решает, когда вмешаться. В чате с агентом, дашборды, алерты (уведомления). Для циклических процессов – периодический аудит.
📝 Самоконтроль — встроен в инструкции самого агента: «уточни перед продолжением», «отдай на ревью суб-агенту». ждёт approve перед коммитом — это самоконтроль по инструкции.
⚙️ Gates (ворота) — процесс останавливается до прохождения проверки. Например, система сверяется с матрицей полномочий агента перед исполнением запроса на вызов инструмента.
4 исхода контроля: разрешить (один раз), выдать права, остановить с ошибкой (fail-hard) или перенаправить с обратной связью (fail-soft).
Механизм контроля — это одно. Кто его исполняет — другое.
Кто контролирует: три уровня
🛡 Программная проверка — жёсткие правила без ИИ: соответствие схеме данных, матрице ролей, допустимым диапазонам. Надежно, дёшево, всегда работает.
🤖 Агент-ревьюер или оркестратор — второй агент проверяет результат первого. Пример: агент-ревьюер анализирует PR — ищет ошибки и нарушения регламентов. Оркестратор принимает результат суб-агента и выбирает следующее действие. Ставим этот тип там, где нужна скорость и важно освободить людей.
🧔🏻♂️ Человек — финальный контролёр там, где цена ошибки высока (), а также, где решаются архитектурные вопросы, выставляются цели и определяются правила игры.
Антипаттерн: критичные контроли оставлять на уровне инструкции агента с широкой автономией. Галлюцинация модели или целенаправленная prmpt-injection атака – почти гарантия проблем.
Практика.
В агент формирует счёт через API, выставление – человек в личном кабинете банка. В /close-increment обновляет всё – агент, но запускает человек. Почтовый mcp дает готовить черновик письма клиенту – отправляю сам. OpenAI агент эскалировал задачи, требующие суждения; в остальных зонах – автономен в заданных границах.
⚡️ На самом деле это мой вызов прямо сейчас.
Разделение полномочий — это разделение ролей и контекстов. Агенты на одной и той же модели могут: быстро сломать всё, замусорить все своими галлюцинациями, сжечь на токенах тысячи долларов впустую — или автономно написать рабочий продукт на миллионы строк кода. Разница — в обвязке: роли, полномочия, контроль, контексты.
Там, где человек оркестрирует агентов — результаты у меня внутри уже есть: часы сэкономленного времени, ×3 к скорости.
Настоящий вызов – переход к высокоавтономным процессам на агентах без постоянного участия человека. Хотя бы час автономной работы агента. Или короткие, но частые задачи, чтобы было легко настраивать агентом. Другая грань проблемы – разные роли и доступы людей в компании. Это следующий рубеж. Провожу эксперименты, ищу платформу — вижу, что это реально, работаем.
Все стремятся к высокой автономии с низкими ошибками и дешёвыми токенами. Никто пока до конца не знает, как. Это главная гонка — и я в ней.
Принципы 1-7: — всё через ИИ, отвечает человек — всё доступно агентам как контекст — агент может действовать в любой системе — каждый может достраивать системы и агентов — цикл улучшений автоматизирован — правила актуальны P7 — мощность агентов ограничена там, где риски высоки
Полномочия, обвязки агентов — это архитектура. Кто её проектирует? Об этом — в Принципе №8 «Каждый — архитектор» ➡️
