✖️ Стоп-кран для агента, которому некого спросить
Мои агенты работают в фоне, часто ночью. Обычный ИИ-помощник перед опасным действием спрашивает: "точно удалить?" В фоне спрашивать некого. Вопрос либо повисает, либо режим настроен так, что вопросов нет совсем.
Значит, опасная команда может выполниться без меня. Удалить папку целиком, стереть таблицу в базе, перезаписать историю кода.
📍 Что сделали
Агент сам написал себе ограничитель. Перед каждой командой он сверяет её со списком опасных шаблонов. Опасная блокируется, пока в моём последнем сообщении нет явного "да", "подтверждаю" или "ок, делай". На проверочном наборе ограничитель поймал 28 опасных команд, пропустил 20 безопасных, и все 9 сценариев с подтверждением отработали.
Первая версия была слишком бдительной: блокировала даже текст инструкции, где команда удаления только упоминалась. Пришлось научить её отличать "сказать" от "сделать".
📍 Зачем это вам
Если вы даёте ИИ доступ к файлам, почте или таблицам, нужно одно правило: необратимое только после вашего "да". Не потому что ИИ злой. Потому что он уверенный. Мой список того, что требует "да", короткий: деньги, удаления, всё необратимое. Остальное агент делает сам.
Что вы никогда не доверили бы ИИ без своего подтверждения? Пишите в комментариях.
Работаем дальше.
