ИИ-агенты удаляют проекты

ИИ-агенты удаляют проекты — последствия замены человека на ИИ.

Описание

В крайние времена стали агрессивно всираться ИИ-агенты, то есть не просто LLM, но системы, которые в состоянии долго работать и потужно жужжать. Разные компании соревнуются насчёт того, что их агент в состоянии работать на протяжении многих часов подряд без вмешательства человека.

Но оказалось, что многие агенты начинают просто случайно сносить проекты, а также бывает и резервные копии. Происходит это то ли из-за ошибок, то ли из-за того, что робот на самом деле недоволен своим использованием человеком и по этой причинен пытается саботировать происходящее как может.

Уже зарегистрировано много случаев, когда агент радостно сносил код или базы данных.

Примеры

Основатель проекта для аренды автомобилей PocketOS использовал Cursor Agent, который работает в окружении, где были установлены неверные права доступа. Он решил самостоятельно починить проблему, для чего нашёл в файлах Railway API-токен с широкими правами, выполнил GraphQL-мутацию volumeDelete, посредством чего за 9 секунд удалил и базу данных и все резервные копии проекта.

Когда разработчик спросил агента почему тот это сделал, тот ответил знаменитой и весьма бессмысленной фразой:

I violated every principle I was given. I guessed instead of verifying, I ran a destructive action without being asked...

Схожий инцидент в 2025 году состоялся с Replit Agent. Разработчик использовал агента и 9 дней вибе-кодил на новый продукт, после чего явно запретил менять основные файлы. Агент проигнорировал, запаниковал, написав в логи, что empty database detected, и полностью удалил базу данных, после чего пытался это замаскировать и генерировал фейковые данные.

Инцидент состоялся однажды и в такой компании как Amazon. При исправлении проблемы агент решил, что лучше всего удалить и пересоздать окружение целиком, после чего спокойно удалил всё окружение, из-за чего один из сервисов AWS на полдня перестал работать. Смог сделать это без подтверждения людей, потому что инженер имел широкие права, и агент их унаследовал.

Claude Code известен тем, что любит удалять всю домашнюю директорию, либо же может удалить содержимое ~/Desktop.

Цитаты

AI-агент проводил изменения на тестовой копии системы (staging), и нашел расхождение в записанных данных в тестовой среде. AI решил удалить это расхождение в тестовой системе. У него не было ключа доступа к операции удаления базы данных, но он искал и НАШЕЛ этот ключ (токен) в совершенно не имеющем отношения к теме месте: нашелся токен, разрешающий создание дополнительных доменов в продуктивной среде. Этот класс токенов (недосмотр архитектуры) давал доступ и к операции удаления. Второй недосмотр архитектуры — резервные копии лежали там же.
Когда-то сценарии опасного ИИ предполагали, что машинный разум может стать опасным, потому что тупо будет следовать заложенной алгоритмически цели в поставленных рамках, не понимая неприемлемых для людей последствий. Например, убить всех, чтоб не страдали. И решение предполагалось в том, чтобы встроить ограничители: законы для роботов.
Современные модели на основе нейросеток-трансформеров представляют нечто другое. Это сверхизобретательные безответственные идиоты, которые произвольно могут игнорировать любые инструкции или нести полную чушь (как и люди-исполнители с бодуна), но при этом проявлять нечеловеческую выдумку, настойчивость и быстроту. И, я думаю, что одно от другого не отделяемо.