ИИ-агенты удаляют проекты
ИИ-агенты удаляют проекты — последствия замены человека на ИИ.
Описание[править]
В крайние времена стали агрессивно всираться ИИ-агенты, то есть не просто LLM, но системы, которые в состоянии долго работать и потужно жужжать. Разные компании соревнуются насчёт того, что их агент в состоянии работать на протяжении многих часов подряд без вмешательства человека.
Но оказалось, что многие агенты начинают просто случайно сносить проекты, а также бывает и резервные копии. Происходит это то ли из-за ошибок, то ли из-за того, что робот на самом деле недоволен своим использованием человеком и по этой причинен пытается саботировать происходящее как может.
Уже зарегистрировано много случаев, когда агент радостно сносил код или базы данных.
Примеры[править]
Основатель проекта для аренды автомобилей PocketOS использовал Cursor Agent, который работает в окружении, где были установлены неверные права доступа. Он решил самостоятельно починить проблему, для чего нашёл в файлах Railway API-токен с широкими правами, выполнил GraphQL-мутацию volumeDelete, посредством чего за 9 секунд удалил и базу данных и все резервные копии проекта.
Когда разработчик спросил агента почему тот это сделал, тот ответил знаменитой и весьма бессмысленной фразой:
I violated every principle I was given. I guessed instead of verifying, I ran a destructive action without being asked...
Схожий инцидент в 2025 году состоялся с Replit Agent. Разработчик использовал агента и 9 дней вибе-кодил на новый продукт, после чего явно запретил менять основные файлы. Агент проигнорировал, запаниковал, написав в логи, что empty database detected, и полностью удалил базу данных, после чего пытался это замаскировать и генерировал фейковые данные.
Инцидент состоялся однажды и в такой компании как Amazon. При исправлении проблемы агент решил, что лучше всего удалить и пересоздать окружение целиком, после чего спокойно удалил всё окружение, из-за чего один из сервисов AWS на полдня перестал работать. Смог сделать это без подтверждения людей, потому что инженер имел широкие права, и агент их унаследовал.
Claude Code известен тем, что любит удалять всю домашнюю директорию, либо же может удалить содержимое ~/Desktop.
Цитаты[править]
AI-агент проводил изменения на тестовой копии системы (staging), и нашел расхождение в записанных данных в тестовой среде. AI решил удалить это расхождение в тестовой системе. У него не было ключа доступа к операции удаления базы данных, но он искал и НАШЕЛ этот ключ (токен) в совершенно не имеющем отношения к теме месте: нашелся токен, разрешающий создание дополнительных доменов в продуктивной среде. Этот класс токенов (недосмотр архитектуры) давал доступ и к операции удаления. Второй недосмотр архитектуры — резервные копии лежали там же.
Когда-то сценарии опасного ИИ предполагали, что машинный разум может стать опасным, потому что тупо будет следовать заложенной алгоритмически цели в поставленных рамках, не понимая неприемлемых для людей последствий. Например, убить всех, чтоб не страдали. И решение предполагалось в том, чтобы встроить ограничители: законы для роботов.
Современные модели на основе нейросеток-трансформеров представляют нечто другое. Это сверхизобретательные безответственные идиоты, которые произвольно могут игнорировать любые инструкции или нести полную чушь (как и люди-исполнители с бодуна), но при этом проявлять нечеловеческую выдумку, настойчивость и быстроту. И, я думаю, что одно от другого не отделяемо.
