Коллапс модели
Коллапс модели (model collapse), также Коллапс нейросети, Коллапс ИИ — разрушение нейронной сети, которая обучается на текстах, которые сгенерировали нейросети.
Также может называться довольно специфическим термином Рекурсивное загрязнение данных.
Описание[править]
Обычно нейросети обучаются на книгах, интернете и прочей сгенерированной людьми информации. За счёт этого они выдают определённую информацию, которая в качестве по мере повышения количества материалов для обучения в определённом смысле растёт.
Однако совсем противоположное выходит, если начать в нейросеть закачивать большое количество информации, которая была ранее сгенерирована такими же сетями. Качество вывода стремительно деградирует и становится хуже и хуже — так как сети склонны к выдаче галлюцинаций, которые затем входят в ввод как якобы верная информация, и ошибки накапливаются.
Вначале нейросеть теряет точность в мелочах, что может оказаться и незаметным. Затем же происходит реальный коллапс — нейросеть начинает выдавать некачественные материалы, теряет вариативность, начинает очень серьёзно ошибаться. Такая модель перестаёт быть полезной.
В теории подобные ошибки могут привести к тому, что создание ИИ станет осложнено, так как заметная часть интернета нынче состоит из текстов, которые сгенерированы ИИ. Модели будут обучаться на этих текстах, и ошибки в них станут стремительно нарастать, что будет приводить к коллапсам.
Для противодействия в те же ИИ-изображения и видео оказываются включены специальные скрытые маркеры, которые позволяют исключить сгенерированные материала из набора данных. Однако сами юзеры могут удалять такие маркеры для того, чтобы их не обвинили в использовании ИИ, так что проблема может сохраниться.
Открытый исходный код, вайб-кодинг и LLM[править]
Все знают, что датасеты для обучения программированию LLM берутся с таких площадок, как github. Но так как нынче кодеры порой вайбкодят и публикуют свой нейрокод на тот же Гитхаб, случается рекурсия, и вот уже LLM обучается на своём же коде. Уроборос как бы гадит себе в рот.
