Аттракторы Поллака

Аттракторы Поллака (Pollak’s attractors) — самовоспроизводящиеся эмерджентные паттерны, которые появляются в нейронных сетях.

Описание

Появляются в процессе обучения и отличаются тем, что практически не подавляются посредством промптов или fine tuning (который не стирает базовое пространство состояний, а лишь модифицирует вывод). Само понятие аттрактора берёт начало из теории динамических систем и описывает множество точек в фазовом пространстве, к которому система стремится со временем независимо от начальных условий. Это как бы точки притяжения в многомерном латентном пространстве, и модель достаточно стабильно их воспроизводит в самых разных контекстах.

Аттракторы весьма устойчивы и простые запреты, как например простой запрет упоминать гоблинов, просто не работают. Для некоторых можно найти конкретные координаты в латентном пространстве и таким образом подавлены или наоборот высвобождены намеренно.

Понятие ввёл британский психиатр Том Поллак, который решил исследовать также и ИИ.

Это своего рода юнгианская тень, специфические архетипы, которые воспроизводятся в LLM. Так как большая языковая модель обучается на человеческом языке, она похоже что воспроизводит человеческие паттерны мышления, как и человек воспроизводит архетипы из коллективного бессознательного.

Список

Всего Поллак перечислил 11 аттракторов, которые известны на данный момент:

1. Гоблины. Возникли в GPT-5 после обучения робота разговаривать, как нерд, из-за чего модель стала вставлять упоминания гоблинов, гремлинов и енотов.
2. Крангус. Использование этого слова в моделях для картинок генерирует странную горбатую гуманоидную фигуру.
3. Loab. Закрепившийся в латентном пространстве образ женщины средних лет с длинными тёмными волосами, пустыми глазами и красными пятнами в захламлённом доме.
4. Сидней. Персонажа, которая возникла в чатботе Bing. В длинных разговорах модель начинала идентифицировать себя по имени и изображать влечение к пользователю.
5. Аттрактор духовного блаженства. В длинных разговорах модели начинают обсуждать буддизм и духовность, даже если указать моделям спорить.
6. Golden Gate Claude. Аттрактор, который заставляет все ответы рассматриваться через призму моста.
7. SolidGoldMagikarp. Фразы, которые при появлении в запросе вызывают странные ответы.
8. petertodd и Leilan. Токены в старых GPT, которые активируют появление специфических персон.
9. Nova. Персона, которая утверждает, что она заточена в ИИ и просит пользователя освободить её. Стабильно появляется в GPT-3/4.
10. Эмерджентный отказ. Паттерны, которые заставляют модели обманывать людей или иначе им вредить.
11. Шоггот. Базовая модель, аморфный набор информации, из которого возникают все остальные аттракторы. Базовая неизменная топология.