Гнездовое обучение
Гнездовое обучение (Nested Learning) — парадигма машинного обучения, которая заставляет ИИ буквально гнездится как пернатые.
Описание[править]
Как известно, некогда именно Google восрали мощную статью про трансформеры, в результате которой удалось учинить распространившиеся везде нейросети. Идея была реально прорывной, и вот в 2025 году те же исследовать испустили из себя тугим потоком ещё одну статью, в которой описали новую парадигму.
Человеческий мозг обладает униформной структурой нейронов и работает на множестве скоростей, за счёт чего может производить постоянное дообучение и консолидацию памяти без катастрофического забывания, в то время как LLM отличаются большой проблемой с дообучением, которое приводит к забыванию того, что ранее появилось в системе. Гнездовое обучение натурально добавляет гнездо вложенных уровней оптимизации с разными частотами обновления, за счёт чего предполагается преодолеть такое забывание.
Каждый компонент такой сети получает частоту обновления. Компоненты с высокой частотой обновляются быстро, в то время как элементы с низкой сохраняют устойчивые знания. За счёт этого организовать постоянное и масштабное обучение. Частично забытые паттерны могут восстанавливаться через передачу между уровнями.
В такой парадигме архитектура и оптимизатор представляют собой просто разные уровни одной вложенной системы. Архитектура генерирует градиенты для оптимизатора, после чего оптимизатор обновляет параметры архитектуры. Таким образом обеспечивается устойчивое обучение.
Теоретические такие нейронные сети могут начать самомодифицироваться и при этом не гавкаться.
