Веса ИИ-модели
Веса ИИ-модели — числа, которые определяют силу и направление связей между нейронами в нейросети.
Описание[править]
В 1943 году Уоррен Маккаллок и Уолтер Питтс предложили формальную модель нейрона, где входы умножались на веса. В 1958 году Фрэнк Розенблатт создал перцептрон — простейшую модель с обучаемыми весами. Однако первые нейросети страдали от проблемы линейной разделимости. Работоспособные сети появились только тогда, когда был изобретён алгоритм обратного распространения ошибки, который позволил гораздо эффективнее их обучать, а модели общего назначения появились после создания архитектуры трансформеров.
В глубоких нейронных сетях поведение модели полностью определяется этими весами. В современных больших языковых моделях количество весов достигает сотен миллиардов, впрочем некоторые мелкие модели с качественным обучением или датасетом могут показывать лучшие результаты по сравнению с большими, но слабо обученными моделями.
Параметры модели включают веса и смещения. Вес определяет, насколько сильно входной сигнал влияет на выход, смещения влияют на активацию независимо от входа.
Нынче крупные разработчики ИИ стараются поскорее нарастить веса ИИ-моделей, для чего всирают огромные вычислительные мощности в их потужное обучение. В 2020 году самые большие модели составляли 175 млрд, нынче же трахен зи поппен в электронном стиле достигает уже более триллиона параметров, которые жужжат и делают это очень активно.
В нейронной сети веса хранятся в виде матриц и тензоров.
Параллели[править]
Подобными же весами обладает и человеческий мозг, хотя архитектура и значительно отличается. А именно в роли веса выступает порог активации нейрона, и соответственно многочисленные связи, которые нейрон имеет с прочими нейронами, параметры вроде температуры сети определяются гормональным фоном.
