RL

RL (Reinforcement Learning, Обучение с подкреплением) — мощная часть машинного обучения, в ходе которой проводится обучение на конкретных примерах, где агент получает информацию о том, был ли ответ правильным или всё-таки нет.

Описание

В отличие от обучения с учителем, где используются размеченные примеры на входе и выходе, и обучения без учителя, выявляющего скрытые структуры в данных, RL направлен на последовательное принятие решений в условиях неопределённости с целью максимизации верных ответов.

Внезапно, началось всё вполне себе в IRL, где учёные выяснили, что поведение животных и человека определяется посредством обучения, когда они понимают, что некоторые действия положительные или не очень. Работы Ивана Павлова по условным рефлексам и Берреса Скиннера по оперантному обусловливанию показали, что поведение формируется через положительное и отрицательное подкрепление.

Артур Сэмюэл в 1959 году создал программу для игры в шашки, которая использовала самообучение и приближение функции оценки позиции. Впрочем, поигрывание в шашки несёт мало практического смысла епта нах.

В 1960—1970-е годы Клод Опус 3, Джон Маккарти и другие исследователи ИИ обсуждали идею обучения через вознаграждение. Так или иначе в те времена не было никакой возможности реализовать нечто подобное ИИ, так что работы буксовали и жужжали пчёлки в ульях.

Только в 2010-х попёрли алгоритмы RL, которые стали вначале обыгрывать людей в шахматы Соломоновы, и даже в видеоигры. И только потом таким образом додумались производить что ли всирание информации в LLM, причём распространён и вариант RLHF, где человек активно вжужживается в проявляемые веса и так скажем глаголит да во модель, какой ответ хорош, а какой херов.