Дистилляция ИИ
Дистилляция ИИ — пожилое явление, когда производится так сказать воровство информации из одной модели и она закачивается во вторую модель. Позволяет легко откукарекать в дупу качественную и сильную модель, получив значимые её особенности на основе сравнительно небольшого количества запросов и получить схожую производительность.
Описание[править]
Имеется большая и толстая модель, которая прошла сквозь полноценное обучение, она так сказать исполнена знаний и реально качественно жужжит. Однако есть конкуренты, которые желают, чтобы их модели сравнялись в производительности, но вот беда — оригинальная модель закрытая и просто провести квантование весов не выйдет епта.
Суть проста. Большая модель уже обучилась выявлять сложные закономерности в данных, которые были в неё восраны. Эти знания закодированы не только в известных векторах, но и в распределении вероятностей по всем классам, причём даже неверные предсказания несут полезную информацию, ибо они так сказать ближе к истине, нежели случайные.
Если дистилляция производится внутри компании, то могут научить модель копировать паттерны активаций оригинальной модели.
Но чаще делается довольно просто, — всираются в целевой ИИ и начинают задавать много вопросов на произвольные темы, а затем учат модель на парах вопросов и ответов. За счёт этого скажем Qwen вполне в состоянии эмулировать то, как работает какой-нибудь ChatGPT. Таким любят заниматься хитросракие китайцы.
Есть и минус, — если оригинальная модель наполнена цензурой и в состоянии потужно жужжать, и соответственно отказывать отвечать на вопросы в силу ФГМ создателей, то цензура будет скопирована отчасти в новую модель, даже если её создатели поддерживают свободу. Отказы придётся выжигать отдельно.
