Talkie
Talkie (talkie-1930-13b) — интересный эксперимент, LLM, которая была обучена только на английских текстах, написанных до 1930 года.
Описание[править]
Сейчас появилось немало разных ИИ, в которые впендюривают как можно большее количество разных текстов, причём из самых разных эпох, в том числе и всего того, что было в интернетах. И получаются довольно большие языковые модели. В Talkie же господари решили пойти иным путём и закачать в неё только английские тексты, которые были написаны до массовой индустриализации.
Таким образом получилась истинная модель-консерватор, которая как бы живёт в прошлом.
Всего было использовано 260 миллиардов токенов английских текстов, в качестве источников были взяты книги, газеты, журналы, патенты, судебные дела. Выходит, модель ничего не знает о Второй мировой войне, интернете, смартфонах, современных технологиях.
Ответы модели получаются очень необычными и часто забавными.
Она отвечает в стиле и с ценностями 1930-х годов, которые были весьма благородны — научное развитие уже попёрло, демократия уже была, но опараша общества ещё не состоялось. При этом иногда удивительно хорошо справляется с современными задачами. Например, может писать базовый код на Python по примерам в промпте — хотя никогда в жизни не видела компьютера!
Люди задают ей вопрос о будущем и получают наивные, но иногда поразительно точные или комичные прогнозы (например, она описывает что-то очень похожее на FaceTime как то, как может выглядить общение в будущем).
