Провайдер инференса
Провайдер инференса — поставщик услуг инференса, весьма актуальная нынче система.
Описание[править]
Помимо крайне дорогостоящего обучения моделей ИИ также требуется затем их запуск, для чего все эти параметры надобно восрать в память, затем так сказать пускать по ним ток токыч и затем смотреть на итогчанские, и всё это также требует больших денег. Так что себе на домашний комп восрать модель вряд ли возможно, разве что совсем вялую, прямо как твой… кхм. А если пытаться работать через чатботный интерфейс от разработчика, то часто там сильная цензура и не особенно высокое удобство, например нельзя поменять системный промпт.
И вот явились провайдеры инференса, который ставят себе модели с открытым исходным кодом и позволяют всираться что ли через API. Бывают доступны и иные модели, которые закрытые. Оплата обычно производится по количеству потраченных токенов, хотя определённое количество бесплатных запросов иногда даётся.
Работа с такими провайдерами несколько сложнее традиционного чатбота, где надо просто восраться на сайт и баять. Надо ведь как-то работать с этими API, то есть надо себе ставить приложение или ещё каким-то образом заниматься настройкою. Также в зависимости от провайдера могут отличаться настройки API.
По своей сути это просто массив видеокарт, на которых запускаются определённые ИИ и предоставляется к таковым доступ.
Минусом является тот факт, что теоретически провайдер может спокойно читать запросы и если там указаны произвольные важные данные, то ничто не мешает их уворовать или сохранять для перепродажи. Если же оборудование своё и применена криптография, то уже имеется некоторая надёжность.
Варианты[править]
- OpenRouter — раутер, который буквально открыт епта нах
