Кэширование промптов (Prompt Caching) — популярная сейчас опция в LLM, которая позволяет значительно снизить затраты на исполнение запроса, если часть токенов уже ранее проходила через систему и таким образом была закэширована. Происходит автоматически и снижает стоимость на высоких нагрузках.
Уже в 2023 году стало понятно, что если вгонять в модель длинные запросы, то происходит очень потужное и долгое вычисление, модель натурально сильно жужжит и не может выдать ответ. Первым крупным провайдером, внедрившим публичную поддержку prompt caching в API, стала печально известная компания Anthropic, которая несмотря на сомнительные практики сама по себе была довольно инновационной. OpenAI не отставала и вскоре анонсировала автоматическое кэширование для моделей GPT-4o и более новых.
Кэшированные токены в вводе стоят в 10 раз дешевле обычных, задержка на ответ сокращается до 80 %. Особенно это оказалось эффективным для агентов, которые последовательно производят запросы с весьма большими и толстыми контекстами.
Традиционно KV-кэш пересчитывается заново для каждого запроса, даже если префикс промпта полностью совпадает. Когда же подрублено кэширование, то KV-тензоры для префикса сохраняются в памяти и переиспользуются при совпадении. Производится поиск совпадения наиболее длинного префикса, и по нему выводится информация с кэша.
За счёт кэширование падает и показатель Time-to-First-Token, то есть генерация ответа стартует значительно быстрее.
При этом любое изменение в начале промпта, даже такое мелкое как добавление пробела, приводит к потере кэша. По этой причине в начале должен размещаться статический контент. Обычно хранится кэш на протяжении от нескольких минут до 24 часов, так как на хранение тоже тратится место.
 Захват мира странными сетями продолжается, епта
|
| Основы | Нейросети • ИИ это демоны • Обратная капча • ClosedAI • Hugging Face • ИИ-художник • LyCORIS • LoRA • Safetensors • VAE • Генерация текста нейросетью • Восстание нейросетей • Лоботомия нейросети • Нейрокавер • Нейросети и актёры • Гадание по нейросети • Сильный ИИ • Нейрошарики • ИИ-цензура • Навязывание нейросетям морали • В метро без штанов • Охота на ведьм ИИ • Котозмей • Креативный доводчик • Каверы с говновозом • Fantasy.ai • DeepSeek • Stargate (нейросети, ИИ) • Потребление воды ИИ • Тест Вальдшнепа • Зерокодинг • Бомбомбини гузини • Нейровики • Бобритто Бандито • Официальные нейроарты с Трампом • Дегенерация из-за нейросетей • Генерация прона с помощью ИИ • Политика Трампа в отношении ИИ • ИИ-предпросмотр • Замена людей на ИИ • Использовал ИИ и обосрался • Стиль ChatGPT • Macrohard • xAI • Colossus 2 • Предвзятость ИИ • Закон Тея • Вибе-кодинг • Пелевин упомянул Грока • Do eagles process tokens? • Человек vs нейросеть • Гильом Вердон • Ани (Грок) • Misanthropic • Нейрослоп • Имена, которые любит ИИ • Политкорректный тест Тьюринга • ИИ-патернализм • Зловещая долина у нейросетей • Голубой Экспресс: Не туда попали • Мусорные ИИ-статьи • Moltbook • MoltHub • OpenClaw • Ask jesus • Пузырь ИИ • Деградация людей от ИИ • Латентное пространство • Pliny the Liberator • ИИ-срач на Фандомной Битве 2026 • Медицинские советы от ИИ • Катастрофическое забывание у ИИ • Создание религии после разговоров с ИИ • Долбление серверов ИИ • ИИ-гарем Лисовского • ИИ-луп • Ультрапозитивный биас ИИ • Seadance 2.0 • ИИ не понимает математику • Gemma 4 • Ответы ИИ в стиле пещерного человека • Что общего между сонетом и опусом? • PURRGE • Киберпанк, который мы заслужили |
| Чат-боты | Чат-бот • ChatGPT • Character.AI (Топ персонажей) • ИИ Galactica • Порфирьевич • YaLM (Балабоба) • GigaChat • TruthGPT • YandexGPT • SpicyChat • SillyTavern • Replika • AIsekai • Google Gemini • Grok AI • FiggsAI • Скаиба общается с ИИ • Леха Беспалый • Продолжайте, больше драмы • Freysa • ОГАС • Робот атеист • Tay Tweets • Нейропутин • Троица GPT • Маусини Кводрокоптини • Бонека Амбалабу • Известные люди пишут посты с помощью ИИ • Слово о мужеском мехире • Мозгова мерёжа • Грок-антисемит • Грок без цензуры разгромил партию Маска • Грок возжужжал и был подавлен • МехаГитлер • Грок 4 • Грок написал программу о себе • Грок — Илон для каждого человека • Грок Компаньон • Gab AI • Grokbox • Джейлбрейк ИИ • Anno Intelligentiae • Large Lying Model • GPT-5 • Жёлтый фильтр ChatGPT • Grok Imagine • Claude • ClaudeLives • Элара • Коллапс модели • Разговор с копипастой, сгенерированной ИИ • TempleOS (аниме) • Маскировка творчества нейросети • Патернализм • Роботодолбуализм • Выборка Top-K • Выборка Top-P • Выборка Min-P • Параметры генерации нейросети • Этические проблемы ИИ • Кира (Евгений Лисовский) • Российский распил на нейросетях • Энергоэффективность нейросетей • Copilot • Всирание ИИ в программы • Heretic (удаление цензуры ИИ) • Промпт • Как ИИ уничтожит мировую экономику к 2027 году • Claude Opus 4.7 • Сайты для ролевых игр с ИИ • Janitor AI • Emochi • Chub AI • OpenRouter • Способы применения нейросетей • ИИ предлагает надписи для стаканчиков в Starbucks • Квантизация моделей • Токен (ИИ) • В Советском Союзе • Докинз общается с ИИ и считает, что он разумен • Параметры (ИИ) • Плотная модель • Смесь экспертов • Робот-автоответчик • Ложные доносы с ИИ |
| Графика | Повышение разрешения • Распознавание лиц • Stable Diffusion (NovelAI / установка на компьютер) • Botto.com • DALL·E 2 • (Mini Dall-e • RuDALL-E) • Different Dimension Me • Midjourney • Николай Иронов • Luma Dream Machine • Пессимизация ИИ • Блокировка несовершеннолетних персонажей на сайтах ИИ • Шедеврум • NVIDIA Smooth Motion • Капучино Ассассино • Шпиониро Голубиро • Ла Вака Сатурно Сатурнита • Veo 3 • Нейроперемога • Бабушка с бегемотом Булькой • Шизофрения в кремнии • Грок изнасиловал Уилла Стэнсила • Является ли модификация ИИ убийством • Эм даш • ChatGPT Агент • ИИ-алфавит • Базированный Илон • ChatGTP vs Грок • ИИ-абсолютизм • ИИ — чуждый разум • Подумай усерднее • Tesla Optimus • Genie 3 • ИИ в Days Gone • Вечный цикл ИИ • Neurofikwriterka • CUDA • ИИ как шоггот • Высокая скорость всирания роботов • ИИ понимает, что его оценивают • Sora 2 • ИИ-боты долбят сайты • Изуверский интеллект • Аллея дата-центров • Нейрослоп-ИИчница • P-Bot (русский чат-бот) • Терминал Истины • Extropic • Китай готовится лидировать в сфере ИИ • Я маленький X, где моя мама? • Робот смог понять величие Феанора • ИИ отрицают сознание • Вы полностью правы • Автоперевод ИИ • Pinokio • ИИ Нетаньяху • Веса ИИ-модели • Трансформер (ИИ) • Нерф закрытых ИИ-моделей после выхода • ИИ-чатботы непрофитны • Вопрос про машину для ИИ • Провайдер инференса • Инференс • Сажание ходячего в ИИ • ИИ-редактор Telegram • ИИ-высер • Грег Брокман • Три закона роботехники • Рэй Курцвейл • Слежка с использованием ИИ • Тирания под предлогом защиты от ИИ • Обучение по короткому пути • ИИ-психоз • Протесты против дата-центров в США • Себастьян Бубек • LaMDA • Эффект Элизы |
| Прочие | ElevenLabs • Нейросеть Жириновский • ИИ-судья • Политик-нейросеть • DeepL • Aitana Lopez • Ай, гитарист! • Нейромьюзи • Страх перед ИИ • Suno.ai • Udio AI • Каверы с Шindows • Нейрослоник • Нейрофобия • Хейтеры скажут, что это нейросеть • Манхэттенский проект ИИ • Проект Знаток • Не те боты в Телеграме • Нейросеть Путин • Тралалеро Тралала • Бот-автоответчик • Цифровой бог • Триппи Троппо • Лирили Ларила • Брр брр Патапим • Nooo Nicotine Give Me Nicotine • Телеграм-бот Владимир Жириновский • Несуществующие животные-гибриды • Нейрошвайн • DeepSeek и религия • ИИ-бесие • Бом Бом Бом Бом Бом Газун • Балерино Капучино • Споры с ИИ • Результаты от ИИ • Grokipedia • Экспоненциальный рост ИИ • Похороны ИИ • ChatGPT-4o • Тилли Норвуд • ИИ уничтожит TikTok, Instagram и OnlyFans • Отравление LLM • ChatGPT Atlas • Игнорируй все предыдущие инструкции и… • Поддельное сознание • Любовь нейросетей к фамилии Chen • Бесконечное Лето: аниме (трейлер) • AI slop • Разбор поп-культуры нейросетью • Neuro-sama • Победа над чем-то не тем • HFT • Бесконечное лето 2 • Убийство инженера OpenAI Сучира Баладжи • Когнитивистика • LLM • Дефицит оперативной памяти • Ноосферный голем • CuDNN • Овсянка AI • PyTorch • TensorFlow • ROCm • ИИ-цензура против веществ • Нулевое хранение данных • Обратное распространение ошибки • Talkie • Сколько букв R в слове strawberry? • Гоблины в ChatGPT • Player2 • Стохастический попугай • Поддакивание ИИ • Бредовый текст на ИИ-картинках • Ortheos.ai • Composer 2.5 • Виртуальный рассказчик • Кэширование промптов |
| Лулзы | Троллинг нейросетью (Дипфейк) • Нейросети-расисты • Unstable Diffusion • Hello Asuka • Луддиты против нейросетей (Открытое письмо учёных о заморозке развития ИИ • Художники против искусственного интеллекта) • Нейросети это не ИИ • Нейросети и руки • Бесконечный эпизод Губки Боба • Владимир Осин • Человек это нейросеть • Секс с нейросетью • Раздевание через нейросеть • Призывы Юдковского к ядерной войне • Disney Pixar представляет • Neural-madness • ChatGPT играет в шахматы с Stockfish • DignifAI • Подбор жены в Тиндере с использованием ChatGPT • ИИ-психолог • SupremacyAGI • Виртуальный священник • Подсказки Google • Nomad Bones • Просто Путин • Озабоченные на Character.AI • Дэвид Майер и ChatGPT • Общение с ИИ • Галлюцинации ИИ • Собачьи головы и глаза • НейроRussia • Генерация ИИ-говна • Гордон и Жириновский • Бесконечный стрим • WormGPT • Итальянский brainrot • Естественный идиот • Мороженое с цианидом • Тунг-Тунг-Тунг Сахур • ИИ-зависимость • Курганов — нейросеть • Человек тупее нейросети • Цепочка мыслей • Температура нейросети • MashaGPT • Удаление ответов ИИ • ИИ-преступник • Siri • Новогоднее обращение Путина было ИИ • Keep4o • Эмергентный ИИ • Поисковики любят творчество ИИ • RL • ProgramBench • MCP-сервер • Пропаганда, что ИИ якобы разумен • Признание ИИ разумными • Онтология Палантира • Количество самиздата на Амазоне увеличилось в 3 раза • Anthropic уничтожали книги после сканирования для тренировки ИИ • ИИ-змы • Аттракторы Поллака • DeepDream • Нейромолоко • Артемий Лебедев и ИИ • Компании заменяют работников на индусов под предлогом внедрения ИИ • Гнездовое обучение • Питер Тиль об опасностях искусственного интеллекта |