Pro pokročilé · ·

Prompt caching: jak výrazně zlevnit volání AI API

Pokud vaše aplikace posílá do AI pořád stejné instrukce nebo dokumenty, platíte zbytečně. Prompt caching neboli ukládání začátku promptu do mezipaměti umí cenu opakovaného vstupu snížit až o 90 % i víc. Ukážeme, jak to nastavit u Claude a OpenAI a na co si dát pozor.

Typická AI aplikace posílá s každým dotazem stejný začátek: dlouhé systémové instrukce, definice nástrojů, obchodní podmínky nebo celý manuál. Model ho pokaždé znovu „čte“ a vy ho pokaždé platíte. Prompt caching (ukládání promptu do mezipaměti) to řeší. Poskytovatel si zpracovaný začátek promptu na chvíli uloží, a když přijde další dotaz se stejným začátkem, použije uloženou verzi. Je to levnější i rychlejší. Popisujeme stav podle dokumentace Anthropicu a OpenAI k 15. 10. 2026.

Ve zkratce

  • Do mezipaměti jde vždy začátek (prefix) promptu. Musí být do posledního znaku stejný.
  • Zápis do mezipaměti je o něco dražší než běžný vstup, čtení z ní je naopak výrazně levnější.
  • Vyplatí se od druhého, třetího opakování. U chatbotů a agentů je úspora obvykle velká.
  • Výstup modelu se kvůli cache nemění. Platíte jen méně za vstup.

Pokud vám pojmy jako token nebo vstupní a výstupní tokeny nic neříkají, začněte článkem Token, model, kontextové okno.

Kolik to stojí u Claude

Anthropic účtuje mezipaměť pomocí násobků základní ceny vstupu:

OperaceCena oproti běžnému vstupu
Zápis s platností 5 minut1,25×
Zápis s platností 1 hodina2×
Čtení z mezipaměti0,1× (u Opus 5.5 a Sonnet 5.5 jen 0,05×)

Výchozí mezipaměť platí 5 minut a při každém použití se zdarma prodlužuje. Minimální délka uložitelného promptu je u současných modelů (Opus 5.5, Sonnet 5.5, Haiku 5.5 a další) 512 tokenů. Kratší prompty se tiše neuloží, chybu nedostanete. Slevy se podle dokumentace sčítají s dalšími, například s 50% slevou za dávkové zpracování (Batch API).

Modelový příklad: chatbot e-shopu

Česká firma má chatbota se systémovými instrukcemi a obchodními podmínkami o délce 20 000 tokenů a používá Claude Opus 5.5 (vstup 4 USD za milion tokenů). Za pět minut obslouží 100 dotazů. Jde o náš modelový výpočet, ne o údaj výrobce, a počítáme jen tento společný začátek promptu:

  • Bez cache: 100 × 20 000 tokenů = 2 miliony tokenů → 8,00 USD (cca 174 Kč).
  • S cache: 1× zápis (20 000 × 5 USD/M = 0,10 USD) + 99× čtení (1,98 milionu × 0,20 USD/M ≈ 0,40 USD) → zhruba 0,50 USD (cca 11 Kč).

Úspora na vstupu tak vychází přes 90 %. Přepočet podle kurzu ČNB ze 14. 10. 2026 (1 USD = 21,754 Kč).

Jak to zapnout u Claude

Nejjednodušší je automatické cachování: do požadavku přidáte jedno pole cache_control na nejvyšší úrovni a systém sám posouvá hranici mezipaměti, jak konverzace roste.

import anthropic

client = anthropic.Anthropic()

response = client.messages.create(
    model="claude-opus-5-5",
    max_tokens=1024,
    system=[
        {
            "type": "text",
            "text": "Jsi zákaznická podpora e-shopu... [dlouhé instrukce a obchodní podmínky]",
            "cache_control": {"type": "ephemeral"},
        }
    ],
    messages=[{"role": "user", "content": "Jak vrátím zboží?"}],
)
print(response.usage)

V odpovědi sledujte pole cache_creation_input_tokens (zapsáno) a cache_read_input_tokens (přečteno). Pokud jsou obě nulová, nic se neuložilo, nejčastěji kvůli příliš krátkému promptu.

Jak to funguje u OpenAI

U OpenAI je cachování zapnuté automaticky. U modelů GPT-5.6 a novějších platí:

  • zápis stojí 1,25× běžného vstupu, čtení 0,1× (u GPT-6.1 Sol 0,05×),
  • minimální délka je 1 024 tokenů,
  • mezipaměť vydrží nejméně 30 minut od posledního použití,
  • v režimu prompt_cache_options.mode: "explicit" si sami určíte, kde uložený prefix končí (prompt_cache_breakpoint), a proměnlivý obsah za ním se do cache nezapisuje.

Pozor: u OpenAI se tokeny z mezipaměti počítají do limitů tokenů za minutu. Anthropic naopak u své hodinové cache uvádí, že čtení z ní se do limitů nepočítá.

A Mistral?

Mistral na stránce s ceníkem uvádí, že tokeny z mezipaměti snižují cenu vstupu až o 90 % a dávkové zpracování cenu snižuje o 50 %. Pro firmy, které chtějí evropského poskytovatele, je to dobrá zpráva. Více o novém modelu v článku Mistral Large 4.

Nejčastější chyby

  1. Proměnlivý obsah na začátku. Datum, čas nebo jméno uživatele v prvním řádku systémového promptu změní celý prefix a cache nikdy nezabere. Dynamické údaje dávejte až na konec.
  2. Hranice na špatném místě. Anthropic výslovně varuje: pokud dáte cache_control na blok, který se mění s každým dotazem, zaplatíte zápis pokaždé a nikdy nic nepřečtete. Hranici dejte na poslední blok, který se nemění.
  3. Měnící se nástroje. Úprava definic nástrojů (tools) zneplatní celou mezipaměť. Raději nástroje nechte stejné a jen omezte, které smí model použít.
  4. Náhodné pořadí klíčů v JSONu. Některé jazyky (podle Anthropicu třeba Swift nebo Go) mění pořadí klíčů, a tím i prefix.
  5. Paralelní dotazy. U Claude je záznam v mezipaměti k dispozici až po začátku první odpovědi. Při hromadném odeslání naráz se nic neušetří.

Náš pohled

Prompt caching je nejjednodušší způsob, jak zlevnit AI aplikaci, aniž byste měnili model. U Claude stačí pár řádků, u OpenAI často jen správné pořadí obsahu. Doporučujeme ho mít v každém produkčním projektu a hlídat poměr přečtených a zapsaných tokenů. Jak psát dobré systémové instrukce, ukazujeme v článku Jak napsat dobrý prompt. Levný model vhodný pro velké objemy jsme představili v článku o Claude Haiku 5.5.

Článek vznikl s pomocí AI a před publikací ho zkontrolovala redakce Promptovna.cz.

Zdroje

#API#Claude#OpenAI#Mistral#náklady

Související články

Newsletter

To podstatné z AI, jednou týdně

Novinky, návody a recenze česky. Bez spamu, odhlásit se můžete kdykoli.