LFM2.5-24B-A2B: rychlý AI agent na vlastním počítači

Chcete AI agenta, který běží na vašem počítači, nic neposílá do cloudu a přesto je svižný? Přesně na to míří nový otevřený model. Firma Liquid AI 13. října představila na blogu Hugging Face model LFM2.5-24B-A2B. Podle karty modelu jde o největší a poslední model řady LFM2.5. Váhy si můžete volně stáhnout, takže model poběží na vašem počítači a data nikam neposíláte. Komu se hodí a jak začít?

Co je to za model

• 24 miliard parametrů, z toho asi 2,45 miliardy aktivních na každý token (architektura mixture of experts: každý blok má 64 expertů a zapojují se 4 z nich).
• Kontextové okno 131 072 tokenů, oproti 32 tisícům u předchůdce LFM2-24B-A2B.
• Vždy „přemýšlí“. Jde o čistě uvažovací (reasoning) model, který si před odpovědí vždy sepíše vlastní úvahu.
• Jen text. Obrázky nezpracuje.
• Hlavně volá nástroje (tool calling). Model trénovali přímo v agentních nástrojích OpenClaw, Hermes Agent, Pi a OpenCode.

Pozor na češtinu

Karta modelu uvádí 16 jazyků: angličtinu, arabštinu, čínštinu, francouzštinu, němčinu, italštinu, japonštinu, korejštinu, portugalštinu, španělštinu, vietnamštinu, thajštinu, indonéštinu, hindštinu, ruštinu a polštinu. Čeština mezi nimi není. Příbuzné jazyky jako polština nebo ruština podle nás mohou trochu pomoci, ověřené to ale není. Pokud stavíte agenta pro české zákazníky, kvalitu důkladně otestujte. Nebo ať agent interně pracuje v angličtině a české texty za něj píše jiný model.

Co výrobce tvrdí o výkonu

Liquid AI srovnává model s Qwen3.6-35B-A3B, Gemma-4-26B-A4B-it a Nemotron-3.5-Lightning. Všechna čísla jsou od výrobce:

• Agentní úlohy: v LiveClaw 48,09 bodu proti 38,19 u Qwen3.6-35B-A3B, v AutomationBench 27,69 proti 8,72.
• Plnění instrukcí: IFEval 96,75.
• Slabší ve znalostech a programování: v GPQA Diamond (74,42) i SWE-Bench Verified (51,00) vedou větší modely. Liquid AI sám doporučuje na znalostní úlohy model doplnit vyhledáváním nebo RAG (napojením na vlastní dokumenty).
• Rychlost: 184 tokenů za sekundu na Apple M5 Max a 114 na AMD Ryzen AI Max+ 395 (llama.cpp, kvantizace Q4_K_M, kontext 4 tisíce tokenů).

Jak model spustit

Model si můžete stáhnout v několika formátech: původní váhy (Transformers, vLLM, SGLang), GGUF pro llama.cpp a LM Studio, MLX pro Macy s Apple Silicon, FP8 a ONNX.

1. Rychlý test v Pythonu (vyžaduje transformers>=5.0.0):

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "LiquidAI/LFM2.5-24B-A2B"
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto", dtype="bfloat16")
tokenizer = AutoTokenizer.from_pretrained(model_id)

input_ids = tokenizer.apply_chat_template(
    [{"role": "user", "content": "Explain what a token is in one paragraph."}],
    add_generation_prompt=True, return_tensors="pt", tokenize=True,
)["input_ids"].to(model.device)

output = model.generate(input_ids, do_sample=True, temperature=0.1,
                        top_k=50, repetition_penalty=1.05, max_new_tokens=4096)
print(tokenizer.decode(output[0], skip_special_tokens=True))

2. Doporučené parametry generování: temperature 0.1, top_k 50, repetition_penalty 1.05. Model vždy nejdřív přemýšlí, a tak mu nechte ve výstupu dost prostoru (max_new_tokens).

3. Lokální server pro agenta. Model spusťte na libovolném serveru kompatibilním s OpenAI API a agenta nasměrujte na něj. Výchozí porty podle Liquid AI: llama.cpp a MLX 8080, vLLM 8000, SGLang 30000, LM Studio 1234. Příklad pro Hermes Agent:

hermes config set model.provider custom
hermes config set model.base_url http://localhost:8080/v1
hermes config set model.default LFM2.5-24B-A2B
hermes config set model.context_length 131072
hermes config set model.api_mode chat_completions
hermes config set agent.tool_use_enforcement true

Konfigurace pro OpenClaw a Pi najdete na kartě modelu.

Komu se model hodí

• Firmám s citlivými daty, které chtějí agenta, jenž data nepošle do cloudu. V Česku to oceníte třeba při zpracování osobních údajů podle GDPR.
• Vývojářům, kteří chtějí agenty pouštět levně a nepřetržitě a neplatit za každý token. Jak naopak ušetřit u cloudových API, ukazujeme v článku Prompt caching.
• Nadšencům s výkonným Macem nebo PC, kteří si chtějí vyzkoušet lokální AI.

Před firemním nasazením si přečtěte licenci na kartě modelu na Hugging Face. U otevřených modelů se podmínky komerčního použití liší. Rozdíl mezi „otevřenými vahami“ a open source vysvětlujeme v článku Otevřené AI modely.

Náš pohled

LFM2.5-24B-A2B je zajímavý tím, že nesoutěží v obecných znalostech, ale v rychlém a spolehlivém volání nástrojů na vlastním hardwaru. Pro české nasazení je ale velkým otazníkem, že neumí oficiálně česky. Doporučujeme ho jako „motor“ agenta, který pracuje s nástroji a daty, ne jako model, který píše texty pro zákazníky.

Článek vznikl s pomocí AI a před publikací ho zkontrolovala redakce Promptovna.cz.