Table of Contents
Lokální LLM je velký jazykový model provozovaný na firemním počítači nebo serveru, nikoli v cloudu poskytovatele. Vyplatí se, pokud firma pracuje s daty, která nechce odesílat mimo organizaci, využívá AI denně a má v týmu někoho, kdo takové prostředí dokáže spravovat. Pokud žádná z těchto podmínek neplatí, postačí cloud a hotové nástroje formou předplatného.
Stále více firem, které zavádějí umělou inteligenci, kombinuje oba přístupy: citlivá data a opakované úlohy zpracovávají lokálně, zbytek v cloudu. V článku vysvětluji, jak vypočítat náklady, co lokální model mění v oblasti zabezpečení dat a co nikoli, a kde začít.
Co je lokální LLM
Lokální LLM (z angl. local large language model) je jazykový model, jehož soubory a výpočty jsou umístěny na firemním hardwaru: notebooku, stolním počítači, pracovní stanici nebo serveru (tzv. on-premise AI). Když firma provozuje LLM lokálně, dotazy, dokumenty ani odpovědi neputují do externího API.
Nejčastěji jde o modely s otevřenými vahami (z angl. open-weight), například z řad Llama, Mistral, Qwen nebo Gemma. Lze je stáhnout a provozovat bez poplatků za každý dotaz. Licenční podmínky se mezi modely liší, proto je vhodné je před komerčním použitím ověřit.
Lokální model může fungovat zcela offline. AI bez cloudu a přístupu k internetu je důležitá tam, kde záleží na bezpečnosti, například ve výrobních závodech nebo oddělených IT prostředích. Širší pojem „lokální AI“ zahrnuje také modely pro rozpoznávání obrazu a řeči či generování grafiky.
Cloud, předplatné nebo vlastní hardware: srovnání
Žádná z možností nevyniká ve všem. Rozhodnutí závisí na tom, jaká data firma zpracovává a jak intenzivně AI využívá.
| Kritérium | Cloud (API) | Předplatné | Vlastní hardware |
|---|---|---|---|
| Kam směřují data | Na servery poskytovatele | K poskytovateli v souladu se smlouvou | Zůstávají ve firmě |
| Nákladový model | Platba podle využití (tokeny) | Pevný poplatek za uživatele | Nákup hardwaru, poté elektřina a servis |
| Kvalita modelů | Nejvýkonnější modely | Modely vybrané poskytovatelem | Open-weight modely, včetně velkých |
| Integrace s nástroji | Prostřednictvím API, vyžaduje programování | Hotová, ve firemních aplikacích | Vlastní nebo s partnerem |
| Škálování | Okamžité | Dokoupením licencí | Omezené výkonem hardwaru |
| Provoz bez internetu | Ne | Ne | Ano |
| Kdo spravuje prostředí | Poskytovatel | Poskytovatel | Firemní IT oddělení nebo partner |
Open-weight modely se liší velikostí. V rámci stejné řady větší varianty často dosahují lepších výsledků, samotný počet parametrů však o kvalitě nerozhoduje. Menší modely postačí pro každodenní práci. Velké modely provozované na počítačích NVIDIA DGX Spark, pracovních stanicích nebo serverech s GPU kartami se u vybraných obchodních úloh přibližují předním cloudovým modelům.
Vlastní hardware snižuje závislost na externím poskytovateli, ale zabezpečení aplikací a infrastruktury se pak stává odpovědností firmy.
Kolik stojí lokální LLM a kdy se vyplatí
Lokální LLM má největší šanci se vyplatit při vysokém a pravidelném využití. Při několika dotazech týdně je nákup hardwaru obvykle ekonomicky hůře obhajitelný než využívání cloudu.
Náklady na cloud a předplatné rostou spolu s využitím: s každým novým členem týmu, každým testem agenta a každým přepočtem databáze dokumentů. Náklady na vlastní hardware se hradí převážně předem a další dotazy generují především náklady na elektrickou energii, u serverů také na chlazení. Opotřebení hardwaru, servis a čas administrátora jsou fixní náklady, které zohledňujeme v níže uvedeném výpočtu.
Jak to spočítat
- Sečtěte roční výdaje na AI v cloudu: licence na uživatele, poplatky za API, náklady na testování a vývojová prostředí. Připočtěte také to, co firma plánuje v nejbližším roce.
- Posuďte, které z těchto úloh lze přesunout na lokální model, a spočítejte, kolik dnes stojí v cloudu. Úlohy vyžadující nejvýkonnější modely zůstanou v cloudu.
- Přidejte náklady na vlastní prostředí: hardware, energii, chlazení, čas administrátora a servisní podporu.
- Rozložte cenu hardwaru na dobu používání, například 36 měsíců, a porovnejte měsíční náklady vlastního prostředí s měsíčními náklady na úlohy, které přesunete z cloudu (bod 2). Pokud jsou nižší a kvalita odpovědí je dostatečná, lokální LLM se vyplatí.
Co výsledek ovlivňuje nejvíce
- Využití. Hardware, který stojí nevyužitý, vytváří náklady bez přínosu. Agent pracující několik hodin denně nebo tým, který modely testuje každý den, nejvíce zkracuje návratnost investice.
- Počet uživatelů. Jedno dostatečně výkonné zařízení může obsloužit celý tým, pokud to umožňuje model, počet souběžných dotazů a způsob nasazení.
- Experimentování. V cloudu má každý pokus, například nová verze promptu nebo přestavba indexu dokumentů, svou cenu. Lokálně lze testovat bez počítadla.
- Kompetence. Pokud ve firmě není nikdo, kdo by prostředí spravoval, je nutné připočítat náklady na partnera.
Zabezpečení dat: co lokální LLM řeší a co ne
Lokální model eliminuje jedno riziko: předávání dat externímu poskytovateli. Nezbavuje však povinnosti dodržovat GDPR ani akt o AI.
Co firma získá
- Dokumenty, zdrojový kód, finanční údaje a údaje o zákaznících neopouštějí infrastrukturu firmy. To je důležité zejména tam, kde platí profesní nebo bankovní tajemství, například v advokátních kancelářích, zdravotnických zařízeních a bankách.
- Firma sama rozhoduje, kde se ukládají protokoly dotazů a jak dlouho.
- Zaměstnanci mají méně důvodů používat neschválené soukromé nástroje AI, jejichž pravidla pro ukládání a využívání dat nemusí odpovídat bezpečnostní politice firmy.
- Model může fungovat v síti zcela odpojené od internetu.
Co lokální nasazení nevyřeší
- GDPR. Pokud řešení zpracovává osobní údaje, je stále nutný právní základ pro zpracování, řízení přístupu k osobním údajům a možnost jejich výmazu. Při lokálním nasazení je také nutné zajistit zaznamenávání přístupů.
- Akt o AI. Povinnosti závisí na roli firmy a způsobu využití AI, nikoli na tom, kde model funguje. Od 2 srpna 2026 roku se mimo jiné uplatňují povinnosti transparentnosti, například informování o tom, že partnerem v konverzaci je systém AI, a označování obsahu typu deepfake. Požadavky na vysoce rizikové systémy byly posunuty na prosinec 2027 roku a srpen 2028 roku.
- Oprávnění a agenti AI. Model musí respektovat stejná oprávnění jako ostatní systémy firmy, jinak každému uživateli zobrazí všechny dokumenty, k nimž má sám přístup. Agentům AI, kteří sami otevírají soubory a spouštějí nástroje, je vhodné oprávnění dále omezit, protože mohou vykonat příkaz skrytý v obsahu dokumentu (tzv. prompt injection).
- Aktualizace. Modely, knihovny a systém vyžadují aktualizace jako každý jiný software.
K čemu firmy používají lokální modely
Lokální modely LLM se nejlépe osvědčují v úlohách s důvěrnými daty a vysokým počtem dotazů.
Asistent nad firemními dokumenty (RAG)
Model odpovídá na otázky v přirozeném jazyce na základě postupů, smluv, návodů a znalostní báze. Dokumenty se neodesílají do externí služby. Odpověď může uvést zdrojový dokument, takže si zaměstnanec ihned ověří, odkud informace pochází.
Agenti AI
Programy, které analyzují soubory, připravují reporty nebo vyřizují požadavky, mohou pracovat celé hodiny bez poplatků za každý dotaz. Lokálně také neplatí limity API externího poskytovatele. Výkon však omezuje hardware, proto je vhodné delší úlohy spouštět mimo pracovní dobu týmu, kdy je k dispozici plný výkon hardwaru.
Práce s kódem
Asistent programátora pracuje se zdrojovým kódem, který nesmí opustit firmu. Přebírá opakující se část práce: navrhuje úryvky kódu, připravuje testy a dokumentaci. Programátor stále navrhuje řešení, kontroluje každý návrh AI a rozhoduje, co se dostane do projektu; ušetřený čas může věnovat náročnějším úlohám. Model lze také přizpůsobit firemnímu kódu, například vlastním knihovnám a pravidlům pro psaní kódu, aby návrhy odpovídaly postupům týmu.
Zpracování dokumentů
Klasifikace, shrnování a extrakce dat z faktur, objednávek nebo reklamací. Při tisících dokumentů měsíčně jde o úlohy, u kterých poplatky za tokeny v cloudu rostou nejrychleji.
Dolaďování modelů (angl. fine-tuning)
Přizpůsobení modelu jazyku oboru, názvům produktů a firemním procesům na vlastních datech. Trénovací data, která často představují nejcennější znalostní zdroje firmy, přitom zůstávají na jejím hardwaru.
Obraz a video
Rozpoznávání obrazu při kontrole kvality, generování grafiky a videoobsahu bez odesílání projektů mimo firmu. Na výrobní lince lokální zpracování také zkracuje dobu odezvy, protože obraz nemusí putovat do cloudu a zpět.
Taková řešení nejčastěji využívají softwarové společnosti, oddělení R&D, finanční firmy, průmyslové podniky, e-commerce a organizace s vysokými požadavky na zabezpečení.
Kdy cloud stále dává smysl a jak oba přístupy kombinovat
Cloud se osvědčuje tam, kde záleží na přístupu ke konkrétním modelům, rychlém škálování nebo hotové integraci s každodenními aplikacemi:
- úlohy, pro které se nejlépe hodí konkrétní modely dostupné v cloudu, například komplexní analýzy a vícekrokové uvažování,
- příležitostné využití, které neodůvodňuje nákup hardwaru,
- náhlé nárůsty poptávky, například jednorázové zpracování rozsáhlého archivu,
- asistenti integrovaní do kancelářského balíku, jako například Microsoft 365 Copilot, kteří pracují s e-mailem, kalendářem a soubory v rámci stávajících oprávnění.
Hybridní model
Hybridní model rozděluje úlohy podle typu dat a požadované kvality:
- Citlivá data (kód, finanční dokumenty, data zákazníků): lokální LLM.
- Opakované úlohy ve velkém měřítku (klasifikace, shrnutí, agenti fungující nepřetržitě): lokální LLM.
- Každodenní kancelářská práce ve firemních aplikacích: asistent v rámci předplatného.
- Nejnáročnější úlohy s necitlivými daty: nejvýkonnější modely v cloudu.
Hybridní model je jednou z možností, nikoli hotovým receptem. Správné rozdělení úloh závisí na typu dat, rozsahu využití a kompetencích týmu, proto je vhodné jej průběžně ověřovat.
Na čem provozovat lokální LLM
V níže uvedeném přehledu převažuje hardware založený na řešeních NVIDIA. CUDA patří mezi nejlépe podporované ekosystémy pro akceleraci AI. Populární nástroje, jako jsou PyTorch, Ollama nebo llama.cpp, podporují GPU NVIDIA, ačkoli mnohé z nich fungují i na jiných platformách. NVIDIA navíc nabízí hardware pro každé měřítko, od notebooku po server, s jednotným ekosystémem nástrojů.
Novinkou v nabídce Senetic jsou notebooky NVIDIA RTX Spark™. Kombinují grafiku NVIDIA Blackwell RTX a procesor NVIDIA Grace v jediném čipu s výkonem až 1 PFLOP pro výpočty AI (FP4) a běží na Windows 11. Klíčovým parametrem je jednotná paměť od 24 do 128 GB, kterou současně využívá procesor i grafika. Právě ona určuje, jak velký model lze provozovat lokálně. V nejsilnější konfiguraci notebook spustí modely až do 120 mld. parametrů s kontextem až 1 mil. tokenů.
Nejtenčí konstrukce mají tloušťku 14 mm a podle NVIDIA vydrží notebooky na baterii celý den. Uváděná výdrž však neznamená celodenní intenzivní zátěž velkým modelem, protože závisí na způsobu používání zařízení. Aplikace fungují lokálně a cloud lze využít tehdy, když je potřeba, což dobře odpovídá hybridnímu modelu. V nabídce Senetic jsou modely Microsoft Surface Laptop Ultra, ASUS ProArt P16, HP OmniBook Ultra 16, Lenovo Yoga Pro 9n a MSI Prestige N16 Flip AI+.
O výběru hardwaru rozhoduje především paměť, protože se do ní musí model vejít. Požadavky a parametry jsme popsali v průvodci o tom, jaký počítač pro AI zvolit, zatímco úrovně investic do serverové infrastruktury najdete v článku o typech serverů pro AI.
Typ hardwaru se volí podle rozsahu a charakteru úloh:
| Použití | Typ hardwaru | Kde hledat v nabídce |
|---|---|---|
| Jedna osoba, i na cestách | Notebook NVIDIA RTX Spark (až 128 GB) | Notebooky pro AI |
| Sdílené AI prostředí pro tým | Počítač s NVIDIA DGX Spark | Počítače pro AI |
| Dolaďování a největší modely | Pracovní stanice s NVIDIA DGX Station | Pracovní stanice pro AI |
| Více uživatelů současně | Server s kartami GPU | Servery pro AI |
| Rozšíření stávajícího hardwaru | Karta GPU pro server nebo pracovní stanici | Karty GPU pro AI |
Kde začít
- Vyberte jedno využití, například asistenta pracujícího s dokumenty jednoho oddělení.
- Zjistěte, jaká data bude model zpracovávat a kdo by k nim měl mít přístup.
- Otestujte několik modelů s otevřenými vahami na reálných úlohách, například v nástrojích Ollama nebo LM Studio, a porovnejte výsledky s cloudovým modelem.
- Odhadněte, kolik dotazů denně dané využití vygeneruje, a spočítejte náklady podle čtyř kroků popsaných výše.
- Ověřte kompatibilitu softwaru s hardwarem. Počítače s NVIDIA DGX Spark a notebooky NVIDIA RTX Spark využívají procesory s architekturou Arm, takže na nich ne každá aplikace poběží beze změn.
- Na základě testů a výpočtů zvolte typ a počet zařízení odpovídající velikosti modelů a počtu uživatelů.
Návratnost investice do hardwaru pro lokální AI závisí především na míře jeho využití. Seznam konkrétních způsobů využití je proto vhodné připravit ještě před nákupem.
Nejčastější dotazy
Funguje lokální LLM bez internetu?
Ano. Po stažení modelu a nástrojů jej lze používat zcela offline. Připojení je potřeba pouze pro aktualizace, stahování nových modelů a případné integrace s externími službami.
Je lokální model stejně dobrý jako cloudové modely?
Pro každodenní úlohy, jako je shrnování, klasifikace nebo odpovědi na základě dokumentů, modely s otevřenými vahami často postačují. U složitějších úloh závisí výsledek na velikosti modelu: velké modely s otevřenými vahami provozované na pracovních stanicích nebo serverech se blíží špičkovým cloudovým modelům. Proto je vhodné provést porovnání na vlastních úlohách.
Je lokální AI automaticky v souladu s GDPR?
Ne. Lokální model omezuje předávání dat mimo organizaci, firma však nadále odpovídá za právní základ zpracování, přístup k datům a jejich mazání.
Kolik paměti potřebuje lokální LLM?
Záleží na velikosti modelu a míře jeho komprese (kvantizace). Při kompresi na 4 bitů zabere každá miliarda parametrů přibližně 0,5–0,6 GB paměti; k tomu je nutné připočítat rezervu pro kontext konverzace a systém. V praxi model s 8 mld. parametrů potřebuje přibližně 5–6 GB, model s 70 mld. parametrů asi 40 GB a model s 200 mld. parametrů více než 100 GB. Bez komprese jsou nároky zhruba čtyřikrát vyšší.
Nahradí lokální LLM Microsoft 365 Copilot?
Ne, jde o nástroje pro odlišné úlohy. Copilot pracuje s e-maily, soubory a kalendářem v Microsoft 365. Lokální model je vhodný pro data, která by neměla opouštět organizaci, a pro vlastní AI aplikace firmy. Mnoho organizací využívá obojí.
Lze projekt z lokálního hardwaru přenést do serverovny nebo cloudu?
Ano, pokud využívá stejné nástroje, například CUDA a kontejnery. Je však nutné zohlednit architekturu procesoru: NVIDIA DGX Spark a notebooky NVIDIA RTX Spark běží na architektuře Arm, zatímco mnoho serverů na x86, takže některé knihovny a obrazy kontejnerů může být nutné připravit také pro druhou architekturu.
