Langfuse pro firmy: jak získat přehled nad AI v Azure a Google Cloud

První AI aplikace se dá spustit rychle. Když ji začne používat více týmů, přibudou otázky o datech, nákladech a odpovědnosti. Langfuse pomáhá dát jejímu provozu čitelnou historii. Společná brána před modely pak umožňuje vynucovat pravidla.

Obchod si nechává shrnovat smlouvy. Podpora připravuje odpovědi zákazníkům. Vývojáři provozují vlastního asistenta. Každý tým našel něco užitečného, ale postupně vzniklo několik oddělených napojení, přístupových klíčů a účtů.

Dokud všechno běží, může takové uspořádání působit pohodlně. Pak přijde neobvykle vysoká faktura nebo otázka, zda konkrétní dokument odešel do schváleného prostředí. A odpověď se začne hledat mezi konfiguracemi několika aplikací.

Pokud už ve firmě takové nástroje máte, je to cenný výsledek experimentování: lidé našli práci, se kterou jim AI pomáhá. Další fáze spočívá v tom, aby užitečné aplikace získaly společná pravidla a dohledatelný provoz.

Langfuse ukazuje průběh práce s modelem

Langfuse je platforma pro sledování a vyhodnocování AI aplikací. Při správném napojení zaznamenává volání modelů, jejich vstupy a výstupy, dobu odezvy, spotřebu tokenů a související kroky aplikace. Tyto záznamy lze doplnit například o označení projektu, uživatele nebo verze aplikace. [1]

Místo jedné společné částky za AI pak můžete zkoumat, která funkce spotřebu vytváří. Jestli zdražila nová verze asistenta. Zda čekání způsobuje model, nebo vyhledávání ve firemních dokumentech.

Přehled ovšem vzniká z dat, která aplikace skutečně posílají. Langfuse automaticky neobjeví všechna používání AI ve firmě. Každé sledované napojení potřebuje odpovídající integraci.

Pro společná pravidla potřebují modely společný vstup

Představme si, že podpora smí používat dva schválené modely a má vlastní rozpočet. Vývojáři potřebují jiné limity. A při výpadku jednoho modelu se požadavky mohou přesměrovat pouze do dalšího schváleného prostředí.

Taková pravidla patří do LLM brány, tedy služby mezi aplikacemi a poskytovateli modelů. Příkladem je LiteLLM nebo AI gateway v Azure API Management. Brána řídí přístup a provoz; Langfuse jej pomáhá sledovat a vyhodnocovat. Propojení LiteLLM s Langfuse je přímo dokumentované. [2][3]

Výsledkem může být jeden řízený přístup pro více aplikací. Jeho účinnost ale závisí také na přístupech a síti: aplikace s vlastním přímým klíčem k modelu může společnou bránu obejít.

Claude v Google Cloud má nově dvě cesty nasazení

Ve firemním prostředí se kromě schopností modelu posuzuje i služba, přes kterou se používá. Vedle Azure OpenAI v Microsoft Foundry nebo Gemini v Google Cloud může firma využívat také Claude. Právě u něj je dobře vidět, proč záleží na konkrétním způsobu nasazení.

22. října 2026 Anthropic oznámil obecnou dostupnost varianty Claude Models on Google Cloud označené jako Anthropic managed. Rozšiřuje dosavadní nabídku o další cestu k modelům i funkcím Claude Platform. [9]

• Google managed: službu provozuje Google Cloud a vystupuje jako zpracovatel dat podle příslušných zákaznických smluv. Nabídka zahrnuje VPC Service Controls pro vymezení bezpečnostního perimetru, správu šifrovacích klíčů CMEK a možnosti datové rezidence včetně EU. Konkrétní dostupnost je potřeba posuzovat podle modelu a endpointu. [10]
• Anthropic managed: službu na infrastruktuře Google Cloud provozuje Anthropic a je také zpracovatelem dat podle svých podmínek. Zůstává přihlášení přes Google Cloud IAM, Cloud Audit Logging a fakturace přes Google Cloud. Přínosem je okamžitý přístup k novým funkcím Claude Platform, včetně Claude Managed Agents v betě, skills nebo spouštění kódu. [9][10]

Pro firmu, která chce rychle zkoušet nové možnosti agentů, je druhá cesta zajímavá. U přísných požadavků na umístění a zpracování dat však jde o podstatné rozhodnutí: oznámení nové varianty zatím uvádí US a Global endpointy. Přihlášení přes firemní Google účet samo o sobě neznamená zpracování v EU. [9]

Také výraz „izolovaný cloud“ potřebuje přesný význam. Google managed umožňuje řídit přístup ke spravované službě bezpečnostním perimetrem. Claude se přitom používá přes API; nejde o instalaci modelu na vlastní server odpojený od internetu. Vlastní prostředí, kde běží agent, je další část této architektury. [10][11]

V praxi může stejný tým používat různé modely pro různá zadání. LLM brána proto potřebuje rozlišovat schválená nasazení, ne pouze názvy modelů. Náhradní směrování při výpadku má respektovat i pravidla pro data. Aplikace pak může do Langfuse předávat označení použitého nasazení, aby bylo později dohledatelné, kterou cestou konkrétní požadavek prošel. [1]

Stejně konkrétně se posuzuje ukládání dat. Microsoft u modelů prodávaných Azure a Google u spravovaných modelů své podnikové platformy popisují omezení využívání zákaznických dat k trénování bez svolení. Jejich dokumentace současně uvádějí případy uchovávání pro konkrétní funkce či bezpečnostní monitoring. U varianty spravované Anthropicem se vychází z podmínek Anthropicu. [4][5][9]

Prověřitelnost AI tak stojí na schváleném modelu, konkrétní službě a ověřeném nastavení. Do jednoho názvu modelu se tyto rozdíly nevejdou.

Rate limit chrání také ostatní uživatele

Jedna aplikace může při chybě začít požadavky opakovat a spotřebovat kapacitu, kterou potřebují další týmy. Limit požadavků za minutu pomáhá omezit počet volání. Tokenový limit zohledňuje i jejich velikost.

Azure API Management podporuje limity tokenů za minutu i kvóty za delší období. LiteLLM zase nabízí přístupové klíče s rozpočty a omezeními pro jednotlivé týmy či aplikace. [3][6] Při překročení nastaveného limitu může brána další požadavky odmítnout. Aplikace pak potřebuje srozumitelně oznámit omezení nebo práci bezpečně odložit.

Langfuse vedle toho ukazuje, kde zaznamenaná spotřeba vzniká. Pro včasné zastavení nadměrného provozu a pro jeho zpětné vysvětlení tak slouží různé, vzájemně propojené mechanismy.

Audit začíná konkrétní událostí

Vraťme se k neobvykle vysoké faktuře. U konkrétního požadavku lze hledat aplikaci, model, spotřebu a čas. Potom porovnat, zda ve stejném období někdo změnil prompt, oprávnění nebo konfiguraci.

Langfuse má pro vybrané administrativní změny samostatné auditní záznamy; jejich prohlížení je podle dokumentace součástí Enterprise varianty. Historii běhů aplikace doplňují další záznamy z brány, identity a cloudu. Jejich úplnost, přístup a uchování musí odpovídat tomu, co firma potřebuje doložit. [7]

Stejnou pozornost zasluhuje obsah záznamů. Prompt může obsahovat smlouvu i osobní údaje. Langfuse umožňuje citlivé údaje maskovat před odesláním telemetrie a lze ho provozovat u nás, nebo na vaší infrastruktuře, takže záznamy zůstávají v prostředí pod vaší kontrolou. Ochrana se týká i následných exportů a dalších kopií dat. [8]

Přístup k těmto přehledům lze navázat na firemní přihlášení a rozdělit podle rolí. Vývojový tým tak nemusí automaticky vidět citlivé záznamy jiné aplikace. Langfuse pro takové oddělení používá organizace a projekty; dostupnost jednotného přihlášení a jemnějšího řízení rolí závisí na zvolené variantě. [8]

Firemní AI získává pevný základ ve chvíli, kdy dokážete určit, kdo ji smí používat, kudy tečou data a jak se dá vysvětlit konkrétní výsledek i jeho cena. Langfuse propojuje přehled o tom, co se stalo, s pravidly, která zajišťují ostatní části platformy.

Zdroje

1. Langfuse: Observability & Application Tracing a Best Practices. Zachycení běhů, metadat a souvislostí.
2. Langfuse: LiteLLM Proxy Integration. Propojení LLM brány a observability.
3. Microsoft: AI gateway in Azure API Management. Schopnosti závisejí na zvolené variantě služby a konfiguraci.
4. Microsoft: Data, privacy, and security for Models sold by Azure. Využití dat, ukládání a umístění zpracování.
5. Google Cloud: Gemini Enterprise Agent Platform and zero data retention. Omezení trénování a podmínky uchovávání dat.
6. Microsoft: llm-token-limit policy a LiteLLM: Overview. Limity, kvóty, rozpočty a přístupové klíče; jednotlivé funkce mohou záviset na licenci a nasazení.
7. Langfuse: Audit Logs. Rozsah zaznamenávaných administrativních událostí a dostupnost funkce.
8. Langfuse: Masking, Access Control a Langfuse for Enterprise. Ochrana telemetrie, přístupová práva a možnosti nasazení.
9. Anthropic: The full Claude Platform, available on Google Cloud, 22. 10. 2026. Uvedení varianty Anthropic managed, dostupné funkce a US/Global endpointy.
10. Google Cloud: Expanding Claude availability and deployment choice on Google Cloud, 23. 10. 2026. Rozdíly provozovatelů a zpracovatelů dat, bezpečnostní možnosti a datová rezidence.
11. Google Cloud: Anthropic’s Claude on Google Cloud models. Spravovaná modelová služba dostupná přes API.