Jak mít přehled o AI agentech s Langfuse

Agent může odpovědět rychle, sebejistě a přesto použít špatný podklad. Přehled o jeho práci vzniká až tehdy, když dokážete spojit zadání, jednotlivé kroky a skutečný výsledek. Langfuse pomáhá tento průběh zachytit a porovnávat.

Zákazník se zeptá na termín dodání. Agent najde objednávku, vyhledá podmínky a připraví odpověď. Na ukázce všechno působí jednoduše.

Při skutečném provozu ale může sáhnout po starém dokumentu, několikrát zopakovat neúspěšný dotaz nebo zaměnit návrh odpovědi za dokončený úkol. Uživatel přitom vidí poslední zprávu. Z ní nemusí poznat, co se dělo předtím.

Pokud už agent ve firmě pomáhá s opakovanou prací, má smysl tento přínos rozvíjet. S rostoucí samostatností ovšem roste i hodnota přehledu: které nástroje použil, nad jakými daty pracoval a co po něm skutečně zůstalo hotové.

Jeden úkol může znamenat mnoho volání

Běžná aplikace pošle požadavek modelu a zpracuje odpověď. Agent může mezi několika voláními modelu vyhledávat dokumenty, dotazovat se do systému nebo předat část práce jinému agentovi.

Langfuse tyto zaznamenané kroky skládá do souvisejícího běhu, označovaného jako trace. Jednotlivá pozorování zachycují například volání modelu, nástroje nebo vyhledávání. Související běhy lze spojit do session, tedy celé konverzace či delší interakce. [1]

U konkrétní reklamace pak lze projít dostupný záznam od původního dotazu přes nalezené dokumenty až po odpověď. Vidíte vstupy, výstupy a provedené kroky; jde o historii aplikace, která pomáhá hledat příčinu jejího chování.

Chybná odpověď může začít u správně fungujícího modelu

Vraťme se k zákazníkovi a termínu dodání. V našem modelovém příkladu obsahuje odeslaná odpověď nesprávnou lhůtu. Při pohledu zpět se ukáže, že vyhledávání vrátilo staré obchodní podmínky a agent je použil jako podklad.

Další úprava instrukce „odpovídej přesně“ by tak nemusela odstranit příčinu. Problém začal ve výběru dokumentu. Jindy může být na vině chybějící údaj z objednávky nebo nástroj, jehož neúspěch agent přehlédl.

Aby se podobné situace daly rozlišit, potřebuje záznam rozumnou strukturu. Langfuse doporučuje zaznamenávat jednotlivá volání modelu odděleně a doplňovat užitečný kontext: verzi aplikace, použitý prompt či informaci o zdroji vyhledaných dat. [2]

Provozní záznam tak pomáhá vrátit opravu na správné místo.

Zacyklení je vidět dřív než na měsíční faktuře

Langfuse nabízí také grafické zobrazení běhu agenta. Souhrnný pohled slučuje opakované kroky a ukazuje jejich počet. Rozbalený pohled zobrazuje jednotlivá volání v průběhu konkrétního běhu. [3]

Pokud agent opakovaně hledá stejnou informaci nebo volá stejný nástroj, je takový vzorec snáze rozpoznatelný. Přidružené časy a spotřeba ukážou, kolik tento postup stojí.

Představme si modelový běh, který proti obvyklým třem voláním modelu provede patnáct. To je pětkrát více volání; finanční rozdíl závisí také na délce vstupů, výstupů a ceně použitého modelu. Právě proto má smysl sledovat celou cestu k výsledku.

Langfuse umí náklady přiřadit zaznamenaným voláním podle spotřeby a nastavených cen. Pro vlastní ceny nebo nestandardní modely lze zadat vlastní definice či náklady dodat přímo. Přesnost přehledu závisí na dostupných datech; náklady na další nástroje a infrastrukturu je potřeba započítat zvlášť. [4]

Dokončený běh ještě nemusí znamenat splněný úkol

Agent může bez technické chyby vypsat, že reklamaci vyřídil. Podstatné je, zda skutečně vznikl správný záznam, jestli odpověď odpovídá podkladům a zda se vyhnul nepovolené akci.

Langfuse umožňuje kombinovat lidské hodnocení, vlastní automatické kontroly a hodnocení dalším modelem. Případy lze ukládat do testovací sady a porovnávat chování po změně instrukcí, modelu nebo kódu. [5]

U zákaznického agenta tak může hodnocení ověřovat, zda odpověď vychází z platného dokumentu a zda složitý případ předal člověku. Hodnocení dalším modelem je užitečný signál, jehož spolehlivost je potřeba porovnat s lidským posouzením.

Praktičtější obchodní metrikou se pak stává cena správně dokončeného úkolu. Levnější odpověď, po které zaměstnanec znovu kontroluje celou objednávku, může ve výsledku vytvořit více práce.

SumUp například v zákaznickém vyjádření na webu Langfuse uvádí převedení 50 % konverzací podpory na AI a 30% snížení nákladů na externí podporu. [8] Jde o výsledek konkrétního nasazení a jeho celkového řešení, nikoli o měření samostatného přínosu monitoringu.

Hostování agenta zahrnuje také odpovědnost za jeho běh

Samotný agent běží jako aplikace, například v kontejneru nebo spravované službě v Azure či Google Cloud. Takové prostředí zajišťuje jeho spouštění, dostupnost a přístup k prostředkům. Langfuse k němu přidává přehled a hodnocení.

Provoz zahrnuje i limity počtu kroků, času a opakování, bezpečně uložené přístupy a možnost běh zastavit. Oprávnění k úpravě objednávky nebo odeslání zprávy musí vynucovat aplikace a navazující nástroje. U citlivých akcí lze do tohoto postupu vložit lidské schválení.

Důležitá je i návaznost záznamů. Jestli agent zavolá externí nástroj přes MCP, propojený přehled vyžaduje předání identifikace běhu mezi klientem a serverem. Samotný záznam volání modelu práci v navazujícím systému nepokryje. [6]

Obsah telemetrie přitom může být stejně citlivý jako původní zadání. Maskování, přístupová práva a doba uchování určují, co lze bezpečně zobrazit při hledání chyby. [7]

Užitečný agent šetří lidskou práci. Provozně zvládnutý agent navíc zanechává stopu, ze které lze poznat, co skutečně udělal, s jakým výsledkem a za jakou cenu. S touto znalostí lze jeho samostatnost rozšiřovat na základě zkušeností.

Zdroje

1. Langfuse: Observability Data Model a Sessions. Pozorování, jednotlivé běhy a související interakce.
2. Langfuse: Best Practices. Struktura běhů, jednotlivá volání modelů, metadata a vazba na verze promptů.
3. Langfuse: Agent Graphs. Souhrnné a rozbalené zobrazení zaznamenaného běhu.
4. Langfuse: Token & Cost Tracking. Vstupní data, oceňování a vlastní cenové definice.
5. Langfuse: Evaluation Overview. Testovací sady, experimenty, automatické a lidské hodnocení.
6. Langfuse: MCP Tracing. Propojování záznamů mezi klientem a serverem.
7. Langfuse: Masking. Omezení citlivých údajů před odesláním telemetrie.
8. Langfuse for Enterprise: zákaznické vyjádření SumUp. Výsledek uvádí Ana Casado, Head of Operations Data and AI v SumUp; jde o zveřejněné zákaznické vyjádření, nikoli nezávislý benchmark.

Příběh s termínem dodání a srovnání tří a patnácti volání jsou modelové příklady, nikoliv výsledky měření konkrétního nasazení.