Kontakt

Služba 05

AI platforma

Zaměstnanci dostanou schválený firemní chat, aplikace a agenti řízený přístup k modelům. Vy víte, kdo AI používá, kam posílá data, kolik provoz stojí a co jednotlivé automatizace skutečně udělaly. Platformu zavedeme a postaráme se o její provoz.

Nezávazně to probrat

Kdy vám pomůžeme

  1. Přibývají AI nástroje a API klíče a nikdo nemá přehled.

    Sjednotíme přístup k modelům přes firemní přihlášení a jednu bránu, s limity pro týmy a přehledem spotřeby.

  2. Nevíme, kam smějí zaměstnanci vkládat firemní dokumenty.

    Připravíme schválený firemní chat a pravidla, která data smí kam a kde se zpracují.

  3. Agent udělal chybu a nevíme proč.

    Napojíme Langfuse, takže u každého běhu uvidíte podklady, jednotlivé kroky i výsledek a opravu ověříte testem.

Co konkrétně děláme

  1. Zmapování a návrh

    Začínáme tím, co ve firmě už běží. Výstupem je cílová architektura a katalog povolených služeb a dat. Mapujeme:

    • AI nástroje, které lidé už používají, a jejich API klíče
    • kam odcházejí firemní data a za jakých podmínek se zpracují
    • kdo potřebuje jaké modely a funkce
    • které procesy se vyplatí automatizovat jako první
    • náklady na AI podle týmů a aplikací

  2. Firemní chat

    Zaměstnanci dostanou jedno schválené rozhraní pro práci s AI, například LibreChat nebo Open WebUI. Zavádíme:

    • přihlášení firemním účtem (Google Workspace, Microsoft Entra ID)
    • nabídku schválených modelů a funkcí podle role
    • klíče k modelům uložené na serveru, ne u uživatelů
    • pravidla pro historii konverzací, soubory a sdílené odkazy
    • řízené přidávání nástrojů a MCP serverů
    • odebrání přístupu včetně běžících relací v dohodnuté lhůtě

  3. Společná LLM brána

    Chat, aplikace i agenti chodí k modelům přes jednu bránu, například LiteLLM nebo AI gateway v Azure API Management. Zavádíme:

    • katalog schválených nasazení modelů: poskytovatel, endpoint, povolené použití a datové podmínky
    • vlastní identitu a omezení pro každou aplikaci
    • limity požadavků, tokenové kvóty a rozpočty pro týmy
    • náhradní směrování při výpadku jen do prostředí se stejnými pravidly pro data
    • otestované chování limitů, ne neurčitý slib finančního stropu

  4. Dohled nad agenty s Langfuse

    Langfuse propojí volání modelů, práci s nástroji, časy, spotřebu a výsledek do jednoho záznamu. Provozujeme ho u nás, nebo na vaší infrastruktuře. Zavádíme:

    • záznam celého běhu agenta včetně verze aplikace a promptu
    • náklady vztažené ke skutečně užitečnému výsledku
    • hodnocení výsledků lidmi i automatickými kontrolami
    • testovací sady, na kterých se ověří každá změna modelu nebo promptu
    • maskování citlivých údajů v záznamech
    • upozornění při růstu nákladů nebo poklesu kvality

  5. Bezpečné agenty

    Oprávnění agentů vynucuje aplikace a navazující nástroje, ne instrukce v promptu. Zavádíme:

    • oddělené nástroje pro čtení a pro zápis
    • schválení citlivých akcí člověkem
    • limity času, počtu kroků a opakování
    • ochranu proti dvojímu zápisu při opakování úkolu
    • oddělené prostředí a přístupy pro vývojové agenty

  6. Kde modely běží

    Síťová cesta, místo zpracování, doba uchování dat a zákaz trénování jsou čtyři různé věci; žádná nezaručuje ostatní. Podle vašich požadavků nastavíme:

    • spravované modely v Azure nebo Google Cloud s doloženými podmínkami zpracování
    • soukromé připojení (private endpoint) tam, kde ho služba podporuje
    • region a datovou rezidenci podle zvoleného modelu a funkce
    • vlastní modelový server (například vLLM) pro data, která nesmějí do externího API
    • pravidla pro odchozí provoz agentů

  7. Předání a provoz

    Platformu předáváme s výsledky testů, ne jen se seznamem nainstalovaných produktů. Pak se o ni staráme: aktualizace, dohled, zálohy, rotace přístupů a pravidelný přehled spotřeby. Ověřujeme:

    • odebraný uživatel ztratí přístup i přes běžící relaci
    • nepovolený model nebo přímý přístup aplikace brána odmítne
    • limit jednoho týmu nevyčerpá kapacitu druhého
    • u pilotního úkolu jde propojit uživatele, volání modelu, nástroj a výsledek
    • citlivé údaje se neobjeví tam, kde mají být odstraněné
    • konfigurace regionu, uchování dat a záloh odpovídá dokumentaci

Kde platforma běží

  • Ve vašem cloudu

    Ve vašem cloudovém účtu, s vaším vlastnictvím dat a fakturací spotřeby. My máme jen omezený správcovský přístup.

  • Na naší platformě

    V odděleném prostředí, které spravujeme my, s jasným rozsahem přístupů a možností exportu a předání.

Jak začít

Začínáme zmapováním toho, jak se AI ve firmě používá dnes. Pak zavedeme platformu s jedním pilotním procesem, například přípravou nabídky z poptávky, a postaráme se o její provoz.

Všechny články k tématu AI platforma

Časté dotazy

Časté dotazy ke službě

Ukládáte obsah promptů?

Jen podle vašeho rozhodnutí. Pro některé procesy stačí metadata, jiné potřebují omezený a maskovaný obsah pro hledání chyb.

Je to izolované LLM?

Spravované modely v Azure nebo Google Cloud zpracovává cloudový poskytovatel podle doložených podmínek; nejde o offline instanci. Pokud data nesmějí do externího API, nasadíme vlastní modelový server ve vašem prostředí.

Pokryje to i AI, kterou lidé používají na telefonu?

Ne automaticky. Platforma řídí napojené aplikace a prostředí. Osobní AI služby se omezují správou zařízení, sítě a firemními pravidly.

Jak se platí tokeny a licence?

Cloud, tokeny a licence účtujeme odděleně od naší práce a transparentně. Modelové tokeny nejsou součástí paušálu za správu.

Další služby

Kontakt

Možná nás nepotřebujete.

Pokud máte tým, který zvládá provoz, bezpečnost i zastupitelnost, nechte to tak. Pokud ne, stačí pár vět a můžeme rychle začít.

info@rokka.engineering

Otevře se váš e-mailový program s předvyplněnou zprávou.