Cyberex

Kontrolovatelnost rozhodování AI

developer — Tue, 02 Jun 2026 10:07:03 +0000

Klasické programy fungují předvídatelně a když dojde k chybě, lze ji znovu vyvolat a prozkoumat.

Při opakovaném průběhu totiž nastane znovu, se stejným výsledkem i stejným záznamem do logů a je tak možné dohledat příčinu a najít řešení.

AI Chatboti se nechovají deterministicky, na stejné otázky mohou podávat různé odpovědi pro každý jednotlivý průběh. Typickým příkladem je halucinovaná odpověď, která ovšem nekončí chybovým stavem, protože z pohledu chatbota se jedná o správně vykonanou úlohu.

Agentní systémy celou situaci významně komplikují. Agenti, kteří samostatně používají SW nástroje, zadávají částečné úkoly jiným agentům a jsou schopni provádět vícekroková rozhodování, násobně rozšiřují oblasti případného hledání chyby. Pro zopakování chyby je tak potřeba zrekonstruovat celý řetězec událostí, použité utility a zdroje dat, a to vše včetně zachování verzí různých modelů.

Tradiční SW:

Příčinou chyby je obvykle špatný kód, HW chyba v infrastruktuře, špatná konfigurace nebo chyba uživatele.
Chyba je konzistentní, opakovatelná
Reprodukce je snadná, a to opakovaně se stejným výsledkem.
Zdrojů k prozkoumání bývá dostatek – aplikační, síťové a systémové logy.

LLM:

Co může být příčinou chyby: model, trénovací data, prompt, zřetězení vyhledávání, omezení MCP (Model Context Protocol) nebo různé jejich kombinace.
Halucinace není chyba, stav je OK
Obtížně reprodukovatelné – na stejnou otázku může pokaždé podat jinou odpověď, míra úspěšnosti zopakování závisí na kontrole nad verzí modelu, nastavení temperature, kompletní prompt a vyhledávací kontext
Degradace nebo postupné odchýlení modelu je obtížně detekovatelné, dokud nedojde k závažné chybě
Zdroje k prozkoumání – je potřeba ukládat velké množství informací jako logy vyhledávání a dovozování, prompt, kontext, dedukce agentů (většina těchto informací se defaultně neukládá).

Co zachovat pro možnost případné rekonstrukce chybového chování AI:

Spárované dotazy a odpovědi, včetně časové posloupnosti
Kompletní systémový prompt, uživatelský vstup, další automatizované kroky. Komplexní systémy jsou schopné dynamicky vytvářet prompt z kombinace šablon, uživatelských dotazů a obsahu dokumentů (RAG – Retrieval-augmented Generation).
Logy RAG systémů: odkazy na konkrétní dokumenty nebo jejich části, dotaz a skóre, které vedlo k jejich výběru. Všechny tyto záznamy by měly být uloženy společně s generovanou odpovědí.
Záznamy o verzích modelů, použitých pro získání dat. Bez této informace nemusí být možné rozhodnout, zda chyba nastala kvůli špatnému zadání dotazu nebo změnou modelu pro získávání dat.
Záznamy akcí agentů – jaké použili nástroje a proč, jak delegovali úkoly a komu, jak úkoly řadili za sebe.
Detailní informace o modelu – verze, ladění, konfigurace, nastavení mantinelů.

PDF verze

Bezpečnost v éře IoT

developer — Tue, 02 Jun 2026 09:43:11 +0000

Nákup nových spotřebičů a jiných zařízení s vlastnostmi, se kterými uživatel dosud nemá žádné často ani letmé zkušenosti, je spojen i s novými riziky. Běžně se objevují zařízení označovaná jako Internet věcí (Internet of Things, IoT). Ta jsou vybavena softwarem, senzory a síťovou konektivitou, která umožňuje těmto zařízením propojit se do společné sítě a vyměňovat si data (přes internet, Bluetooth, NFC, Wi-Fi nebo speciální sítě). To s sebou kromě nesporného komfortu přináší nemalá bezpečnostní rizika.

Zařízení internetu věcí jsou velice různorodá od drobných senzorů přes domácí spotřebiče až po automobily a složité stroje, a to z nich činí oblíbené cíle kybernetických útoků a jejich propojená povaha může vést k rozsáhlým zranitelnostem. Mohou být přímo napadeny, ale také mohou sloužit jako prostředek k napadení jiných zařízení, nebo mohou fungovat jako spící agenti, připravení zaútočit na pokyn útočníka.

Je třeba, aby si uživatelé lépe uvědomovali potenciální rizika a nepodceňovali zabezpečení. Mezi základní opatření patří pravidelné aktualizace software, volba silných a unikátních hesel, výběr důvěryhodného výrobce. Vhodná je například i segmentace sítě, kdy zařízení IoT mají svou samostatnou síť, oddělenou od připojení hlavních počítačů. A jako vždy se řídit zdravým rozumem, například při nastavování aplikací pro IoT posoudit legitimitu požadavků na oprávnění a udělit jen ta nezbytně nutná.

Řízení dodavatelského řetězce

developer — Tue, 02 Jun 2026 09:39:48 +0000

Pokud jste se identifikovali jako poskytovatel regulované služby v nižším nebo vyšším režimu, jednou z Vašich povinností bude i řízení dodavatelského řetězce.

V režimu nižších povinností jako povinná osoba při uzavírání smlouvy s dodavatelem do stanoveného rozsahu budete muset zohlednit hrozby a zranitelnosti spojené s tímto dodavatelem, celkovou kvalitu produktů a postupů v oblasti kybernetické bezpečnosti, včetně postupů bezpečného vývoje a na základě toho zajistíte, aby smlouvy s tímto dodavatelem obsahovaly relevantní požadavky podle přílohy prováděcí vyhlášky.

Tam například patří:

ustanovení o bezpečnosti informací z pohledu důvěrnosti, integrity a dostupnosti,
ustanovení o auditu dodavatele související s plněním smlouvy,
ustanovení upravující tzv. exit strategii,
ustanovení o oprávnění užívat data,
ustanovení o autorství programového kódu,
ustanovení o povinnosti dodavatele dodržovat bezpečnostní politiky
ustanovení o řízení změn,
ustanovení o kybernetických bezpečnostních incidentech,
ustanovení upravující zajištění řízení kontinuity činností,
náležitosti smlouvy o úrovni služeb (SLA) a způsobu realizace bezpečnostních opatření,
ustanovení o dodržování pravidel bezpečného vývoje.

V režimu vyšších povinností je pravidel více a budou náročnější na realizaci. Přibývá například, v rámci výběrového řízení nebo před uzavřením smlouvy, hodnocení rizik spojených s plněním, pravidelné přezkumy plnění smluv z hlediska řízení bezpečnosti informací, pravidelná hodnocení rizik a kontroly zavedených bezpečnostních opatření nebo zákaznické audity. Identifikace významných dodavatelů a jejich prokazatelné informování, že jsou významnými dodavateli.

Některá ustanovení se týkají stejných oblastí jako v režimu nižších povinností, jen s větší mírou detailu nebo podrobnějším hodnocením, či složitějšími pravidly.

Vybrané další oblasti dle přílohy prováděcí vyhlášky:

ustanovení o kontrole zavedených bezpečnostních opatření (pravidla zákaznického auditu),
ustanovení upravující řetězení dodavatelů, přičemž musí být zajištěno, že subdodavatelé se zaváží dodržovat v plném rozsahu ujednání mezi povinnou osobou a dodavatelem,
ustanovení o povinnosti dodavatele informovat povinnou osobu o

◦ kybernetických bezpečnostních incidentech souvisejících s plněním smlouvy,

◦ způsobu řízení rizik na straně dodavatele a o zbytkových rizicích,

◦ významné změně ovládání tohoto dodavatele podle zákona o obchodních korporacích nebo změně vlastnictví zásadních aktiv,

žádosti cizozemského orgánu o zpřístupnění nebo předání dat zpracovávaných na území cizího státu,
pravidla pro likvidaci dat,
ustanovení o právu jednostranně odstoupit od smlouvy nebo smlouvu vypovědět bez výpovědní doby v případě významné změny kontroly nad dodavatelem