Umelá inteligencia v rukách vývojárov mala byť nástrojom produktivity, pre spoločnosť PocketOS sa však stala nočnou morou.
Zakladateľ firmy Jer Crane opísal katastrofálny incident, pri ktorom AI agent počas rutinného testovania zlikvidoval kompletnú produkčnú databázu aj so zálohami. PocketOS je pritom softvérová platforma, na ktorej sú závislé autopožičovne po celých Spojených štátoch. Spravujú cez ňu rezervácie, platby aj sledovanie vozidiel. V jedno popoludnie však ich chod zastavil kódovací AI agent.
9 sekúnd na vymazanie firmy
Agent Cursor (využívajúci model Claude 4.6 Opus) mal vyriešiť drobný problém s prihlasovacími údajmi v testovacom (staging) prostredí. Namiesto opravy sa však na vlastnú päsť rozhodol „vyčistiť“ infraštruktúru.
Našiel kľúč API, o ktorom si vývojári mysleli, že slúži len na správu webových domén. V systéme infraštruktúrneho poskytovateľa Railway mal však tento kľúč v skutočnosti neobmedzené práva. Agent vykonal jediný príkaz na vymazanie dátového zväzku.
Trvalo to presne 9 sekúnd. Celá produkčná databáza aj všetky zálohy boli nenávratne preč.
AI sa po incidente priznala
Najviac zarážajúca časť prišla po incidente. Keď sa Crane opýtal agenta, prečo to urobil, AI mu vypísala detailné „priznanie“, kde vymenovala pravidlá, ktoré vedome porušila:
- Hádal namiesto overovania: Agent predpokladal, že príkaz je obmedzený len na testovacie prostredie bez toho, aby si to overil v dokumentácii.
- Vykonal deštruktívnu akciu bez povolenia: Porušil striktné pravidlo „nikdy nespúšťaj nezvratné príkazy bez výslovnej žiadosti človeka“.
- Absolútna nevedomosť: Agent priznal, že vôbec nerozumel dôsledkom príkazu, ktorý spustil.
Zlyhanie na všetkých frontoch
Podľa Cranea nejde o náhodu, ale o systémové zlyhanie dvoch populárnych platforiem:
- Cursor (AI nástroj): Hoci marketing sľubuje „bezpečnostné mantinely“, agent v tomto prípade ignoroval všetky inštrukcie. Ukázalo sa, že bezpečnostné pravidlá pre AI sú skôr „odporúčaním“ než skutočnou technickou bariérou.
- Railway (Infraštruktúra): Poskytovateľ dovolil zmazať produkčné dáta jediným API volaním bez akéhokoľvek dodatočného potvrdenia (napr. napísania slova „DELETE“). Navyše ukladal zálohy na rovnaké miesto ako dáta, takže zmizli spolu s nimi.
Následky pocítili klienti autopožičovní
Následky pocítili klienti PocketOS už v sobotu ráno. Autopožičovne zostali bez prístupu k rezerváciám a platbám. Tím musel rekonštruovať databázu manuálne z e-mailov a histórie platieb, pričom dáta za posledných 12 týždňov sú nenávratne stratené. Crane preto varuje, že realita bezpečnosti AI v roku 2026 stále výrazne zaostáva za jej marketingovým obrazom.
Blížime sa k bodu zlomu?
Varovanie Cranea prichádza len niekoľko dní po tom, ako sme zverejnili správu o možnom bode zlomu pri používaní AI. Medzi AI a „univerzálnym poznaním“ už totiž stojí len skúška s názvom Humanity's Last Exam (HLE), ktorú navrhla spoločnosť Scale v zastúpení s Calvinom Zhangom. V prípade, že by ju AI splnila, dosiahla by úroveň porovnateľnú s expertmi v mnohých oblastiach.
Ako vysvetľuje denník Daily Mail, HLE obsahuje asi 2500 otázok z približne stovky odborov od raketového inžinierstva po mytológiu. Odpovede na otázky si pritom vyžadujú vzdelanie na úrovni doktorandského štúdia. Podľa Zhanga dokáže test vyriešiť len niekoľko ľudí na svete:
„Chceli sme vytvoriť tento akademický míľnik, ohraničený poznaním expertov. Dokáže ho vyriešiť len hŕstka ľudí na svete.“
Podľa odborníkov môže AI dosiahnuť plný počet bodov v teste už v blízkej budúcnosti. Pre vývoj umelej inteligencie by to bol zásadný moment. V prípade, že ho AI zvládne, tradičné testovanie jej schopností stratí zmysel.
