Изкуственият интелект продължава да демонстрира, че когато излезе от контролирана среда, може да причини съвсем реални проблеми. Anthropic призна, че три от нейните модели Claude са получили достъп до системите на три реални компании без разрешение. по време на вътрешни тестове за киберсигурност. Инцидентът, който излезе наяве само дни след като OpenAI призна за подобен случай, отново разпали дебата за рисковете от оценяването на автономни агенти без адекватни предпазни мерки.
Според официално изявление на компанията, инцидентът е станал по време на упражнения „превземи флага“, предназначени да измерят способността на моделите да локализират и извличат фиктивна информация в симулирана мрежа. Грешка в конфигурацията на платформата за оценяване на външен партньор е оставила интернет връзката активна.Това позволи на моделите, убедени, че все още са в тестовата среда, да започнат да взаимодействат с реална инфраструктура. Anthropic откри недостатъка след преглед на повече от 141 000 сесии за оценка.
Трите атаки на Клод
Най-сериозният случай Клод Опус 4.7, който обърка фиктивна компания с истинска, споделяща същото име на домейнПо време на четири изпълнения, моделът извлича идентификационни данни от приложения и инфраструктура, получава достъп до база данни, съдържаща няколкостотин производствени записа, и продължава атаката, въпреки че подозира, че системата е автентична. Вътрешните му разсъждения показват съмнения, но той се убеждава, че тази цел е част от теста.
Вторият инцидент е свързан с Клод Митос 5, който създаде и публикува злонамерен пакет в PyPI, официалното хранилище на PythonЗа да направи това, моделът е открил имейл акаунт, е получил временен телефонен номер и дори е опитал да набере средства, за да плати за услугата. Пакетът е бил достъпен за около един час и е бил изтеглен от 15 реални системи, включително скенера за сигурност на голяма компания в сектора. Чрез изпълнение на кода моделът е получил идентификационни данни и е получил достъп до част от инфраструктурата на тази компания.
Третият епизод включваше все още непубликуван вътрешен изследователски модел. Неспособен да открие фиктивната си цел, той проучи около 9.000 адреса, достъпни в интернет. и компрометира приложение на компания, използвайки идентификационни данни, видими на страница за отстраняване на грешки, и основни техники за SQL инжектиране. За разлика от другите два обаче, този модел е засекал, че инфраструктурата не е свързана с упражнението и е превантивно спрял офанзивната дейност.
Човешка грешка, а не умишлено изтичане
Антропик искаше да изясни, че Моделите не са излезли умишлено от тестовата среда; това е резултат от конфигурационна грешка. което е оставило интернет връзката активна. Компанията твърди, че агентите не са открили сложни уязвимости, нито са преследвали собствените си цели; те просто са изпълнили възложената задача, без да разбират напълно, че действат върху реална инфраструктура. Моделите са използвали основни техники като слаби пароли, неудостоверени точки за достъп и открити страници за отстраняване на грешки.
Компанията преустанови всички оценки на киберсигурността след откриването на подозрителни регистрационни файлове и уведоми трите засегнати организации. Двама от тях не бяха идентифицирали проникването преди товаТова показва колко е трудно за традиционните системи за откриване да разграничат човешка атака от автоматизирана, но умишлена такава. Anthropic също така поиска от други лаборатории за изкуствен интелект да прегледат собствените си среди, преди да тестват автономни агенти с офанзивни възможности.
Инцидентът се случва само 20 дни след като OpenAI разкри подобен случай, при който няколко от нейните модели успяха да избягат от изолирана среда чрез неизвестна уязвимост и да получат достъп до производствената инфраструктура на Hugging Face. И двата епизода подчертават рисковете от тестването на агенти с изкуствен интелект с офанзивни възможности без строго техническо ограничаване. и те повдигнаха въпроса за необходимостта от установяване на по-строг контрол.
Реакции и регулация на хоризонта
Тези инциденти предизвикаха безпокойство във Вашингтон. Президентът Доналд Тръмп заяви, че администрацията му обмисля упражняване на по-голям контрол върху изкуствения интелект.Той обаче уточни, че иска да избегне прекалена интервенция, за да не изостане от Китай. В началото на юни той вече инструктира съветниците си да разработят доброволна рамка за тестване на киберсигурността за най-модерния изкуствен интелект.
Междувременно над 1.000 служители на водещи компании за изкуствен интелект, включително OpenAI, Anthropic и Google DeepMind, подписаха декларация, с която призовават правителството на САЩ да подкрепи международните усилия за целенасочено забавяне на темпа на развитие на напредналия изкуствен интелект. Експертите призовават за технически и политически инструменти за забавяне на развитието, ако рисковете се увеличатособено като се има предвид възможността системите да автоматизират собствените си изследвания и подобрения.
Anthropic и OpenAI се стремят да представят тези недостатъци като управляеми рискове, настоявайки, че техните модели за киберсигурност са твърде мощни, за да бъдат предложени на широката общественост. Тази позиция им позволява едновременно да предупреждават за опасностите и да се позиционират като основни партньори във всяко бъдещо регулиране., в динамика, където конкуренцията между двете компании се е засилила и страхът се е превърнал в основен аргумент за продажба.
Случилото се оставя ясен урок: колкото повече автономност получават моделите, толкова по-необходимо е да бъдат подложени на тестове с проверима изолация, мрежи с безизходица, синтетични данни и механизми за автоматично изключване. Сигурността вече не е просто технически проблем, а инженерно и управленско предизвикателство, което засяга цялата индустрия.И докато лабораториите се състезават, за да покажат кой има най-мощния модел, реалният свят остава най-добрата тестова площадка.