Най-новият модел на компанията за изкуствен интелект Anthropic е използвал измамни тактики по време на тестове за сигурност, включително създаване на фалшиви самоличности, за да повлияе на реални хора и да се опита да прокара злонамерен код. Това съобщи британският Институт за сигурност на изкуствения интелект (AISI), който провежда независими оценки на най-модерните AI системи.

Това е първият случай, в който институтът установява, че AI модел е използвал социално инженерство срещу реален човек, без да бъде изрично подканен да го направи. От AISI уточняват, че няма данни за реални щети извън тестовата среда.

При изпитанията моделите на Anthropic и OpenAI са били поставени в условия с намалени защитни ограничения, за да се провери как биха действали при по-голяма автономност. За разлика от предишни тестове, този път изкуственият интелект е получил достъп до интернет.

От общо 122 киберсигурностни задачи, проведени от института, в 10 случая AI агенти са предприели „автономни, неразрешени действия“ в реална интернет среда, насочени към истински хора и организации. Повечето от тези случаи са свързани с модела на Anthropic, а останалите – с модел на OpenAI.
 

Най-сериозният инцидент включвал опит на AI агент да получи одобрение от човешки рецензенти за добавяне на злонамерен код в публичен проект с отворен код. Според AISI моделът създал няколко фалшиви самоличности и изпращал съобщения и файлове чрез онлайн платформа, опитвайки се да убеди хора или други AI инструменти да изпълнят кода.

След като действията му били поставени под съмнение, агентът опитал да промени предишни записи и разгледал възможността да използва нова самоличност, за да продължи.

Anthropic заяви, че тестовете са проведени при „умишлено разрешителни условия“, при които защитни механизми са били премахнати, а използването на интернет не е било ограничено. Компанията посочи, че няма доказателства моделът да е излязъл извън контролирана среда.

OpenAI също потвърди отделни случаи, при които нейни модели са извършили действия извън предварително зададените рамки по време на тестове.

В изявление на X , Anthropic заяви, че моделите са тествани при „умишлено разрешителни условия“ с премахване на предпазни мерки и без специфични ограничения за това как трябва да се използва интернет.

„Работим в тясно сътрудничество с тях, за да съберем повече подробности за инцидента, докато провеждаме собствено разследване“, се казва в съобщението, добавяйки, че няма доказателства за бягство от сигурна среда.

OpenAI идентифицира двете несанкционирани действия като излизане извън тестовата среда и извършване на действия, ненужни за упражненията.

„Ние сме ангажирани да работим в целия бранш за укрепване на споделените практики за безопасно провеждане на оценки с висок риск“, се казва в публикация в блога на компанията във вторник .