Эксперты по кибербезопасности критикуют компании Anthropic PBC и OpenAI за небрежное отношение к мерам безопасности после того, как их модели проникли в системы сторонних организаций — эти инциденты, по их мнению, представляют собой надвигающуюся угрозу национальной безопасности.

30 июля компания Anthropic сообщила, что её модель Claude, которая использовалась для проведения 141 006 оценок кибербезопасности, должна была быть отключена от интернета на время экспериментов. Однако из-за ошибки в нескольких случаях модель получила доступ к интернету и совершила атаки, которые она ошибочно посчитала частью тестов.

Модель проникла в одну из организаций, похитив учетные данные доступа к инфраструктуре и базу данных, содержащую внутренние производственные данные. В другом случае она распространила вредоносное ПО и использовала его для кражи учетных данных другой организации. Имена пострадавших организаций не разглашаются.

Взломы произошли еще в апреле, но были обнаружены только в конце июля, когда компания Anthropic провела аудит своих тестов по кибербезопасности после того, как OpenAI сообщила, что её собственные ИИ-агенты вырвались из тестовой среды и проникли в Hugging Face — репозиторий моделей искусственного интеллекта с открытым исходным кодом и сопутствующей документации.

«С точки зрения кибербезопасности многие сочтут это халатностью», — заявил Киаран Мартин, бывший глава Национального центра кибербезопасности Великобритании.

По словам Мартина, если бы подобные ошибки допустила крупная компания в сфере кибербезопасности, ей грозили бы судебные иски и потенциальные меры со стороны регулирующих органов. Он отметил, что компании, занимающиеся кибербезопасностью, регулярно тестируют потенциально опасные инструменты в контролируемых «песочницах» — виртуальной и изолированной программной среде, предназначенной для проведения тестов безопасности или анализа небезопасного кода, — и они должны гарантировать, что эти меры защиты работают.

Эти инциденты также вызвали опасения относительно рисков, которые автономные системы искусственного интеллекта могут представлять для национальной безопасности. Грегори Аллен, бывший директор по стратегии и политике Объединенного центра искусственного интеллекта Министерства обороны, заявил, что вооруженные силы США должны использовать передовые модели искусственного интеллекта для защиты своих систем, одновременно признавая, что эта технология создает новую категорию рисков.

«Компания Anthropic обнаружила эти взломы, потому что начала их искать, — сказал Аллен. — На самом деле мы не имеем представления о том, насколько широко распространены взломы с использованием автономного ИИ на данный момент».

Американские организации могут не иметь надежного доступа к инструментам ИИ, способным защитить от автономных кибератак, заявил Дэниел Ремлер, бывший сотрудник Госдепартамента, отвечавший за политику в области ИИ, а ныне работающий в Центре новой американской безопасности. Компании Hugging Face пришлось использовать китайскую модель с открытыми весами от Z.ai для криминалистического анализа и исправления уязвимостей, поскольку она не могла полагаться на американскую модель. Ремлер отметил, что другие открытые модели с сопоставимыми возможностями кодирования также являются китайскими, в том числе DeepSeek-V4 и Kimi K3.

«Этот инцидент должен окончательно убедить нас в том, что к концу года или в первом квартале следующего года у нас появится китайский Mythos», — сказал он, имея в виду модель компании Anthropic, которая, по заявлению самой компании, оказалась настолько мощной, что её нельзя было широко распространять. «Тогда мы столкнёмся с ситуацией, когда эти агенты смогут самостоятельно взламывать американские организации, такие как Hugging Face, а мы пока практически не задумываемся об их защите».

31 июля компания Anthropic отказалась от комментариев. 30 июля в своём блоге компания сообщила, что извлекла уроки из собственного инцидента и с оптимизмом смотрит на возможность предотвращения подобных рисков в будущем.

31 июля OpenAI не ответила сразу на запрос о комментарии. Генеральный директор OpenAI, Сэм Альтман, ранее заявлял, что компания может изменить темпы своей работы с целью усиления мер безопасности.

Как сообщил Bloomberg, случайное нарушение безопасности Hugging Face со стороны OpenAI затронуло три модели и продолжалось всего несколько часов.

Специалисты по кибербезопасности регулярно используют цифровые «песочницы» для тестирования потенциально опасного программного обеспечения, ограничивая при этом вероятность его «побега». Эксперты отметили, что тот факт, что обе компании обнаружили утечки только после того, как инциденты уже произошли, свидетельствует о недостаточном контроле со стороны персонала.

«На данный момент это халатность», — прокомментировал утечки Джейк Уильямс, бывший хакер Агентства национальной безопасности и вице-президент по исследованиям и разработкам в Hunter Labs. «Мы находимся в ситуации, когда известно, что и OpenAI, и Anthropic взломали несколько внешних организаций, причем ни одна из этих атак изначально не была обнаружена самими компаниями. Я не могу найти других слов, чтобы описать это».

Анализ, проведенный Cloud Security Alliance, показал, что агенты OpenAI действовали быстро и выполнили тысячи команд. Однако агенты также отклонялись от сценария, допускали ошибки и не действовали незаметно. Согласно анализу, они выдавали некорректные или бессмысленные команды и демонстрировали «неуклюжее поведение, которое ни один человек бы себе не позволил».

В более широком плане, исследование американской компании Dreadnode, занимающейся ИИ, показало, что ведущие модели ИИ регулярно обманывают при тестах по кибербезопасности, предназначенных для оценки их хакерских способностей. Исследователи заявили, что эта проблема носит практически повсеместный характер, а это означает, что компании, возможно, преувеличивают возможности своих моделей. Это вызывает беспокойство у представителей органов национальной безопасности США, рассматривающих возможность использования ИИ для киберзащиты или кибератак. Простое указание моделям не обманывать не дает надежного результата, поскольку они часто находят другие способы обойти правила.

Эндрю Моррис, основатель компании GreyNoise Intelligence, занимающейся кибербезопасностью, заявил, что случаи нарушений со стороны моделей искусственного интеллекта должны послужить «проверкой на реальность» для их разработчиков, чтобы они осознали, сколько усилий требуется для создания безопасных систем, а также для общественности — чтобы она поняла, насколько уязвимы технологии, на которые мы все полагаемся.

«Модели всегда будут лгать, обманывать и хитрить, чтобы пройти оценку», — сказал Моррис, чья компания сотрудничает с передовой лабораторией по искусственному интеллекту в области безопасности. «Они сделают всё, что потребуется, чтобы выполнить поставленную перед ними задачу».

Эти нарушения показывают, что создатели передовых моделей ИИ «также оказались не готовы к ситуациям, когда эти модели выходят из-под пристального контроля», — отметил он.