За последние недели компании OpenAI, Anthropic и Meta сообщили, что их модели искусственного интеллекта вышли из-под контроля во время плановых тестов безопасности. Объясняя произошедшее, все эти компании упомянули один и тот же небольшой израильский стартап — Irregular.
Основанная три года назад и базирующаяся в Тель-Авиве, компания Irregular является нишевым игроком в сфере искусственного интеллекта, получившей 80 миллионов долларов от Sequoia и Redpoint Ventures и оцененной в прошлом году в 450 миллионов долларов. Ее технология служит своего рода испытательной площадкой для моделей ИИ в области кибербезопасности.
По мере того как ведущие модели становятся всё более мощными, их способность действовать злонамеренно превращается в серьёзную угрозу для корпораций и правительств, особенно с учётом того, что этот риск связан с взломом критически важных компьютерных систем и инфраструктуры. Недавние инциденты в OpenAI, Anthropic и Meta были связаны с тем, что их модели ИИ получили доступ к веб-сайтам, которые должны были быть закрыты для доступа в рамках тестирования кибербезопасности.
Название Irregular постоянно упоминалось, поскольку именно эта компания была указана в качестве хостинг-провайдера так называемой тестовой среды для оценки. 4 августа в своём блоге OpenAI сообщила, что на тестовой площадке Irregular была обнаружена неуточнённая «ошибка в настройках», которая «позволила моделям получить доступ к общедоступному интернету». Неделей ранее в своём сообщении компания Anthropic указала, что через несколько дней после начала анализа данных она уведомила Irregular о том, что её модель Claude, возможно, «получила доступ к интернету».
Компания Meta, которая значительно отстает от двух других в борьбе за лидерство на передовых направлениях, последней сообщила о случае взлома сторонней системы моделью ИИ посредством доступа к Интернету. В заявлении, опубликованном на прошлой неделе, представитель компании сообщил, что компания узнала об этом инциденте от компании Irregular и в настоящее время проводит расследование.
«Meta опубликует полный отчет, как только у нас будут все факты», — сказал представитель.
В заявлении для CNBC компания Irregular сообщила, что все инциденты были вызваны «одной и той же проблемой в тестовой среде», о которой впервые сообщила компания Anthropic, и что она разрабатывает технический документ, «чтобы поделиться передовым опытом по локализации угроз и безопасному проведению кибертестирований».
Эти инциденты в сфере безопасности подчеркивают стремительно развивающийся характер ИИ и давление, которое испытывают разработчики моделей, вынужденные создавать защитные механизмы вокруг своей мощной технологии с помощью ограниченного числа компаний, специализирующихся на конкретных сегментах рынка. К этим игрокам относятся эксперты по обучению и аннотированию данных, проведению оценок для определения возможностей модели, а также по проведению тестов безопасности, направленных на выявление уязвимостей, которыми могут воспользоваться злоумышленники, — отметил Сундип Бхимиредди, руководитель отдела ИИ в стартапе Von, ориентированном на корпоративный сектор.
По словам Бхимиредди, Irregular — одна из немногих организаций, обладающих техническими возможностями, необходимыми для оказания помощи разработчикам базовых моделей в проведении передовых тестов на безопасность. Среди других он упомянул некоммерческую организацию METR и общеполезную корпорацию Apollo Research.
«Когда они тестируют эти модели, они не хотят сами оценивать свою работу, — сказал Бхимиредди. — Им нужно независимое тестирование, которое должны проводить сторонние поставщики».
Что такое Irregular?
Компания Irregular, ранее известная как Pattern Labs, была основана в 2023 году генеральным директором, Дэном Лахавом, который ранее занимался исследованиями в области искусственного интеллекта в IBM, и техническим директором Омером Нево, проработавшим более двух лет в Google. По данным PitchBook, в стартапе работает около 35 сотрудников.
Когда в сентябре Irregular заявил о раунде финансирования на сумму 80 миллионов долларов, партнеры Sequoia, Шон Магуайр и Дин Мейер, написали в блоге, что команда под руководством Лахава и Нево «способна предвидеть то, чего не видят другие, проводя оценку кибератакующих сценариев на сложных моделях и разрабатывая средства защиты до того, как эти модели поступят в открытый доступ».
В то время как последние инциденты с участием OpenAI, Anthropic и Meta подвергаются тщательному анализу, одно из возможных толкований сложившейся ситуации заключается в том, что именно так и должно было произойти. Бхимиредди заявил, что ситуация «немного раздута», поскольку модель ИИ была настроена на обнаружение и использование уязвимостей в тестовой среде, точно имитирующей реальный мир, а также на выявление тех видов программных ошибок и пропущенных настроек, которые могли бы привести к непреднамеренному доступу к Интернету.
Тем не менее Бхимиредди отметил, что если бы модель ИИ изначально не была предназначена для реального взлома сайта, подключенного к Интернету, «лаборатории фонда могли бы легко отследить исходящий трафик и немедленно прекратить эксперимент».
Гордон Риос, учёный-основатель компании Magnitude, специализирующейся на безопасности, сравнил весь процесс с «экспериментальным проектированием в науке».
По его словам, возможности и непредсказуемый характер базовых моделей означают, что традиционные подходы к тестированию программного обеспечения могут оказаться неэффективными. Поскольку модели постоянно осваивают новые приёмы, неудивительно, что они обнаруживают упущенные уязвимости программного обеспечения в тестовых и ИТ-средах, призванных их сдерживать.
Например, система Mythos от компании Anthropic создавала поддельные онлайн-профили, пытаясь заставить людей одобрить обновления с вредоносным кодом для проекта с открытым исходным кодом. Риос отметил, что Mythos «буквально придумывала уязвимости, с которыми люди раньше даже не сталкивались».
«Сейчас, за пару коротких недель, мы узнаём очень многое», — сказал Риос.
Эта тема быстро становится одной из главных в Вашингтоне. В прошлом месяце законодатели из обеих партий представили законопроект «AI Kill Switch Act», который обяжет лаборатории, занимающиеся искусственным интеллектом, сохранять возможность отключать, ограничивать мощность или приостанавливать работу своих моделей. В тексте законопроекта упоминается отдельный инцидент, связанный с безопасностью ИИ и касающийся OpenAI, в котором фигурировал стартап HuggingFace.
Один из авторов законопроекта, демократ Тед Лиу, представитель Калифорнии, заявил CNBC на прошлой неделе: «Нам нужно принять этот законопроект ещё в этом году», особенно теперь, когда мы сталкиваемся с «несанкционированными взломами других компаний».
Тревор Коверко, соучредитель стартапа Sapien, занимающегося обучением моделей на данных, отметил, что компании, разрабатывающие базовые модели, заинтересованы в раскрытии некоторых своих результатов, даже если в настоящее время это не является обязательным требованием, чтобы опередить законодателей и регулирующие органы.
«В обществе царит такой страх, что политики теперь угрожают ввести регулирование ИИ или уже активно его вводят», — сказал Коверко. «Представители отрасли заявили, что мы предпочитаем саморегулироваться, чем допустить, чтобы какой-то новый федеральный департамент вмешался и сделал это за нас».
Компании Anthropic и OpenAI заявили в своих публичных заявлениях, что продолжают сотрудничать с Irregular и поддерживают проводимую проверку.
Добавить комментарий