11 июня исследователи в области безопасности продемонстрировали, как можно обойти OpenClaw — одного из наиболее широко используемых ИИ-агентов. Инструкции, скрытые в таких обыденных вещах, как общий контакт или закрепленное местоположение, могли заставить агента запустить код злоумышленника и раскрыть свои секреты. Одна уязвимость была устранена. Другую устранить не удалось, поскольку она была присуща самому принципу работы агента.

Этот инцидент ярко иллюстрирует основную проблему, которая замедлит внедрение ИИ: компании не могут просто «навесить» системы ИИ на существующие процессы. Им придётся перепроектировать сам процесс работы.

Потенциал агента ИИ может быть раскрыт только в том случае, если он может свободно работать внутри системы. Уберите эту свободу, и останется чат-бот. В то же время ни одному агенту нельзя доверять. Открытость — это одновременно и фактор, способствующий развитию, и угроза.

Эта дилемма не нова. В XIV веке город-государство Рагуза, расположенный недалеко от современного Дубровника на далматинском побережье, разбогател благодаря торговле. Открытость порта привлекала корабли со всего Средиземноморья — и впустила чуму. Рагуза не могла закрыть свой порт, не рискуя экономической катастрофой, и не могла оставить его открытым, не навлекая на себя гуманитарную катастрофу. Поэтому город предпринял новаторские меры: в 1377 году он приказал кораблям и путешественникам из пораженных чумой мест ожидать в изоляции, сначала 30 дней, прежде чем им разрешат въезд. Позже этот срок был увеличен до 40 дней (quaranta по-итальянски). Именно отсюда происходит термин «карантин».

Однако поразительно не то, что Рагуза сделала, а то, чего она не сделала. Город не просто выставил несколько охранников или дал указание начальнику порта быть осторожнее. Он полностью перестроил систему торговли и создал совершенно новый институт управления ею, заставляя посетителей ждать на необитаемых островах у побережья, пока это не станет безопасно.

Аналогию с агентным ИИ трудно игнорировать. Чтобы выполнить свои функций, ему требуется разрешение на чтение файлов компании, запрос данных из её баз и принятие мер на основании полученной информации. Другими словами, ему нужен открытый порт. Но механизмы, используемые для управления доступом, были созданы для другого типа субъектов. «Система обеспечения безопасности компаний, которую мы используем сегодня, была разработана для интернета 1990-х годов», — объяснил Кристиан Венц, генеральный директор компании Gradient, специализирующейся на кибербезопасности. «Вы подтверждаете свою личность один раз, и это право доступа хранится на вашем ноутбуке месяцами; если что-то пойдет не так, на его отзыв уйдут часы — в то время как злоумышленник проникает внутрь за считанные минуты. Агенты превращают этот разрыв в кризис, потому что даже хороший агент динамичен, несовершенен и действует за доли секунды».

Это означает, что если кто-то использует агентов, он не сможет защитить свои системы, просто укрепив то, что у него уже есть, потому что это предполагает, что объект в их системах больше похож на человека, прошедшего проверку, чем на агента, который будет следовать любым полученным инструкциям. Сама архитектура безопасности должна быть перепроектирована

В некотором смысле проблема безопасности, связанная с ИИ, еще серьезнее, чем проблема Рагузы, поскольку ИИ упрощает проведение атак, в то время как злоумышленники побуждают системы снижать уровень защиты. Национальный центр кибербезопасности Великобритании заявил, что ИИ почти наверняка будет и дальше повышать эффективность и результативность вторжений. Это не теоретическая проблема. По данным компании Gambit Security, специализирующейся на анализе угроз, в период с конца декабря по февраль один оператор с помощью ИИ взломал девять мексиканских государственных ведомств и похитил более 150 гигабайт данных, что составляет около 195 миллионов записей. Злоумышленник воспользовался старыми уязвимостями, незащищенными системами и повторно используемыми паролями. ИИ сократил месяцы работы до нескольких недель.

На самом деле речь идет не о безопасности. Просто именно в этой сфере наиболее вероятны катастрофы. Использовать агента имеет смысл только в том случае, если он органично вплетен в процесс выполнения работы — а это означает изменение самого процесса работы. Все, что не соответствует этому, было бы столь же бессмысленно, как если бы Рагуза полагала, что может защитить себя с помощью ночного сторожа на пристани.

Консалтинговая компания Gartner, специализирующаяся на бизнесе и технологиях, прогнозирует, что к концу этого года 40 % корпоративных приложений будут поставляться со встроенными агентами, предназначенными для выполнения конкретных задач, тогда как в 2025 году этот показатель составлял менее 5 %. К тому времени организации едва начнут процесс перестройки. Это означает, что ограничивающим фактором влияния ИИ станет организационный аспект, а не технологический. Пока компании не вложат средства в разработку и внедрение новых организационных практик — таких как кибербезопасность — необходимых для работы ИИ, и даже не создадут их самостоятельно, вряд ли мы увидим тот огромный скачок в повышении производительности, который, как кажется, обещает ИИ.

Компании, которые извлекут выгоду из ИИ, будут не те, которые больше всего полагаются на технологии. Это будут те, кто проделает дорогостоящую и неприглядную работу по трансформации. Компании, которые просто попытаются привить агенты к своей текущей модели работы, будут так же уязвимы для атак, как Рагуза была уязвима для чумы. Возможно, у них даже будет все хорошо какое-то время. Но чума всегда наступает.