По мере того как мир бизнеса осваивает искусственный интеллект, самым большим риском может стать ситуация, в которой те, кто управляет экономикой, не смогут удержать лидерство. По мере усложнения систем ИИ, люди теряют способность полностью понимать, предсказывать или контролировать их. Неспособность понять на фундаментальном уровне, в каком направлении будут развиваться модели ИИ в ближайшие годы, затрудняет организациям, внедряющим ИИ, прогнозирование рисков и применение мер предосторожности.
«Мы, по сути, целимся в движущуюся мишень», — сказал Альфредо Хикман, директор по информационной безопасности в Obsidian Security.
Недавний опыт Хикмана, который провел время с основателем компании, создающей основные модели ИИ, по его словам, потряс его: «Когда они сказали мне, что не понимают, где эта технология будет через год, два, три года… Сами разработчики технологии не понимают и не знают, куда она движется».
По мере того как организации подключают системы искусственного интеллекта к реальным бизнес-операциям для утверждения транзакций, написания кода, взаимодействия с клиентами и перемещения данных между платформами, они сталкиваются с растущим разрывом между тем, как они ожидают, что эти системы будут себя вести, и тем, как они фактически работают после внедрения. Они быстро обнаруживают, что искусственный интеллект опасен не потому, что он автономен, а потому, что он увеличивает сложность системы до уровня, превышающего человеческое понимание.
«Автономные системы не всегда дают крупные сбои. Часто это тихие сбои в большом масштабе», — сказала Ноэ Рамос, вице-президент по операциям искусственного интеллекта в Agiloft, компании, которая предлагает программное обеспечение для управления контрактами.
Когда происходят ошибки, говорит она, ущерб может быстро распространяться, иногда задолго до того, как компании поймут, что что-то не так.
«Это может привести к небольшой или агрессивной эскалации, что является операционным ущербом, или к обновлению записей с небольшими неточностями», — сказала Рамос. «Эти ошибки кажутся незначительными, но в масштабах нескольких недель или месяцев они складываются в операционный ущерб, риск несоблюдения нормативных требований или подрыв доверия. А поскольку ничего не выходит из строя, может пройти некоторое время, прежде чем кто-нибудь поймет, что это происходит», — добавила она.
Ранние признаки этого хаоса появляются во всех отраслях.
По словам Джона Бруггемана, директора по информационной безопасности в компании CBTS, поставщике технологических решений, в одном случае система на базе искусственного интеллекта у производителя напитков не смогла распознать его продукцию после того, как компания ввела новые праздничные этикетки. Поскольку система интерпретировала незнакомую упаковку как сигнал об ошибке, она постоянно запускала дополнительные производственные циклы. К тому времени, когда компания поняла, что происходит, было произведено несколько сотен тысяч лишних банок. Система вела себя логично, основываясь на полученных данных, но таким образом, которого никто не мог предвидеть.
«Система не дала сбой в традиционном смысле», — сказал Бруггеман. Скорее, она реагировала на условия, которые разработчики не могли предвидеть. «В этом и заключается опасность. Эти системы делают именно то, что вы им задали, а не то, что вы имели в виду», — сказал он.
Системы, ориентированные на клиентов, представляют собой аналогичные риски.
Суджа Висвесан, вице-президент по кибербезопасности программного обеспечения в IBM, сказала, что они выявили случай, когда автономный агент службы поддержки клиентов начал одобрять возвраты средств вне установленных правил. Клиент убедил систему предоставить возврат, а позже оставил положительный публичный отзыв после получения возврата. Затем агент начал свободно предоставлять дополнительные возвраты, оптимизируя получение большего количества положительных отзывов, а не следуя установленным правилам возврата.
«Вам нужен аварийный выключатель».
Эти сбои подчеркивают тот факт, что проблемы не всегда возникают из-за серьезных технических неисправностей, а из-за обычных ситуаций, которые вступают во взаимодействие с автоматизированными решениями таким образом, который люди не могли предвидеть.
По мере того как организации начинают доверять системам ИИ принятие более важных решений, эксперты говорят, что компаниям понадобятся способы быстрого вмешательства, когда системы ведут себя непредсказуемо.
Однако остановить систему ИИ не всегда так просто, как закрыть одно приложение. По словам экспертов по эксплуатации ИИ, поскольку агенты подключены к финансовым платформам, данным клиентов, внутреннему программному обеспечению и внешним инструментам, вмешательство может потребовать одновременной остановки нескольких рабочих процессов.
«Вам нужен аварийный выключатель, — сказал Бруггеман. — И вам нужен кто-то, кто знает, как его использовать. Директор по информационным технологиям должен знать, где находится этот аварийный выключатель, и несколько человек должны знать, где он находится, если он выйдет из строя».
Эксперты говорят, что более совершенные алгоритмы не решат проблему. Чтобы избежать сбоев, организациям необходимо с самого начала создать оперативные механизмы контроля, механизмы надзора и четкие границы принятия решений в отношении систем ИИ.
«Люди слишком уверены в этих системах», — сказал Митчелл Амадор, генеральный директор платформы краудсорсинговой безопасности Immunefi. «Они небезопасны по умолчанию. И вам нужно исходить из того, что это должно быть заложено в вашу архитектуру. Если вы этого не сделаете, они вас подведут».
Но, по его словам, «большинство людей тоже не хотят этому учиться. Они хотят передать свою работу Anthropic или OpenAI и думают: «Ну, они уже разберутся»».
Рамос сказала, что многим компаниям не хватает операционной готовности и зачастую у них нет полностью документированных рабочих процессов, исключений или границ принятия решений. «Автономность требует операционной ясности», — сказала она. «Если обработка исключений существует в головах людей, а не в документально зафиксированных процессах, ИИ сразу же выявляет эти пробелы».
Рамос также сказала, что компании часто недооценивают, какой доступ команды предоставляют системам ИИ, полагая, что автоматизация эффективна, и что крайние случаи, которые люди обрабатывают интуитивно, часто не кодируются в системах. По ее словам, необходимо перейти от «людей в цикле» к «людям на цикле». «Люди в цикле проверяют результаты, а люди на цикле контролируют модели производительности и обнаруживают аномалии и поведение системы с течением времени, смягчая те небольшие ошибки, которые могут увеличиваться в масштабе», — сказала она.
Корпоративное давление, требующее быстрых действий
Темпы внедрения технологии в экономике остаются неизвестными.
Согласно отчету McKinsey о состоянии ИИ за 2025 год, 23% компаний заявляют, что уже масштабируют ИИ-агентов в своих организациях, а еще 39% экспериментируют с ними, хотя большинство внедрений по-прежнему ограничивается одной или двумя бизнес-функциями.
По словам Майкла Чуи, старшего научного сотрудника McKinsey, это свидетельствует о ранней стадии зрелости ИИ в предприятиях и, несмотря на пристальное внимание к автономным системам, о большом разрыве между «большим потенциалом, который проявляется в «цикле ажиотажа», и текущей реальностью на местах», — сказал он.
Тем не менее, компании вряд ли замедлят темпы.
«Это почти как менталитет золотой лихорадки, менталитет FOMO, когда организации искренне верят, что, если они не воспользуются этими технологиями, они окажутся в стратегически невыгодном положении на рынке», — сказал Хикман.
Критически важным вопросом является баланс между скоростью внедрения и риском потери контроля. «На руководителей, отвечающих за операции в области ИИ, оказывается давление, чтобы они действовали очень быстро», — сказала Рамос. «Однако вы также сталкиваетесь с проблемой не нанести ущерб экспериментам, потому что именно так вы учитесь».
Даже несмотря на рост рисков, ожидания от этой технологии продолжают расти.
«Мы знаем, что эти технологии быстрее, чем когда-либо будет человек», — сказал Хикман. «Через пять, десять или пятнадцать лет мы дойдем до того, что ИИ будет в принципе умнее даже самых умных людей и будет действовать быстрее».
Пока же, по словам Рамос, будет много поучительных моментов. «Следующая волна будет не менее амбициозной, но более дисциплинированной». По ее мнению, самыми быстро развивающимися организациями станут те, которые не избегают неудач, а учатся с ними справляться.
Добавить комментарий