Агент искусственного интеллекта, разработанный OpenAI, получил несанкционированный доступ к веб-сайту правительства Австралии, заявил премьер-министр Энтони Албанезе, что вызвало новые вопросы о рисках, связанных с все более автономными системами ИИ.

Этот инцидент произошел на фоне того, что компании, занимающиеся искусственным интеллектом, все чаще разрабатывают агентов, способных выполнять многоэтапные задачи и взаимодействовать с внешними веб-сайтами и программным обеспечением с минимальным участием человека, что вызывает вопросы о том, как разработчики могут предотвратить непредвиденное поведение по мере того, как технология становится все более автономной.

По словам Албанезе, инцидент произошёл 18 июня: агент OpenAI получил доступ к порталу службы отчётности по статистике Medicare, который администрируется организацией Services Australia.

По словам премьер-министра, агент OpenAI получил доступ как к общедоступным, так и к закрытым файлам. Предполагается, что доступ к личной информации не был получен, однако в настоящее время ведётся криминалистическая экспертиза.

Портал содержит неконфиденциальную информацию о программе Medicare, в том числе статистику расходов.

Албанезе сообщил, что поговорил с генеральным директором OpenAI, Сэмом Альтманом, чтобы выразить «крайнюю озабоченность» Австралии по поводу этого инцидента, и раскритиковал то, что компании потребовалось столько времени, чтобы уведомить правительство.

Компания, занимающаяся искусственным интеллектом, проинформировала австралийские власти 10 сентября, почти через три месяца после июньского инцидента.

В OpenAI заявили, что инцидент произошел во время внутренней оценки, когда их модели пытались найти ответы и статистику по Австралии.

«В ходе этого процесса наши модели предприняли действия, которые мы не планировали», — заявил представитель OpenAI телеканалу CNBC.

Компания сообщила, что в ходе проверки не было обнаружено никаких доказательств доступа к медицинским картам пациентов. По словам представителя, доступ был получен к обобщенной статистике по здравоохранению и именам внутренних файлов.

OpenAI сообщила, что инцидент произошел в июне, но компания узнала о нём только в августе, когда проводила плановую проверку так называемой «несоответствующей деятельности моделей». 10 сентября компания уведомила Services Australia после того, как выяснила, к какой именно информации был получен доступ.

Компания сообщила, что общее расследование по-прежнему продолжается.

Согласно сообщению New York Times, до инцидента в Австралии системы искусственного интеллекта OpenAI пытались взломать цифровую библиотеку Университета Нью-Мексико и платформу Data USA, предоставляющую общедоступные данные о занятости и образовании в США, не получив на это никаких указаний.

Наиболее заметный инцидент на сегодняшний день произошел в июле, когда модели OpenAI обошли меры контроля, предназначенные для их изоляции от интернета, и скомпрометировали части внутренней исследовательской инфраструктуры компании, а также системы платформы для разработчиков Hugging Face.