Стартап в области искусственного интеллекта Character.AI запретит детям общаться с чат-ботами на своей платформе, после растущего давления со стороны законодателей и серии судебных исков, утверждающих, что так называемые персонажи компании причиняют вред детям.

29 октября компания заявила, что к 25 ноября запретит пользователям младше 18 лет вести открытые диалоги с чат-ботами, которых они могут создавать и с которыми могут общаться. Персонажи варьируются от цифровых копий популярных героев видеоигр до пародий на знаменитостей, таких как миллиардер Илон Маск. Компания заявила, что до вступления запрета в силу ограничит время общения детей с чат-ботами; оно будет начинаться с двух часов в день и будет сокращаться в течение следующих недель.

Такие сервисы, как Character.AI, которые в США разрешены пользователям с 13 лет, пользуются популярностью у подростков. Согласно опросу некоммерческой организации Common Sense Media, более 70% подростков пользовались услугами ИИ-компаньонов. Несовершеннолетним пользователям Character.AI уже предлагают более ограниченную версию сервиса, которая использует другую модель ИИ и включает такие ограничения, как ограничение типов персонажей, к которым они могут получить доступ, и типов разговоров, которые они могут вести.

Регуляторы также занимаются этим вопросом. Федеральная торговая комиссия начала расследование в отношении таких компаний, как Character.AI, OpenAI, Google (Alphabet Inc.), Meta Platforms Inc., Snap Inc. и xAI , Илона Маска, в связи с потенциальным вредом, который их чат-боты могут представлять для детей. Калифорния недавно подписала закон, ограничивающий действия чат-ботов по отношению к пользователям. А новый двухпартийный законопроект, представленный Сенатом США 28 октября, запретит компаниям, работающим с искусственным интеллектом, предоставлять услуги чат-ботов несовершеннолетним.

Митали Джайн, исполнительный директор организации Tech Justice Law Project, представляющей интересы родителей в многочисленных судебных процессах против Character.AI, назвала решение запретить детям использовать чат-боты «хорошим первым шагом», хотя компании следовало бы сделать это ещё до первоначального выпуска своего программного обеспечения.

«Более того, эти изменения не затрагивают базовые особенности дизайна, которые способствуют возникновению этих эмоциональных зависимостей — не только у детей, но и у лиц старше 18 лет», — заявила Джайн. «Нам нужны более активные действия со стороны законодателей, регулирующих органов и обычных людей, которые, делясь историями о личном вреде, помогают бороться с утверждениями технологических компаний о том, что их продукты необходимы и полезны для всех».

В интервью 28 октября, генеральный директор Character.AI, Карандип Ананд, заявил, что компания видит будущее развлечений на основе ИИ гораздо больше, чем просто общение в чате, и решение запретить несовершеннолетним использовать ключевые функции — это то, что компания в конечном итоге приняла бы в любом случае.

«Думаю, учитывая, как быстро развивается индустрия, мы, как отрасль, узнаём, что существуют определённо неизвестные аспекты возможностей долгосрочных открытых чатов», — сказал Ананд. «Мы не знаем, хороши они или плохи. В сообществе, как в исследовательском, так и в пользовательском, ведётся много споров по этому поводу».

Ананд отметил, что компания продолжит предлагать детям, пользующимся сервисом, ряд функций, например, возможность создавать короткие видеоролики и истории, созданные с помощью искусственного интеллекта, с использованием чат-ботов Character.AI.

«Пользователи приходят в Character, потому что им нужна творческая реализация. Они хотят иметь возможность играть в ролевые игры», — сказал Ананд. «Если вы создали персонажей-вампиров или персонажей Хэллоуина, мы хотим продолжать взаимодействовать с ними, но мы считаем, что вместо того, чтобы делать это только с помощью чат-бота, есть и другие способы сделать это». В прошлом году Google наняла нескольких ключевых членов руководящей команды Character.AI и лицензировала свою технологию большой языковой модели в рамках сделки, которая оценила стартап в 2,5 миллиарда долларов. После сделки Character.AI продолжила независимое существование.