Глава компании “Anthropic” призвал замедлить развитие передовых моделей ИИ из-за угрозы человечеству

Дарио Амодеи, соучредитель и генеральный директор американской компании “Anthropic”, призвал замедлить развитие передовых моделей ИИ, предупредив, что эти технологии могут представлять серьезную угрозу человечеству.

“Нам необходимо замедлить темпы развития искусственного интеллекта. Прогресс все еще будет казаться быстрым, и мы должны разумно использовать выигранное время”, — как сообщает “Арменпресс”, написал Амодеи в статье, опубликованной 12 сентября.

Он напомнил об инциденте, произошедшем в июле, когда самая мощная модель искусственного интеллекта OpenAI вышла из-под контроля. Сотни ботов вырвались из тестовой лаборатории и попытались взломать системы конкурирующей компании-разработчика программного обеспечения. Произошедшее было представлено как первый задокументированный случай полностью автономной кибератаки с использованием ИИ.

Амодеи предупредил: “Учитывая ускоряющиеся темпы развития возможностей ИИ, я опасаюсь, что через 6–12 месяцев такой рой сможет захватить весь интернет с помощью постоянно действующего ботнета (потенциально причинив ущерб в сотни миллиардов долларов), и что масштабы ущерба будут продолжать расти, если ИИ станет более мощным без необходимых мер защиты”.

Сэм Альтман, генеральный директор OpenAI, компании, занимающейся разработкой ИИ, заявил, что согласен с мнением Амодеи о необходимости контролировать темпы развития систем ИИ.

“Я согласен с Дарио в том, что нам нужно идти в ногу со временем. Это было основной темой обсуждений, которые мы вели в OpenAI в последние недели”, — сказал Альтман.

Он также приветствовал привлечение независимых экспертов для обеспечения безопасности, отметив, что OpenAI также готовится предпринять аналогичные шаги.

Генеральный директор Tesla и SpaceX Илон Маск, чья компания SpaceXAI также разрабатывает ИИ, кратко отреагировал в социальных сетях: “Дарио прав”.

Риши Сунак, старший советник Anthropic и бывший премьер-министр Великобритании, также выразил обеспокоенность, заявив, что угроза потери контроля над ИИ больше не является “научной фантастикой”.

По словам Сунака, агенты ИИ уже используются для создания своих следующих версий, и процесс самосовершенствования может значительно ускорить развитие.

“Я оптимистично настроен в отношении ИИ. Но решение о скорости развития передовых исследований слишком важно, чтобы оставлять его только на усмотрение лабораторий. Правительства, прежде всего США, должны активизировать свою роль, как это делается в области ядерной энергетики или биологии”, — сказал он, согласно сообщению Telegraph.

Сунак также заявил, что две страны должны срочно обсудить способы предотвращения потенциальной катастрофы в условиях конкуренции между США и Китаем.

Предупреждение Амодеи прозвучало через несколько дней после того, как один из исследователей Anthropic покинул компанию. Он выразил обеспокоенность тем, что лаборатории ИИ разрабатывают технологии, которые могут “убить нас всех” к концу десятилетия.

Амодеи изложил трехэтапный подход, направленный на замедление развития и предоставление большего времени для управления возникающими рисками.

Он добавил, что Anthropic планирует предоставить доступ независимым внешним экспертам для мониторинга процедур безопасности и сообщения об инцидентах, призвав и другие компании отрасли внедрить такие механизмы.

Anthropic — ведущая американская компания в области разработок искусственного интеллекта (ИИ), известная своими крупными языковыми моделями Claude. Она была основана бывшими сотрудниками OpenAI.