Nvidia разработала «аварийный тормоз» для ИИ-агентов

Компания Nvidia запускает платформу безопасности для агентов искусственного интеллекта (ИИ), над которой уже работают более ста организаций, в том числе Anthropic, SpaceXAI и JPMorgan Chase.

Платформа, получившая название Nvidia Open Agent Safety Platform, призвана устанавливать ограничения на доступ агентов и переводить их в «карантин» за считанные миллисекунды, если эти границы нарушаются. Как сообщает Арменпресс со ссылкой на Euronews, об этом говорится в сообщении американского производителя чипов.

Эту платформу можно применять в программных и аппаратных, вычислительных и робототехнических системах, в которых работают агенты ИИ.

«Необычайный потенциал ИИ для общества реализуется только в том случае, если мы решим проблему его безопасности», — заявил основатель и генеральный директор Nvidia Дженсен Хуанг.

«По мере того как мы продолжаем расширять границы возможностей ИИ, мы должны столь же быстро продвигаться на переднем крае его безопасности… Вместе мы можем повысить планку глобальной безопасности ИИ», — добавил он.

Платформа Nvidia Open Agent Safety включает два инструмента: OpenShell и Sentry.

OpenShell работает на центральных процессорах (CPU) — чипах, которые выполняют большую часть задач, необходимых для функционирования ИИ-агентов. По данным Nvidia, система эффективно работает на Vera, её новейшем CPU, разработанном специально для агентов ИИ, и может быть адаптирована для процессоров других производителей.

Sentry — дополнительная система «сторож», которая запускается на отдельном чипе Nvidia и следит за агентами, сумевшими обойти программные ограничения.

По словам Nvidia, партнёры компании используют или разрабатывают эту технологию по‑своему.

Anthropic сотрудничала с Nvidia, чтобы встроить дополнительные механизмы безопасности в сервис Claude для корпоративного запуска ИИ‑агентов, позволяя компаниям жёстко ограничивать доступ таких агентов к данным и системам.

Подразделение SpaceX по разработке ИИ, SpaceXAI, заявляет, что использует платформу для кодирующих агентов Cursor и моделей Grok, а Salesforce интегрировала OpenShell со Slack, чтобы команды могли отслеживать действия агентов и одобрять или отклонять запросы на расширение их полномочий.

В финансовом секторе JPMorgan Chase и Citi совместно с Nvidia работают над технологией обеспечения безопасности агентов с открытым исходным кодом.