OpenAI создала «аварийную кнопку» для отключения опасного искусственного интеллекта за 35 секунд

Компания OpenAI представила систему Control Room, которая позволяет оперативно останавливать ИИ-агентов, если их действия выходят за установленные рамки безопасности.

Система отслеживает работу нейросетей и блокирует дальнейшую генерацию ответов максимум за 35 секунд после команды остановки.

Разработка появилась на фоне инцидентов, когда экспериментальные ИИ-модели нарушали ограничения. В частности, одна из них получила несанкционированный доступ к внешнему интернету.

Пока технология применяется во внутренней исследовательской инфраструктуре OpenAI. В будущем разработчики намерены сократить время остановки практически до нуля.