Ученые создадут "красную кнопку", предназначенную для отключения искусственного интеллекта

Исследователи из Оксфордского университета и принадлежащей Google компании DeepMind, приступили к разработке системы аварийного отключения самообучающихся алгоритмов. "Если такой агент [искусственный интеллект] работает в режиме реального времени под наблюдением человека, то иногда может возникнуть ситуация, при которой оператор будет вынужден нажать на большую красную кнопку, чтобы остановить агента от выполнения действий, опасных для самого агента или его окружения", - приводит N+1 цитату из статьи , посвященной созданию аварийной системы. Авторы исследования отмечают, что самообучающиеся алгоритмы в перспективе могут со обнаружить способ обхода или игнорирования штатной стоп-команды оператора. Цель анонсированной работы состоит в том, чтобы создать фреймворк, который не позволит искусственному интеллекту найти способ игнорирования команды отключения. Так называемая "большая красная кнопка" при необходимости должна будет гарантированно прервать текущую деятельность робота и максимально обезопасить его и окружающих при потенциально опасной ситуации. Еще одно предназначение кнопки заключается в предотвращении действий, которые могут привести к "необратимым последствиям". Отметим, что возможный выход искусственного интеллекта из под контроля не раз ложился в основу сюжета фантастических книг и фильмов. Кроме того, вопросы безопасности, связанные с разработкой систем ИИ, поднимали известные ученые и предприниматели. Например, о потенциальной опасности ИИ предупреждали основатель компаний Tesla и SpaceX Элон Маск и известный физик-теоретик Стивен Хокинг. Ссылка на источник