Специалисты OpenAI пишут: «Суперинтеллект будет более мощным, чем любые другие технологии, с которыми человечеству приходилось когда-либо сталкиваться. Чтобы наше будущее было процветающим, нам необходимо управлять рисками. Ядерная энергия — исторический пример технологии с такими рисками, синтетическая биология — другой пример. Мы должны оценивать и снижать риски и по отношению к сегодняшним технологиям ИИ, но суперинтеллект потребует особого отношения»

Первое. Нам необходима координация между развитием суперинтеллекта и безопасностью человечества. Это можно реализовать разными способами: правительства крупнейших стран мира могут создать проект, частью которого станут текущие разработки ИИ. А темпы роста возможностей ИИ специально ограничить (что и предлагается в письме Илона Маска и экспертов).

Второе: Необходим аналог МАГАТЭ (агентство по ядерной энергетике при ООН). Любые усилия по созданию суперинтеллекта, превышающие определенный порог возможностей (или ресурсов, например, вычислительных), должны регулироваться международным органом, который может инспектировать системы, требовать аудит, проверять соответствие стандартам безопасности и т. д. Мы действительно может контролировать использования вычислений и энергии, так что сама идея такого контроля вполне осуществима.