Э.Юдковский
Искусственный интеллект как позитивный и негативный фактор глобального риска.
Eliezer Yudkowsky
Artificial Intelligence as a Positive and Negative Factor in Global Risk
Выходит в 2007 году в сборнике Риски глобальной катастрофы под редакцией Ника Бострома и Милана Цирковича, Оксфорд.
Перевод: Алексей Валерьевич Турчин. (avturchin@mail.ru)
Разрешено некоммерческое использование перевода.
Док файл с форматированием:
www.avturchin.narod.ru/ai.doc
Текстовая версия:
http://www.proza.ru/texts/2007/03/22-285.html Оригинал:
http://www.singinst.org/reading/corereading Forthcoming in Global Catastrophic Risks, eds. Nick Bostrom and Milan Cirkovic
Draft of August 31, 2006
Eliezer Yudkowsky
(yudkowsky@singinst.org)
Singularity Institute for Artificial Intelligence
Palo Alto, CA
Введение. (1)
До сих пор основной опасностью искусственного интеллекта (ИИ) было то, что люди слишком рано делали вывод, что они его понимают. Разумеется, эта проблема не ограничена ИИ. Jacques Monod пишет: «забавным аспектом теории эволюции является то, что каждый думает, что понимает её». (Monod, 1974.) Мой отец, физик, жаловался на людей, придумывавших свои собственные физические теории: «интересно знать, почему люди не придумывают свои собственные теории химии?» (Но они делают.) Тем не менее, проблема является особенно актуальной в области ИИ. Область ИИ имеет репутацию того, что она даёт огромные обещания и не исполняет их. Большинство наблюдателей считают, что ИИ труден, и это на самом деле так. Но запутанность не происходит из трудности. Трудно сделать звезду из водорода, но звездная астрофизика не имеет ужасающей репутации обещать сделать звезду и затем не смочь. Критическим выводом является не то, что ИИ труден, а то, что, по неким причинам, людям очень легко думать, что они знают об Искусственном Интеллекте гораздо больше, чем на самом деле.
В моей другой статье о рисках глобальной катастрофы «Систематические ошибки мышления, потенциально влияющие на суждения о глобальных рисках», я начинаю с замечания, что немногие люди предпочли бы нарочно уничтожить мир; сценарий же уничтожения Земли по ошибке кажется мне очень беспокоящим. Немногие люди нажмут кнопку, которая, как они точно знают, вызовет глобальную катастрофу. Но если люди склонны быть абсолютно уверены, что кнопка делает нечто, совершенно отличное от её реального действия, это действительно причина для тревоги.
далее по ссылкам:
Док файл с форматированием:
www.avturchin.narod.ru/ai.doc
Текстовая версия:
http://www.proza.ru/texts/2007/03/22-285.html 
- участник сейчас на форуме