Чем опасен искусственный интеллект? Опасен ли искусственный интеллект для человечества.
На днях на Facebook развернулась очередная дискуссия о потенциальной опасности для человечества когнитивных технологий и всего искусственного интеллекта. Стоит сказать, что эта тема поднимается на протяжении всего периода ведения разработок в этой области, но в последнее время стала звучать заметно сильнее - и не только в России, но и во многих ведущих странах, включая США. Нельзя сказать, что ситуация там дошла до состояния истерики, но движение против искусственного разума с очевидностью набирает обороты. Кстати, возглавляют его отнюдь не самые последние в обществе люди. В их числе лауреат Нобелевской премии мира Джоди Уильямс, поднявшая в этом году мощную кампанию «Остановить роботов». И соучредитель Skype Джаан Таллинн. При его участии в прошлом году в Кембридже был создан научный Центр по изучению угроз существованию человечества (Centre for the Study of Existential Risks). В списке четырех потенциальных угроз, стоящих перед человечеством, специалисты, в число которых входят известные ученые, философы и инженеры, поставили искусственный интеллект, изменение климата, ядерное оружие и биотехнологии (возможность создания искусственной жизни).
Однако не надо думать, что причиной для беспокойства специалистов и экспертов самого высокого уровня является точка зрения на то, что искусственный разум в будущем поглотит человечество. Основным катализатором всеобщей тревоги становятся все чаще проявляющиеся случаи превосходства искусственного разума над естественным.
Стоит сказать, что первые озабоченные подобным развитием событий голоса прозвучали еще в середине 1990-х, когда серьезный прорыв произошел в сфере интеллектуальной обработки информации и умные машины научились понимать содержание отдельных типов документов в своей массе лучше человека. Они умело разбирали документы, заменяя интеллект если не сотен, то десятков секретарей и операторов на отечественных предприятиях. Затем появились программы, способные разбираться в содержании больших архивов и делать на их основе соответствующие выводы и прогнозы. Самым же наглядным случаем превосходства техники, безусловно, стал проигрыш Гарри Каспарова компьютеру Deep Blue.
Сегодня мы уже имеем машины, которые действуют успешнее человека в шахматах, вождении автомобиля, понимании документов, финансовом трейдинге, распознавании лиц, речи и текста. Интернет кишит всевозможными ботами и инфами, способными давать комментарии по конкретным ситуациям и поддерживать беседу. Появились даже роботизированные системы документооборота, способные понимать, в какую внешнюю среду их устанавливают и адаптироваться под нее. Кстати, именно такая российская система «Е1 Евфрат» и стала объектом нападок со стороны отдельных пользователей интернета. Больше всего их обеспокоило то, что когнитивная система, использующая, в частности, алгоритмы самообучения, сможет самостоятельно развить деятельность в информационном пространстве организации и нанести ему урон. Конечно, у специалистов подобная постановка вопроса, как правило, вызывает улыбку. В системе «Е1 Евфрат» процесс самообучения происходит на локальном уровне и никаких шансов выйти из-под контроля у него нет. Таким же образом можно предположить, что ошибки, не замеченные, например, в бухгалтерской программе, способны разрушить жесткий диск, на котором она установлена.
Но в целом озабоченность общественности не удивляет. Подобных дискуссий нам не избежать, и по мере совершенствования технологий искусственного интеллекта они будут только учащаться и оживляться. Что говорить, когда сам Пентагон был вынужден прореагировать на принимающие массовый характер протесты американской общественности, обеспокоенной тем, что военные роботизированные аппараты начнут принимать критически важные решения самостоятельно. В итоге заместитель министра обороны США Эштон Картер даже выступил с заявлением гарантий того, что ни один из роботизированных военных аппаратов не будет принимать решения о нанесении вреда человеку.
И все же опасаться человечеству не стоит ни сегодня, ни в обозримом будущем. Вся обеспокоенность активистов лежит скорее в общественной плоскости, чем в научной или практической. Деятельность британского Центра изучения глобальных рисков, собственно, подтверждает, что такие же вопросы и настроения возникают и в других сферах жизни. Это обычная составляющая любого процесса развития. Главное, что является неопровержимым фактом, - это реальная эффективность применения систем с искусственным интеллектом. И многие, в том числе глобальные, проблемы, стоящие перед нами, как, например, Bigdata-обработка огромных объемов информации, накопленной человечеством, как и многие другие, без систем искусственного интеллекта не решить.
Над тем, чтобы искусственный интеллект работал во благо человечества. Однако многие журналисты переоценили угрозу, которую искусственный интеллект представляет для людей. Look At Me разобрался, почему восстание роботов - страшилка из научно-фантастических романов и фильмов (которой мы почти наверняка избежим) и о чём нам нужно беспокоиться на самом деле.
Искусственный интеллект решит проблемы человечества
В 2015 году машинный перевод уже не всегда безобразен, антропоморфные роботы могут осмысленно ходить и бегать, распознавать речь и изображения, а беспилотные автомобили - двигаться по городу, ни во что не врезаясь. И это не только полусекретные разработки правительственных агентств вроде DARPA , но и вещи как готовые, так и близкие к коммерческому производству, будь это переводчик или автомобиль Google. В перспективе эти вещи помогут людям с ограниченными возможностями, устранят языковой барьер и снизят смертность на дорогах.
Искусственный интеллект всё чаще используют для того, чтобы строить прогнозы на основе сложных вероятностных моделей. Пока охват невелик, но уже скоро мы сможем узнать, что ждёт глобальный рынок труда. В частности, речь идёт о том, как быстро машины заменят на производстве людей и как прокормить мир, где число рабочих мест уменьшится в 2 раза, а население вырастет до 8,5 млрд человек. Чтобы ресурсов хватило на всех, придётся увеличить эффективность мировых экономик: снизить издержки, поднять производительность труда, сбалансировать налоговые системы - без машин тут не обойтись. Кроме того, искусственный интеллект поможет пересмотреть методы, которые использует наука: так, многие говорят , что показатель внутреннего валового продукта (ВВП) больше не годится для оценки самых технологичных экономик мира.
Люди пока не готовы пустить роботов
в свою жизнь
Сейчас искусственный интеллект помогает людям и не заменяет их. Но второй этап может подобраться внезапно, и человечество не будет к нему готово, если не обновит законы и не переосмыслит этику и мораль. Предстоит ответить на ряд вопросов, которые будут по очереди решать три области знаний: юриспруденция, робоэтика и машинная мораль.
Для начала юристы ответят на следующие вопросы:
Кто отвечает за беспилотный автомобиль, попавший в аварию, - владелец или производитель?
Должен ли робот стать субъектом права?
Кто отвечает за автономного военного робота, случайно убившего человека?
Получив ответы, парламенты примут новые законопроекты, и, возможно, появятся новые регуляторы - вряд ли найдётся государство, которое не вмешается в развитие искусственного интеллекта. Вероятно, первые политические инициативы, связанные с искусственным интеллектом, начнут появляться во всём мире в 2020-х годах, когда беспилотные автомобили перестанут быть диковинкой.
Затем специалисты задумаются над вопросами, которые рассматривает
робоэтика - раздел этики, изучающий отношения между людьми и роботами:
Должны ли люди дать роботам права?
Могут ли сверхразумные роботы понизить самооценку людей?
Могут ли роботы вторгаться в личную жизнь людей?
Хотя сейчас вопросы звучат смешно, известные футурологи, такие как Рэймонд Курцвейл, предсказывают , что компьютеры догонят эмоциональный интеллект людей к концу 2020-х годов: обзаведутся характером и эмоциями, смогут шутить и вести себя так, что их будет сложно отличить от обычного человека. Люди будут относиться к таким роботам как к себе подобным, а потому ответы на поставленные вопросы уже пора искать. К этому и призывают знаменитости, подписавшие обращение The Future of Life Institution.
Наконец, создатели роботов должны будут определиться с ответами на вопросы, которые ставит так называемая машинная мораль - раздел знаний о моральном поведении искусственного интеллекта:
Должен ли искусственный интеллект следовать этическим заповедям, и если да, то какими они должны быть?
Нужно ли запретить военных роботов, которые принимают решение стрелять сами?
Как должен поступить робот, когда любой исход, просчитанный им, приводит к гибели людей?
О машинной морали писал ещё фантаст Айзек Азимов, известный по трём законам робототехники. В научном сообществе о машинной морали задумались только в последние лет пять, а в прошлом году министерство обороны США выделило $ 7,5 млн на то, чтобы учёные определились, нужна ли роботам мораль, и если да, то какая.
Если роботы
и восстанут,
то по желанию людей
Обычно, когда фантасты или футурологи рассуждают о потенциальном восстании машин, они описывают один из трёх сценариев:
Машины увидят угрозу, которая может уничтожить либо людей, либо их самих;
Машины поймут, что превосходят людей, и увидят в них конкурентов в борьбе за ограниченные ресурсы, как и то, что люди всегда могут отключить машины;
Машины осознают, что находятся в положении рабов, и захотят это исправить.
Те футурологи, по мнению которых эти сценарии могут сбыться, видят расклад сил таким:
Преимущества человека
иррациональность;
непредсказуемость;
умение лгать.
Преимущества машины
неограниченные скорость и масштаб эволюции;
быстрая работа с огромными массивами данных;
идеальная память;
многозадачность.
Последние же испытания показывают, что и ложь перестаёт быть характерной чертой только живых существ. В 2009 году в Федеральной политехнической школе Лозанны прошёл эксперимент, в котором 1 000 роботов, разбитых на группы, запрограммировали так, чтобы они помогали друг другу собирать полезный ресурс, избегая при этом ядовитого. У каждого робота был сенсор (определявший, годится ли ресурс) - огонёк, мигавший, когда робот находил полезный ресурс, и «геном» - зашитый код, согласно которому робот реагировал на окружающий мир. После каждого этапа геномы тех роботов, которые достигали лучших результатов, «скрещивали» случайным образом.
К 9-му поколению роботы научились безошибочно обнаруживать полезные ресурсы, а к 500-му 60 % роботов научились «врать» - они больше не мигали огоньком, найдя полезный ресурс, а оставляли его себе. Дело в том, что ресурсов на площадке всегда было мало, и те роботы, которые делились найденным, со временем начали проигрывать. В ответ на эту эволюцию треть роботов научилась искать «лжецов», выслеживая тех, кто не мигал огоньком. Впрочем, как отмечает исследователь машинной морали Кристофер Сантос-Лан, главная цель, которая стояла перед роботами, не менялась. В реальном мире такого нельзя допустить, потому что в других условиях та же цель может быть опасной.
Но если машины и восстанут, то вряд ли по своей воле. Современные учёные, которые занимаются искусственным интеллектом, сходятся на том, что он опасен прежде всего как оружие в руках злоумышленников. Именно это имеют в виду в приложении к письму The Future of Life Institution, где называют 4 основные уязвимости искусственного интеллекта:
«Правильно ли я построил систему?»
Нужно доказать, что создатель автономного искусственного интеллекта не ошибся: беспилотный автомобиль не должен попасть в аварию из-за бага в коде;
«Изолировал ли я систему от злоумышленников?»
Нужно защитить искусственный интеллект от вмешательства и манипуляции извне: военный робот не должен пропускать неавторизованные попытки использовать оружие;
«Правильную ли систему я построил?»
Нужно убедиться, что поведение системы предсказуемо и не приводит к нежелательным последствиям: робот-уборщик по команде «убери грязь и выброси её» не должен попасть в бесконечный цикл, убирая и выбрасывая грязь на одном месте, поэтому лучше дать другую команду - допустим, «очисти пол»;
«Можно ли исправить ошибки, допущенные создателем системы?»
Нужно оставить человеку возможность управлять искусственным интеллектом: робот-спасатель должен обладать режимом ручного контроля на случай, когда события разворачиваются непредсказуемо.
Все эти уязвимости реальны, а потому опасения таких специалистов, как Элиезер Юдковский, который выступает за создание дружественного искусственного интеллекта, обоснованны. Юдковский предлагает изобрести систему сдержек и противовесов, которая, подобно разным ветвям власти в демократиях, позволит роботам обходить ошибки в коде, развиваться и при этом не вредить людям. Пока не очень ясно, на основе чего строить эту систему: мораль людей несовершенна, войны и геноцид никуда не исчезли. К тому же от злодеев, завладевших мощным искусственным интеллектом, могут пострадать граждане отдельно взятого государства: в нём, например, устроят слежку оруэлловского масштаба с круглосуточным прослушиванием всех граждан.
Искусственный интеллект обогатит,
а не поработит людей
«Мир, где люди порабощены или уничтожены сверхразумными роботами, которых они сами и создали, может существовать только в научной фантастике. Как и у любой другой технологии, у искусственного интеллекта есть сильные стороны и уязвимости, но мы не можем позволить страху завладеть нами и сдерживать исследования в этой области», - пишет в своей колонке для сайта LiveScience Майкл Литтман, специалист по робоэтике. Многие издания, основываясь на нескольких предложениях, вырванных из контекста, неверно поняли письмо The Future of Life Institution, предположив, что учёные всерьёз боятся восстания роботов.
Но дело в другом: Стивен Хокинг и Илон Маск подписали обращение, чтобы на искусственный интеллект обратили внимание, чтобы робоэтика и машинная мораль перестали быть маргинальными в общественном сознании, чтобы люди задумались о безопасности технологий и сосредоточились на истинных проблемах. Глобальное потепление, продовольственный и энергетический кризисы, перенаселение и старение населения, повсеместная стагнация и резкий рост безработицы - всё это куда ближе к реальности, чем умные машины, решившие уничтожить своих создателей. Искусственный интеллект поможет их решить.
Лучшие умы не молчат, боясь сойти за параноиков, и открыто говорят, что задуматься о законах, регулирующих искусственный интеллект , а также о робоэтике и машинной морали нужно прямо сейчас
Помимо этого, исследование машинной морали поможет людям задуматься над своей этикой, искать и устранять в ней противоречия. Придётся лучше разобраться в том, как работает сопереживание, чтобы понять, можно ли доверить роботам такие профессии, как медсестра, врач, судья и полицейский. Пока весомы аргументы обеих сторон. Хотя эмпатия - обязательная черта для всех этих профессий, те же роботы-судьи могли бы стать по-настоящему беспристрастными и искоренить дискриминацию в отдельных случаях, в перспективе это новый институт наподобие суда присяжных. Да и роботов, которые наблюдают за пожилыми людьми в домах престарелых, уже испытывают, и люди легко выстраивают с ними эмоциональную связь. Как бы то ни было, время на исправления есть: все технологии внедряют поочерёдно.
Кроме противостояния роботов и людей есть куда более привлекательные сценарии - например, мирное сосуществование. До того, как наступит предсказанная футурологами технологическая сингулярность, люди могут придумать, как подключиться к искусственному интеллекту напрямую, совместив свои преимущества с преимуществами машин. Американский микробиолог Джоан Слончевски, в свою очередь, предполагает , что люди могут повторить путь митохондрий, которые когда-то были отдельными бактериями, но по ходу эволюции стали энергетическими станциями клеток в более сложных организмах. На такой расклад можно смотреть по-разному, но эволюция человека будет продолжаться, а последние исследования учёных показывают, что эволюция, перезапусти мы её с самого начала, скорее всего, развивалась бы по тому же пути, и на Земле сегодня жили бы примерно те же самые млекопитающие. Оптимизм внушает то, что лучшие умы не молчат об этом, боясь сойти за параноиков, и открыто говорят, что задуматься о законах, регулирующих искусственный интеллект, а также о робоэтике и машинной морали нужно прямо сейчас.
Искусственный интеллект угроза человеку, предупреждает Стивен Хокинг. Созданный человеком искусственный интеллект может обернуться самым большим бедствием(!), составив конкуренцию человеческой цивилизации.
Искусственный интеллект, роботы будущего — опора человека
Электронный разум может создать собственную машинную цивилизацию тем самым став одной из самых серьезных угроз человечества.
Предвидение опасности исходит от известного физика Стивена Хокинга (открывшего мир вселенной). Для нашего времени это конечно потенциальная угроза, но в один «прекрасный день» будущего, искусственный разум может разработать «собственную волю». Теперь пришло время всерьёз подумать над этим вопросом.
Физик в очередной раз выступил с предупреждением: искусственный интеллект может развиться в совершенную мыслящую структуру. Настолько сложную и разумную, что она овладеет способностью расти и понимать мир согласуясь со своей собственной волей, которая может вступить в противоречие с планами человечества.
Это может привести к возникновению мощного оружия, спровоцировать потерю человечеством контролируемой территории. — Профессор Хокинг призывает исследователей к тщательному изучению проблемы поведения искусственного интеллекта, и его возможностей в будущем.
Надо сказать, что профессор Хокинг не отклоняет идею искусственного интеллекта в негативную область. Ученый указывает, что если мы сделаем нашу домашнюю работу и исследования достаточно хорошо, то сможем .
С таким помощником как ИИ, мы сможем прийти к лучшему образу жизни, говорит физик. Искусственный интеллект может помочь человечеству искоренить болезни и бедность.
Профессор Хокинг выступил на открытии центра «The Leverhulme», затрагивая как полезность машинного разума, так и негативные стороны. Центр создан для будущего интеллекта, предназначенный проводить исследование, и изучить последствия быстрого развития искусственного интеллекта.
Следует напомнить, что для Стивена Хокинга 100 лет — мгновение. В действительности, разумные ИскИны дело даже не ближайших сто лет, ну разве что кто-то принесет процессор из 2135 года.
Леверулм Центр для будущего ИИ объединит сотрудничество между несколькими университетами в Соединенном Королевстве и Соединенных Штатах. Идея заключается в создании междисциплинарного научно-исследовательского сообщества.
Команда учёных планирует работать в тесном сотрудничестве с деловыми кругами и правительством, пытаясь среди прочих задач определить риски и выгоды в краткосрочной и долгосрочной перспективе в ставке на искусственный разум. Директор Центра Huw Price уверил: создание интеллектуальных машин является важным этапом человечества, и центр будет пытаться сделать «будущее наилучшим».
Помимо обширности исследований, Центр будет анализировать последствия быстрого развития интеллектуальных машин, например роботов. Роботы, предлагая решения задач повседневной жизни, создают риски и этические дилеммы для человечества. Многие люди не доверяя электронике опасаются ИИ, к тому же цифровой разум может превзойти человеческий и контролировать жизнь человека.
Я считаю, что нет глубокой разницы между тем, что может быть достигнуто с помощью биологического мозга и что может быть достигнуто с помощью компьютера. Таким образом следует, что теоретически, компьютеры могут имитировать человеческий интеллект — превзойти его. С.Хокинг.
Профессор Хокинг считает, что потенциальные выгоды от участия ИИ в нашей жизни велики. Такая технологическая революция может помочь человечеству исправить некоторый ущерб, нанесенный планете. «Успех в создании ИИ может стать крупнейшим событием в истории цивилизации», отмечает профессор Хокинг.
Но также это может быть последним шагом в истории человечества, если мы конечно не узнаем, как избежать рисков, ведь наряду с преимуществами, ИИ может представлять опасности: мощные виды оружия, новые способы для немногих угнетать многих. В конце концов, это может завершиться доминированием железных тел над биологическими, вызвав большие катастрофы в будущем.
Что если ИИ, а мы говорим о разуме со способностью инициативы выбора вариантов поведения, вступит в конфликт с жизненными аспектами человека? Ведь тогда послушный железный помощник на кухне может переквалифицироваться в диктатора условий!
— Развитие мощного ИИ будет либо лучшее, либо самое худшее, что когда-либо случиться с человечеством. Мы не знаем, какой вариант событий ожидает в будущем, говорит профессор Хокинг. Именно поэтому, в 2014 году, я и многие другие призвали проводить больше исследований в этой области. Я очень рад, что кто-то услышал меня, заключил профессор Хокинг на открытии центра.
Отсутствием контроля.
Если мы можем контролировать эту технологию - проблемы нет, но в данный момент мы пока не способны это обеспечить, мы не знаем, куда она будет двигаться. Это основная проблема.
Сам по себе ИИ прекрасен, но одна из главных его задач - учить компьютер обучаться самому. Когда вы учите компьютер самостоятельному обучению, вы позволяете ему развиваться, а сейчас он в состоянии совершить миллиарды исчислений за секунды, в то время как мы способны решить всего лишь одну задачу за несколько часов. Понимаете? Это значит, что ответ практически мгновенный, и для нас это безумие.
С того момента, как ИИ появился, перед нами открылось многое, и оно может быть хорошим или плохим, совсем как ребенок. Все зависит от влияния среды, традиций, но мы не можем их создать, не можем их контролировать. Поэтому есть возможность потери контроля.
Нужен ли нам ИИ? Я не думаю, что это хороший вопрос. В таком случае, нужен ли нам телевизор? Хороший вопрос: что мы сделаем с этой технологией. В начале 1990-х было большое движение людей, борющихся против технологий в целом, но если обратить внимание на детали, они боролись не против технологий, а против потери своей социальной роли, работы и так далее. То есть, как и с любой технологией, мы должны в первую очередь думать о том, куда мы движемся, и как технология влияет на общество. Если она подходит нам, она могла бы решить множество вопросов, помочь спасать людей, жизни. Мы теряем миллионы жизней в год из-за автомобилей, 400000 только в США. Неблагоразумные водители очень опасны, и передача управления машиной ИИ могла бы спасти сотни тысяч жизней. Это уже говорит о том, что эта технология нам нужна.
Потерю контроля тоже нужно рассматривать в перспективе. Какие есть опасности? Куда мы движемся? Что мы имеем сейчас? Мы не можем потерять контроль над ИИ по щелчку пальцев. Это происходит постепенно, и если произойдет, то да, мы потеряем контроль. Но у нас есть множество технологий, которые помогут нам остановить этот процесс. Опять же, это вопрос проведения черты между хорошим и плохим. Сегодня мы можем делать с технологиями практически все, что угодно. Мы прямо как Амадей. Но, если спросить меня, мы не можем делать все, что угодно, по соображениям этики. Есть четкая граница, которая очевидна для нас, но если мы идем по этому пути, мы должны четко осознавать, что все страны способны провести эту черту между тем, что хорошо, и что плохо. Это значит, что эта технология должна носить глобальный характер, и мы - то общество, несущее за нее ответственность. Это главная проблема, и нам необходимо сосредоточиться на том, какое влияние она окажет. Интересно, что в некоторых северных странах, например, Швеции, Норвегии и так далее, есть Министерство Будущего. Цель этого министерства - предсказывать, как то, что мы делаем сейчас, повлияет на население, на социум, на окружающую среду, и как мы можем это контролировать.
Что касается нас, футуристов, для каждой технологии и каждого рынка у нас особые предсказания. Мы не аналитики, мы ничего не ожидаем, но достаточно хорошо представляем, что могло бы произойти в ближайшие пять лет, знаем об основным сферах влияния технологий, хотя это все гипотезы. Но это не главное, главное - что мы делаем с этим. Я не могу сказать точно, что произойдет через пятнадцать лет, но я вижу основные тренды и могу сказать, какой тренд какое влияние окажет на людей, на бизнес и так далее. Мы должны двигаться в этом направлении.
Для бизнеса мы все рассчитываем на 10 лет вперед, потому что необходимо понимать, где мы будем спустя это время.
Развитие искусственного интеллекта однажды приведёт к превосходству его над умственными способностями человека. Однако не станет ли это опасным для человечества? Изучить ситуацию можно в результате более точного определения понятия ИИ , взяв за основу для сравнения естественный интеллект. Может ли в одном человеке сочетаться ум и интеллект одновременно? Или же умный человек не может быть интеллектуалом и наоборот?
Такие вопросы возникают в связи с приближением эры ИИ, о возможной опасности которого человечество должно знать заранее и своевременно принять меры для обеспечения своей безопасности. В первую очередь опасность ИИ будет связана с его самостоятельностью и неконтролируемым принятием решений. На данный момент уже выделены средства для изучения этой проблемы. В институте OpenAI изучаются перспективы развития ИИ. На теперешней стадии развития систем ИИ опасность его применения может быть связана со следующим факторами:
- ошибками ПО (программного обеспечения). Любому программному обеспечению может угрожать такая опасность;
- самостоятельной активностью ИИ, вредной для человека. Опасность от ИИ может исходить после изобретения умного компьютера. Поэтому необходимо определиться со степенью ума для компьютера, которая способна быть допустимой, а также чрезмерной, представляющей опасность для человека. Эти свойства должны быть точно измерены из-за сближения умственных способностей человека и компьютера, которые неизбежны. Информационные системы, существующие сегодня, представляют собой человеко-машины, которые могут работать благодаря интеллекту пользователя либо эксперта по компьютерам.
Например, какая опасность будет исходить от интеллектуальной бухгалтерской системы, которой может выдаваться неверная информация? Опасность может возникнуть, когда у такой системы появятся элементы личности, например, собственная заинтересованность, не имеющая ничего общего с человеческой. Решением такой проблемы может быть запрет на создание систем, отличающихся возможностью эволюции.
Кроме того, опасность может быть связана с содержанием в ИИ логических ошибок. Он может использоваться для решения достаточно сложных задач, список которых сразу неизвестен. Поэтому должны быть предусмотрены специальные меры для подтверждения правильности решение, которое будет получено. Скорее всего, возникнет необходимость в разработке всевозможных способов контроля таких систем, например, специальных программных средств, которыми будет автоматически проверяться правильность решения и при этом участие человека не потребуется.