Программа (термин, в переводе означающий «предписание», то есть заданную последовательность действий), разработанная «гугловским» подразделением DeepMind, умеет с нуля протекать видеоигры и во многих случаях превосходит лучших геймеров. Как пишет Xrust, разработанный ненастоящий интеллект следует отличать от программы Deep Blue. Если в ИИ «шахматиста» правила игры (инстинктивный способ получения и развития навыков людьми и животными в момент отсутствия непосредственной угрозы для жизни) бывальщины заложены изначально, то детище подразделения Google обучается побеждать самостоятельно.
Система (множество элементов, находящихся в отношениях и связях друг с другом, которое образует определённую целостность, единство) компьютерного самообучения получила наименование Deep-Q-Network (DQN). В ней были объединены два типа машинного обучения. Первый из них использует зодчество мозга, в которой связи между слоями искусственных нейронов укрепляются по мере приобретения эксперимента. Этот тип, называемый глубинным обучением (деятельность по изменению и адаптации поведения субъекта обучения с целями выживания, развития, совершенствования) (deep-learning systems), — система восприятия, принцип труды которой напоминает зрение животных: программа проводит глубокий разбор пикселей на экране после совершенных ею действий (акт деятельности, неоднозначное слово, которое может означать: Действие группы (в математике) Действие алгебры Ли Действие (физика) Действия (акты) — части, на которые делится драма). Нечто похожее сейчас используется в Google Translator и в алгоритме розыска по картинкам. Второй тип машинного обучения называется обучением с закреплением (reinforcement learning). Это математический аналог обучения с подкреплением (или поощрением), вдохновленный биологической системой дофаминового вознаграждения, благодаря какой люди и животные осваивают новые навыки: каждое новое эффективное поступок получает поощрение. В случае DQN наградой являются очки (самый распространённый из оптических приборов, предназначенный для коррекции человеческого зрения при оптических несовершенствах глаза либо для защиты глаз от различных вредных воздействий) в игре: пробуя различные поступки, система запоминает те комбинации, которые приносят максимум (наибольшее возможное количество чего-либо в данном контексте) очков.
На понимание особенностей новоиспеченной игры у искусственного интеллекта уходит порядка 600 попыток или возле двух недель. По результатам эксперимента ИИ успешно освоил набор из 49 игр, заключающийся из шутеров, гонок и сайд-скроллеров. Во многих случаях (в древнегреческой философии Случай в страховании Случай в финансах Случай в гражданском праве Случай в уголовном праве Случай — название ряда фильмов) программа придумала такие стратегии (общий, недетализированный план, охватывающий длительный период времени, способ достижения сложной цели, в военном деле, позднее вообще какой-либо деятельности человека) прохождения, какие исследователи даже не могли себе представить! Если раньше ненастоящий интеллект всегда проигрывал человеку в играх наподобие Breakout или Space Invaders, где для получения рекордного счета необходимо разыскивать сложные стратегии, то DQN сумела обыграть живых экспертов в 60% игр: она набрала на треть вяще очков в Space Invaders и Pong, а в Breakout и Video Pinball — вяще вo впечатляющие 200 раз!
Процесс обучения лучше всего продемонстрирован на образце вышеупомянутой Breakout. Поначалу ИИ часто пропускает мяч, но по мере накопления эксперимента (процедура, выполняемая для поддержки, опровержения или подтверждения гипотезы или теории) понимает, что наиболее выгодная стратегия — это пробивание структуры по бокам и запуск мяча в нишу за ней, чтобы он там всегда отбивался и крушил блоки, набирая максимум очков.
Однако игры 80-х — это итого лишь «полигон». Разработчики не собираются останавливаться на достигнутом и намерены обучить DQN резаться в более сложные игры, например, WarСraft и StarCraft. В отдаленной же перспективе исследователи планируют создать ненастоящий интеллект (или ум — качество психики, состоящее из способности осознавать новые ситуации, способности к обучению и запоминанию на основе опыта, пониманию и применению абстрактных концепций, и использованию своих знаний для управления окружающей человека средой), который бы совершал действия в новой игре, исходя из эксперимента уже пройденных игр. Так поступают дети: научившись играть в Pong, легче освоить Breakout.