Команда AI-ботов, играющих в Dota 2, побеждает профессионалов - и теперь они стремятся к большему • Eurogamer.net

5 августа пять опытных игроков Dota 2 сразились, чтобы сыграть против команды ботов, созданной некоммерческой исследовательской лабораторией OpenAI. Они проиграли решительно. Через несколько дней та же самая команда ботов, возможно, с преимуществом еще нескольких недель тренировок, появится на сцене крупнейшего турнира в Dota 2 - International - и сыграет против команды лучших профессиональных игроков мира. , Победа там будет огромной победой, вехой как для ИИ, так и для игровой индустрии, и, увидев производительность ботов в начале этого месяца, это кажется наиболее вероятным результатом. Вы можете быть прощены за ощущение, что это был конец эры игрового ИИ, каким мы его знаем.

Все это тоже кажется немного неожиданным. На прошлогоднем Международном турнире OpenAI было неожиданно появиться, чтобы продемонстрировать своего бота, который мог играть в 1 на 1 Mid - более простой пользовательский режим для двух игроков - и побеждать лучших профессионалов. Это был впечатляющий показ, но он также чувствовал, что ИИ, естественно, был бы хорош в этом. Это было просто, коротко, с очень ясными целями и большим акцентом на время реакции. Все указали на то, что настоящей проблемой будет полная игра.

OpenAI одержал решающую победу над 99,95-м процентилем.

Боты OpenAI еще не играют в полную версию, но менее чем через 12 месяцев они на удивление близки, гораздо ближе, чем я, или многие из моих сверстников догадались бы, что они будут на этот раз в прошлом году. С отключением нескольких известных игровых механик, и только 18 из 115 героев доступны для игры, боты, тем не менее, показывают точный расчет , агрессивные боевые стили и неудержимое чувство импульса. Когда они не проявляют сверхчеловеческих навыков, они выбрасывают десятилетние соглашения Dota 2 и находят новые способы играть героев, распределять ресурсы и ставить цели.

Одна из причин, по которой они так не похожи на людей, заключается в том, что они, очевидно, не люди: боты могут делать вычисления даже за пределами лучших профессионалов, что приводит к сверхчеловеческим степеням эффективности и точности. Но более важной причиной их необычного стиля игры является то, как они были построены. Боты OpenAI не кодируются с использованием экспертных знаний и тысяч правил, а также не показывают примеры того, как люди играют, чтобы учиться. Вместо этого инженеры OpenAI использовали что-то под названием Reinforcement Learning, чтобы позволить своим ботам начинать без знания Dota 2 - вообще без знаний о видеоиграх - и учить себя быть лучше, чем лучшие.

То, как это работает, как и весь искусственный интеллект, является более и менее сложным, чем кажется. Каждую долю секунды боты OpenAI получают более 20000 наблюдений от API Dota 2. Это числа, которые описывают все, от того, сколько здоровья у бота, до количества секунд, пока дебафф не иссякнет у конкретного врага. В то же время, есть тысячи действий, которые они могут выбрать - перемещаться, атаковать, использовать заклинания или предметы, все по различным целям или местам на карте. Задача для ботов - выяснить, какие из 20000 наблюдений важны в данный момент, и какие действия, скорее всего, помогут им победить, если таковые имеются.

OpenAI предсказывает, где герой будет в будущем. Здесь выделенные поля показывают прогнозируемое местоположение Свена за шесть секунд.

Между ними происходит умный бит: нейронная сеть, которая собирает все эти входы и выходы и соединяет их вместе. Одной из наиболее важных ролей этой сети является применение весов к каждому входу - множителей, которые могут увеличивать или уменьшать влияние конкретного входа на конкретный выход. Думайте об этом как о микшерном пульте, а весами являются различные ползунки и регуляторы, которые делают некоторые части песни громче или мягче в окончательной композиции - за исключением того, что в этом случае одновременно играют 20 000 инструментов, и вам нужно найди микс, который подходит для всей песни, начинай заканчивать, даже если исполнители начинают импровизировать.

Боты OpenAI начинаются с того, что эти веса выбираются случайным образом, что заставляет их играть совершенно хаотично - тот, кто никогда раньше не играл в видеоигры, все еще может победить их на этом этапе. Но со временем боты получают обратную связь - награды, когда они получают золото или убивают героя, штрафы, когда они умирают - и каждый раз, когда они немного подправляют весы в своей собственной нейронной сети. Вскоре некоторые из случайных ботов играют чуть лучше, чем другие, а более слабые заменяются копиями более сильных. При наличии достаточного количества времени - система OpenAI воспроизводит Dota 2 более 900 лет в день на сотнях серверов - плохие боты становятся средними, а затем хорошими, а затем хорошими, а затем, надеюсь, сверхчеловеческими.

Сверхчеловек это смешное слово. В их выставочном матче в начале этого месяца не было никаких сомнений, что боты OpenAI были лучше, чем их человеческие оппоненты в играх один и два. Но в третьей игре, в бонусном раунде, где зрители выбирали героев для ботов, они выступали гораздо хуже, спотыкаясь сначала, а затем полностью разваливаясь к концу. Это был не просто случай саботажа аудитории - боты играли хуже, чем человеческая команда, с такими же настройками, потому что они были полны решимости играть в один и тот же агрессивный стиль игры, даже если ситуация этого не оправдывала. Все это восходит к тому, как боты учатся, и как они связывают хорошую вещь, происходящую с действием, которое они предприняли в прошлом. Агрессивные стили игры позволяют легко связать причину и следствие: этот герой умер, потому что я выстрелил в него огромным лазером своим пальцем. Планирование длительной игры требует заглядывания в будущее и умения связывать события на расстоянии 10, 20 или 30 минут. Собрать золото за 30 минут, чтобы стать достаточно могущественным, чтобы выиграть игру, гораздо сложнее учиться и учиться, чем лазер с гигантскими пальцами.

Так что, если боты OpenAI действительно побеждают на этой неделе, и похоже, что они победят, что это нам скажет? Они достаточно хороши, чтобы побеждать, но не настолько хороши, чтобы Dota 2 была полностью взломана. Для исследователей ИИ победа - это победа - победа на большой сцене станет еще одной вехой в истории ИИ. Для игровой индустрии это может быть не столь значимым. С одной стороны, подход OpenAI не практичен для всех, кроме самых богатых игровых студий, работающих сегодня. На это потребовались месяцы обучения, миллионы долларов оборудования и вычислительного времени на удаленных серверах, а также несколько невероятно умных инженеров, которые не работали ни на чем другом. Но главный вопрос в том, для чего такие боты были бы полезны, во всяком случае.

Для OpenAI избиение людей в Dota 2 является частью более долгого пути к тому, чтобы заставить ИИ работать в реальном мире. Для разработчиков игр идеальный ИИ наиболее полезен, если они моделируют, как люди каким-то образом играют в игры. Предположим, вы хотите проверить, насколько сбалансирована многопользовательская игра, поэтому вы обучаете некоторых ботов играть в нее. Сверхчеловеческие боты, которые учатся играть в игру, будут достоверно сообщать вам только, если игра сбалансирована для ботов. Он не говорит вам, как люди будут учиться, какие существующие навыки и знания они могут принести, как они могут интерпретировать правила или какие стратегии они могут разработать. С некоторыми настройками они могут послужить разумной заменой собственным игровым ботам в Dota 2, но практика против них не подготовит вас к широте стратегий и игровых стилей, которые люди демонстрируют в реальных матчах.

Так почему мы должны быть взволнованы? Что для нас, игроков, для улучшения OpenAI в Dota 2 или для того, чтобы Google внезапно разработал лучшего в мире бота Starcraft 2? Во-первых, это напоминание о том, что в эти игры, в которые мы играем каждый день, по-прежнему есть множество неизвестных. У ботов OpenAI могут быть сверхчеловеческие рефлексы, но они также нарушают традиции - они посылают своих героев поддержки, чтобы получить соло-ферму; они отправляют четырех героев в опорные башни в первую минуту. Сверхчеловеческие выступления ботов всегда бросают нам вызов в поисках новых секретов и новых стратегий, а также дают нам цель, к которой мы можем постоянно стремиться. Но лучшая причина для волнения заключается в том, что, как и все шаги в области технологий, это поможет сделать вещи, о которых мы даже не можем даже мечтать. Новые жанры игр, в которых мы обучаем ботов выполнять сложные задачи; боты, имитирующие наш уровень способности заменить нас в случае смерти нашего интернета; SpaceChem-подобный дизайн, где мы разрабатываем игры, которые AI не может научить побеждать. Истинный потенциал быстро обучающегося игрового ИИ не будет чем-то обычным или предсказуемым, он будет чем-то непредсказуемым и диким. Победа (или поражение) OpenAI в этом месяце не является ни концом для какой-либо части игрового ИИ, ни концом для людей, стремящихся стать лучшими в своих играх. Это новое начало для чего-то совершенно другого.

Похожие

Комментарии