Соревновательный селф-плей: как битва со своими клонами создает сверхчеловеческий навык
Если вы тренируетесь в теннис только против автоматической пушки, вы исчерпаете ее пользу за пару недель.
Вы быстро заучите ее темп, угол подачи и вращение мяча. Со временем вы сможете отбивать каждую подачу буквально с закрытыми глазами — не потому, что стали вторым Федерером, а потому, что раскусили заложенную в пушку неизменную программу.
Но стоит выйти на корт живому сопернику, который заметит ваш неудобный замах слева и мягко подрежет мяч прямо под сетку, заученная механическая память мгновенно рушится.
Десятилетиями искусственный интеллект в играх упирался ровно в этот потолок.
Когда разработчики тренировали алгоритмы против заскриптованных игровых ботов, ИИ моментально находил уязвимость в чужом коде: спамил один нелепый прием, собирал горы очков и на этом напрочь прекращал развиваться. В застывшей среде у модели не было ни единого стимула изобретать сложную стратегию, ведь бот не учился в ответ.
В девяностые годы на нардах (TD-Gammon), а затем в космических масштабах в AlphaGo, AlphaStar и OpenAI Five, инженеры выбросили статические скрипты и запустили механизм бесконечного роста: соревновательный селф-плей (Self-Play).
Реальность
Вместо матчей с шаблонными ботами или разбора чужих демок агент начинает сражаться против собственных копий.
В начале тренировочного буткемпа две одинаковые нейросети неуклюже топчутся на арене, хаотично нажимая случайные кнопки.
Как только первый агент случайно нащупывает базовый тактический маневр вроде обхода с фланга, он разносит второго в щепки. Но второй игрок — точно такая же обучаемая нейросеть: он анализирует поражение, находит противоядие и забирает инициативу себе.
Теперь первому приходится придумывать контр-меру на контр-меру второго.
Без единого тренера со стороны система запускает автономную учебную программу. Миллионы сыгранных симуляций превращаются в эволюционную гонку вооружений, где невозможно почивать на лаврах. Каждая найденная тактика в ту же секунду становится мишенью для взлома.
Почему это важно
Эта гонка порождает эмерджентную тактику — стратегии, которые люди никогда не закладывали в код и которых не существовало за всю историю спорта.
В 2016 году во второй партии против легендарного чемпиона Ли Седоля алгоритм AlphaGo поставил камень на 37-м ходу на четвертую линию. Комментаторы в студии схватились за голову, посчитав это нелепой ошибкой новичка: за тысячи лет истории го ни один профессионал не делал такого хода в подобной позиции. На деле этот ход оказался стратегическим откровением, перевернувшим представление человечества о балансе территории.
В Dota 2 бот OpenAI Five шокировал профессиональные команды ранними байбеками — он выкупал погибших героев на первых минутах матча, жертвуя золотом поздней игры ради захвата темпа карты. Живые про-игроки годами считали ранний выкуп грубой ошибкой, пока алгоритм не доказал, что территориальное преимущество важнее сбережений в банке.
В чем подвох?
У селф-плея есть коварная ловушка: круговая мета, похожая на игру «камень, ножницы, бумага». Если стратегия А побеждает Б, Б побеждает В, а В побеждает А, агент, играющий только против своей последней версии, начнет ходить по бесконечному кругу. Он будет забывать старые приемы и топтаться на месте, думая, что прогрессирует. Чтобы победить этот тупик в StarCraft II, DeepMind создали систему AlphaStar League: агенты бились не только со свежим клоном, а с целой лигой прошлых поколений и специальными ботами-эксплойтерами, заточенными на поиск узких слабостей.
Главная мысль
Тренировки против застывшего соперника гарантируют потолок в ту же секунду, когда вы изучите его привычки; безграничный рост возможен лишь в борьбе со вчерашней версией себя.
Специалисты по ИИ называют это: Соревновательный селф-плей (Competitive Self-Play) / Эмерджентный геймплей (Emergent Gameplay) / Популяционное обучение (AlphaStar League)
В мультиагентном обучении с подкреплением селф-плей сводится к поиску равновесия Нэша в игре с нулевой суммой: min_θ max_φ E[V(π_θ, π_φ)]. Чтобы исключить непереходные циклы в пространстве стратегий (феномен камня-ножниц-бумаги), архитектуры уровня AlphaStar (Vinyals et al., 2019) используют лиги агентов: основных агентов, эксплойтеров лиги и главных эксплойтеров, что обеспечивает надежную защиту от локальных циклов и гарантирует устойчивость стратегии.
💬 Был ли у вас в жизни соперник или коллега, каждое новое достижение которого мгновенно заставляло вас пересматривать свои методы и выходить на новый уровень?
Часть 11 из 15 | #ReinforcementLearningForHumans
#ai_edu На основе лекций Стэнфорда и индустрии