Разработчики Gran Turismo Sophy объясняют, как она научила ИИ-гонщика спортивному поведению
Будущий режим Gran Turismo Sophy Race Together для Gran Turismo 7 станет первым значительным публичным релизом технологии искусственного интеллекта Sony , созданной в 2020 году. Игры Sony Interactive Entertainment. Таким образом, если ИИ груб, несправедлив и непобедим для многих игроков, GT Sophy можно рассматривать как еще один предупреждающий знак о том, что ИИ еще не готов к прайм-тайму. Вот почему обеспечение GT Sophy надлежащего спортивного этикета является приоритетом для его разработчиков.
« В гонках вы должны быть уверены, что едете агрессивно, потому что хотите побеждать, но в то же время вы хотите вести честную гонку», — говорит Digital Trends главный операционный директор Sony AI Майкл Спрангер. «Вы не можете врезаться в другие машины, чтобы получить преимущество, и вам нужно убедиться, что все могут честно конкурировать. Это интересная область, потому что эти правила довольно неточны; есть свод правил, но он нуждается в интерпретации судей. Сделать это правильно — агрессивное вождение и конкурентное вождение против честного вождения — одна из самых больших задач GT Sophy».
Sony AI, Sony Interactive Entertainment и Polyphony Digital подтвердили, что игроки смогут участвовать в гонках GT Sophy в ограниченном по времени режиме Gran Turismo 7 , начиная с 21 февраля. только умение GT Sophy посредством обучения с подкреплением, но и его этикет в отношении туманного набора правил, основанных на вежливости. В преддверии добавления в Gran Turismo 7 Digital Trends поговорила с главным операционным директором Sony AI Майклом Спрангером и руководителем проекта GT Sophy Питером Вурманом, чтобы узнать больше об их этическом подходе к спортивному поведению GT Sophy и о том, какое будущее они видят для этой технологии в играх.
Следующее интервью было отредактировано для краткости и ясности.
Что сделало Gran Turismo наиболее привлекательным вариантом для разработки продвинутого ИИ?
Майкл Спрангер: Потому что это было возможно и потому что Gran Turismo — действительно захватывающая игра. Gran Turismo с самого начала была частью PlayStation. Это культовая игра, предлагающая особую сложную область физического реализма, стратегии, принятия решений и спортивного этикета. Кроме того, у него есть большая аудитория людей, которые действительно следят за игрой, а это означает, что любая технология, которую мы разрабатываем в игре, может иметь потенциально значимое влияние на миллионы игроков. Я также люблю игру. В совокупности эти вещи заставили нас выбрать Gran Turismo в качестве одной из первых целей для игровых проектов искусственного интеллекта.
Как обучение с подкреплением позволяет этому ИИ рисковать или управлять автомобилем более впечатляюще, чем ваш стандартный игровой ИИ? Это просто попытка проехать по самой точной гоночной трассе?
Питер Вурман: Есть разные уровни мастерства. Базовый уровень — это ускорение движения по трассе, поэтому обучение с подкреплением работает, позволяя агенту ИИ исследовать, какое влияние его действия оказывают на мир, а затем пытаться максимизировать свою награду. Давая ему положительные сигналы для более быстрого движения по трассе, он учится двигаться по трассе очень быстро. Он учится нажимать на акселератор и входить в повороты, чтобы не разбиться, что отлично подходит для обучения сценарию гонок на время.
Чтобы на самом деле сделать его конкурентоспособным гонщиком , мы должны были дать ему другие сигналы вознаграждения за обгон автомобилей, которые находятся перед ним, и не препятствовать тому, чтобы автомобили позади него обгоняли его. Мы также наложили на него штрафы за столкновение с другими автомобилями. Это сочетание вознаграждений и штрафов потребовало некоторых усилий, чтобы получить правильное решение, но как только мы потренировались с нужным количеством противников, оно научилось быть очень эффективным гонщиком.
Какие самые важные выводы вы сделали из первых двух мероприятий Race Together, которые вы провели с лучшими игроками Gran Turismo Sport ?
Питер Вурман: Если вы следили за проектом, то знаете, что было две гонки. В первом мы выступили хорошо, но не выиграли командный зачет. Некоторые интересные вещи, которые мы извлекли из этого, были связаны с поиском баланса между напористостью и хорошим видом спорта. За две недели до этого мы узнали, что агент, которого мы обучили, слишком агрессивен и не будет допущен к гонкам, поэтому нам пришлось карабкаться и подстраиваться. У вас не может быть одного агента ИИ, который действительно хорош в быстрой езде, и другого, который думает о тактических аспектах обгона; вместо этого мы должны были объединить их вместе в один целостный агент, который делал и то, и другое одновременно. Это то, что мы увидели после гонки в июле 2021 года , поэтому мы чувствовали себя намного увереннее перед гонкой в октябре 2021 года .
Майкл Спрангер: Был случай, когда нам сказали, что это слишком агрессивно, но потом, в первый день выставочной гонки, мы фактически проиграли гонку, потому что были недостаточно агрессивны и робки. Проблема того, как вы сбалансируете эти вещи, была действительно очевидна во время разработки проекта.
Какие изменения пришлось внести в GT Sophy, когда вы приняли решение добавить его в Gran Turismo 7 , а не просто тренировать в тестовой среде?
Питер Вурман: Самое главное, что на всех выставках GT Sophy работала на отдельном компьютере и общалась через сетевое соединение с консолью PlayStation. Здесь GT Sophy встроен в игру. Заставить его работать на PlayStation с ресурсами, которые были доступны нам после всего рендеринга и других вещей, которые происходят, было немного инженерной работы.
Другое дело, что Polyphony Digital действительно хотела, чтобы агент был чрезвычайно хорошим примером гоночного стиля и гоночного мастерства. Мы внесли некоторые изменения, чтобы побудить GT Sophy больше оставаться в рамках. Если вы смотрели какие-либо выставки, то заметите, что они действительно хорошо использовали всю трассу, иногда ставя две шины в траву. Это законно, но не совсем то, что вы могли бы сделать в настоящей гоночной машине. Мы внесли некоторые изменения, чтобы GT Sophy больше оставалась между линиями. Это по-прежнему очень быстро, но немного чище.
Что главное команда искусственного интеллекта Sony надеется извлечь из добавления Gran Turismo Sophy Race Together в Gran Turismo 7 ?
Питер Вурман: Главный из них заключается в том, что мы надеемся, что людям понравится играть против него, они почувствуют, что им действительно бросают вызов на всех уровнях мастерства, и они учатся становиться лучше моделируемыми гонщиками.
Майкл Спрангер: Мы также хотим посмотреть, как люди взаимодействуют с технологией. Прямо сейчас есть несколько человек, которые испытали эту технологию, поэтому нам любопытно посмотреть, как люди будут использовать ее, чтобы учиться для себя, приобретать новые навыки и получать новый опыт. Я думаю, что это во многих отношениях лежит в основе проекта. У нас есть технологический прорыв, и я думаю, что это действительно важно, но я думаю, что мы открываем совершенно новый этап для людей и в Gran Turismo. Во многих отношениях встроенный ИИ имеет довольно узкий диапазон производительности, и вы можете превзойти его, когда станете водителем среднего уровня на каждой сложности.
Даже с относительно небольшим количеством комбинаций трек-машина, которые мы представили здесь, от того, что я могу сделать, до того, что могут сделать некоторые из лучших игроков, каждый может найти действительно интересный матч. Мы надеемся увидеть больше этого и посмотреть, как люди извлекут уроки из этого. Некоторым игрокам также очень сложно найти хороших противников, и впервые вы можете неоднократно взаимодействовать с достойным противником, не вызывая всех своих друзей и не собирая их всех вместе. Это будет что-то, в чем люди смогут добиться значительного прогресса в улучшении игры, потому что они могут в какой-то степени получить этот индивидуальный опыт.
Что касается этической стороны вопроса, можете ли вы объяснить процесс определения того, что представляет собой спортивное поведение для GT Sophy, чтобы оно не беспокоило определенных игроков?
Питер Вурман: Ну, он не может с вами разговаривать , поэтому GT Sophy не может делать много плохих вещей, потому что это не часть игры. Мы в основном сосредоточены на том, чтобы придерживаться правил спортивного поведения в автомобильных гонках; теперь они довольно туманны. Вы не можете заблокировать законную возможность паса и тому подобное. В этих правилах есть куча нечетких слов, которые было трудно закодировать и запрограммировать, поэтому нам приходилось аппроксимировать их сигналами вознаграждения и штрафами, если они делали что-то вроде столкновения с другой машиной.
Затем мы должны были передать его Polyphony Digital и водителям-испытателям и позволить им дать нам обратную связь, потому что гонки против других агентов ИИ на самом деле не показывают нам, готов ли он участвовать в гонках против различных стилей человеческих гонок. Это потребовало некоторых усилий и итераций, чтобы сделать это правильно.
Майкл Спрангер: Что касается этого релиза, я думаю, справедливо будет сказать, что он конкурентоспособен. Он попытается обогнать игроков, но не будет бомбить их. Это конкурентоспособно, но вежливо. Это определенно оказывает на вас давление; вы увидите его в зеркалах заднего вида, пытающихся обогнать вас. В то же время он попытается дать вам немного места, чтобы вы могли участвовать в гонках конкурентоспособно, но честно.
Питер Вурман: Но если вы устроите беспорядок, этим воспользуются.
Майкл Спрангер: Правильно, немедленно!
Какими вы видите технологии GT Sophy и AI в играх Sony в ближайшие пять лет?
Майкл Спрангер: Очевидно, что мы не можем объявить что-то конкретное, но в целом это многослойно. В Gran Turismo еще есть задачи и вещи, которые мы можем сделать, чтобы открыть новые возможности, и я не думаю, что мы закончили с этим. Есть настоящее воодушевление по поводу дальнейшего продвижения технологии. Затем, с точки зрения корпоративных исследований и разработок и стратегических инициатив Sony AI, мы очень рады тому, что эта технология может привнести в игры в целом.
Другие игры дадут нам другую задачу, которую нужно преодолеть, и расширят возможности технологии. Это новая технология, которая имела некоторые успехи в прошлом, но я действительно думаю, что то, что мы здесь делаем, совершенно отличается в том смысле, что мы совершаем научные прорывы, но затем мы также внедряем ее и следим за тем, чтобы люди получали доступ к ней. технология ИИ. Это продвинет технологию вперед и откроет новые возможности.
Взаимодействие лежит в основе PlayStation, это не ошибка, что она называется Sony Interactive Entertainment. На самом деле речь идет о том, как вы взаимодействуете с вещами, которые вы находите в игре, и я действительно чувствую, что у этой технологии есть потенциал, чтобы действительно открыть новое поколение игр, и мы очень рады этому.