Это может быть причиной обновления вашего графического процессора.

Сейчас, более чем когда-либо, лучшие видеокарты определяются не только их производительностью — они определяются их функциями . Nvidia подготовила почву для DLSS , которая теперь включает в себя масштабирование, генерацию кадров и шумоподавитель трассировки лучей, а AMD идет по пятам Nvidia с FSR 3. Но что будет определять следующее поколение видеокарт?

Ни для кого не секрет, что такие функции, как DLSS 3 и FSR 3, станут ключевым фактором при покупке видеокарты в 2024 году, и я подозреваю, что AMD и Nvidia причастны к этой тенденции. У нас уже есть представление о том, что может появиться в следующем поколении графических процессоров от Nvidia, AMD и даже Intel, и это может иметь большое значение в компьютерных играх. Это называется сжатием нейронных текстур.

Начнем со сжатия текстур.

Прежде чем мы перейдем к нейронному сжатию текстур, нам нужно в первую очередь поговорить о том, что такое сжатие текстур. Как и любое сжатие данных, сжатие текстур уменьшает размер текстур за счет сжатия данных, но оно имеет несколько уникальных элементов по сравнению, например, с таким методом сжатия изображений, как JPEG. Сжатие текстур меняет визуальное качество на скорость, в то время как методы статического сжатия часто оптимизируют качество, а не скорость.

Это важно, поскольку игровые текстуры остаются сжатыми до тех пор, пока не будут отрисованы. Они сжимаются в хранилище, памяти и видеопамяти и распаковываются только при фактическом рендеринге. Сжатие текстур также необходимо оптимизировать для произвольного доступа, при этом рендеринг будет использовать различные части памяти в зависимости от текстур, которые ему нужны в данный момент.

Сегодня это делается с помощью блочного сжатия , которое по сути берет блок пикселей 4×4 и кодирует его, отсюда и название «блок». Блочное сжатие существует уже несколько десятилетий. Существуют разные форматы, а также такие методы, как адаптивное масштабируемое сжатие текстур (ASTC) для мобильных устройств, но основная концепция осталась прежней.

Вот в чем проблема — текстуры не становятся меньше. Высокодетализированные игровые миры требуют высокодетализированных текстур, что увеличивает нагрузку на ваше оборудование для декодирования этих текстур, а также на вашу память и видеопамять. Мы видели более высокие требования к памяти для таких игр, как Returnal и Hogwarts Legacy, и мы видели, как видеокарты с объемом памяти 8 ГБ с трудом справляются с такими играми, как Halo Infinite и Redfall. Также существует суперсжатие с помощью таких инструментов, как Oodle Texture (не путайте это со сжатием данных с помощью таких инструментов, как Oodle Kraken), которое сжимает уже сжатые текстуры для уменьшения размера загрузки. Его необходимо распаковать процессором, что увеличивает нагрузку на ваше оборудование.

Кажется, что решение состоит в том, чтобы использовать ИИ для решения проблемы, и это то, что Nvidia и AMD сейчас изучают, и это может быть причиной, по которой вы покупаете новую видеокарту.

Нейронная разница

В августе прошлого года Nvidia представила на Siggraph технологию нейронного сжатия текстур (NTC) . Этотметод позволяет хранить в 16 раз больше текселей, чем обычное блочное сжатие, в результате чего разрешение текстуры увеличивается в четыре раза. Само по себе это не впечатляет, но вот эта часть: «Наш метод позволяет выполнять распаковку по требованию в реальном времени с произвольным доступом, аналогичную блочному сжатию текстур на графических процессорах».

NTC использует небольшую нейронную сеть для распаковки этих текстур непосредственно на графическом процессоре и во временном окне, которое может конкурировать со сжатием блоков. Как говорится в аннотации, «это расширяет наши преимущества сжатия на всем пути от дискового хранилища до памяти».

Nvidia не единственная. AMD только что сообщила, что обсудит сжатие текстур нейронных блоков на конференции Siggraph в этом году, представив собственную исследовательскую работу. Intel также решила эту проблему, конкретно указав на ограничения VRAM, когда представила технологию уровня детализации (LoD) на основе искусственного интеллекта для 3D-объектов.

Хотя это всего лишь исследовательские работы, все они посвящены нейронному рендерингу. Учитывая, как ИИ захватывает мир вычислений, неудивительно, что AMD, Nvidia и Intel ищут новые горизонты в нейронном рендеринге. Если вам нужно больше убедительности, вот что генеральный директор Nvidia Дженсен Хуанг сказал по этому поводу в недавних вопросах и ответах : «ИИ для игр — мы уже используем его для нейронной графики и можем генерировать пиксели на основе нескольких входных пикселей. Еще мы генерируем кадры между кадрами — не интерполяцию, а генерацию. В будущем мы даже будем создавать текстуры и объекты, причем объекты могут быть более низкого качества, но мы сможем улучшить их внешний вид».

Прилив

На данный момент невозможно сказать, как проявится сжатие нейронных текстур. Его можно отнести к промежуточному программному обеспечению, вставить в логотип при запуске игры и никогда не задумываться об этом. Возможно, она никогда не проявится как функция, которая появится в играх, особенно если ей найдется лучшее применение в другом месте. Или это может быть одна из ключевых особенностей видеокарт следующего поколения.

Я не говорю, что так и будет, но очевидно, что AMD, Nvidia и Intel что-то в этом понимают. Существует некоторый баланс между размером установки, требованиями к памяти и конечным качеством текстур в игре, и нейронное сжатие текстур кажется ключом, дающим разработчикам больше возможностей для игры. Возможно, это приведет к созданию более детализированных миров, или, может быть, произойдет небольшое увеличение детализации при гораздо меньшем требовании к памяти. Балансировать это дело разработчиков.

Выгода очевидна, но требования остаются загадкой. Пока AMD не представила свои исследования, а исследования Nvidia основаны на производительности RTX 4090 . В идеальном мире нейронное сжатие текстур — или, точнее, нейронная декомпрессия — было бы функцией, доступной разработчикам и работающей на широком спектре оборудования. Однако, если это так важно, как предполагают некоторые из этих исследовательских работ, это может стать следующим рубежом для компьютерных игр.

Подозреваю, что это, по крайней мере, не последний раз, когда мы об этом слышим. Мы стоим на пороге нового поколения видеокарт: от Nvidia RTX 50-й серии до графических процессоров AMD RX 8000 иIntel Battlemage . Когда мы начинаем узнавать об этих графических процессорах, мне трудно представить, что нейронное сжатие текстур не будет частью разговора.