Отныне у каждого в мобильном телефоне будет “Ван Гог”
Как вы думаете, сколько времени нужно, чтобы сделать такой эпизод?
В традиционной анимационной индустрии производство анимации часто является наиболее трудоемким звеном: аниматорам приходится создавать анимационные эффекты каждого кадра в соответствии со сценарием раскадровки и арт-дизайном.
От разработки персонажей до рисования сцен, а затем создания анимации у производственной группы часто уходит несколько месяцев или даже год.
Но в последнее время этот отраслевой закон переписывается инструментами ИИ.
Анимационный короткометражный фильм, который вы сейчас смотрите, состоит из 120 кадров с визуальными эффектами и общей продолжительностью 7 минут, а его производственная группа Corridor потратила всего несколько часов на анимацию.
Секрет эффективности кроется в используемом ими инструменте — Stable Diffusion.
Творчество снова на свободе
Как мы все знаем, каждый движущийся кадр в анимации состоит из непрерывных движущихся картинок, нарисованных художниками кадр за кадром, а за каждым эпизодом анимации стоят почти тысячи скетчей.
Рисовать анимацию кадр за кадром от руки Коридору практически невозможно, поэтому придумали другой способ сделать картину: снятое камерой по сути покадровое фото, если его трансформировать в анимационный стиль покадрово Сшивание снова, разве это не просто анимация?
Чтобы конвертировать фотографии в анимационные изображения в пакетном режиме, Corridor сначала подумал о самом популярном инструменте рисования AI: Stable Diffusion.
По сравнению с инструментами рисования ИИ, такими как Dall-E 2 и Midjourney, одним из преимуществ Stable Diffusion является то, что это проект с открытым исходным кодом.Пользователи могут подготовить наиболее подходящую базу данных локально, позволить ИИ целенаправленно изучать стиль рисования, а затем генерировать партии Стиль изображения.
По заранее задуманному сеттингу Corridor позволил Stable Diffusion выучить большое количество картинок «Дневников вампира», а также фото с разных ракурсов двух ведущих актеров, чтобы трансформируемые анимационные картинки могли быть максимально точными и стиль имеет тенденцию быть унифицированным.
После того, как Stable Diffusion преобразует все видео в анимационный стиль, удаляются некоторые нестабильные изображения, устраняется мерцание и, наконец, зеленый экран заменяется фоном, снятым виртуальной камерой.Первоначально рисовали дюжина художников за несколько недели. Анимация завершена.
Увидев это, вы тоже хотите применить свою фантазию, самостоятельно снять анимационный короткометражный фильм или превратить себя в разнообразных фэнтезийных героев?
Хотя Stable Diffusion обладает преимуществами высокой управляемости, но для того, чтобы им управлять, вам сначала понадобится мощная вычислительная среда на сервере или на локальной стороне, чтобы он работал.
Другими словами, если у вас нет воображения, но нет сильных способностей к изучению и обработке естественного языка и вычислительной мощности ИИ в качестве поддержки, вы все равно не сможете использовать Stable Diffusion для творчества.
Итак, есть ли способ, которым обычные люди могут легко нарисовать уникальный аватар самостоятельно?
Такие действительно есть, и пока «у вас есть мобильный телефон».
На конференции MWC компания Qualcomm впервые продемонстрировала локальную работу Stable Diffusion на телефоне Android, а также продемонстрировала несколько AI-изображений, сгенерированных на стороне телефона.Эффект выглядит довольно хорошо, а весь процесс занимает менее 15 секунд.
Параметры Stable Diffusion превышают 1 миллиард.Обычные компьютеры очень сложны в эксплуатации.Как Qualcomm "запихивает" такую огромную модель в мобильный телефон и заставляет ее плавно работать на SoC мобильного телефона?
Чтобы «положить слона в холодильник», инженеры Qualcomm сначала оптимизировали слона.
Здесь мы должны в первую очередь упомянуть о значительном улучшении ИИ в мобильной платформе Snapdragon 8 второго поколения, обработке естественного языка (NLP).
Обработка естественного языка — одна из новых областей приложений ИИ.Чтобы как можно быстрее понять и разложить человеческий язык, Qualcomm значительно улучшила процессор Hexagon и увеличила аппаратное ускорение, что позволяет более быстро и эффективно запускать сеть Transformer. снизить скорость обработки за счет рассуждения о микросрезах.Потребляемая мощность заставляет Snapdragon 8 второго поколения демонстрировать уникальные преимущества в случаях использования обработки естественного языка.
Чтобы обеспечить работу Stable Diffusion на стороне терминала, инженеры Qualcomm решили начать с модели с открытым исходным кодом FP32 версии 1-5 Hugging Face и использовать набор инструментов Qualcomm AI Model Enhancement Toolkit (AIMET) для ее количественной оценки после обучения без ущерба для производительности. модель В случае точности исходная модель FP32 сжимается в формат INT8 с более высокой вычислительной эффективностью.
Благодаря унифицированному программному решению Qualcomm для искусственного интеллекта Qualcomm, Qualcomm может количественно оценивать и упрощать модели искусственного интеллекта без потери точности модели, значительно повышать производительность рассуждений искусственного интеллекта и снижать энергопотребление, делая большие модели искусственного интеллекта более адаптируемыми к мобильным телефонам и другим вычислительным средам с низким энергопотреблением. на стороне терминала, что упрощает расширение моделей ИИ на стороне терминала.
Благодаря полной оптимизации программного и аппаратного обеспечения Stable Diffusion, наконец, может работать на мобильной платформе Snapdragon 8 второго поколения, интегрированной с процессором Hexagon, выполнять 20 шагов логического вывода за 15 секунд и генерировать изображение размером 512×512 пикселей. скорость уже сопоставима с задержкой облачных вычислений.
Другими словами, крупномасштабная генеративная модель ИИ в облаке сделала первый шаг в расширении приложений на стороне терминала.
Хотя вы не можете использовать Stable Diffusion для съемки таких блокбастеров, как «Коридор», этого более чем достаточно, чтобы использовать его для рисования собственной головы и создания виртуальных портретов. Хотите ли вы автопортрет в стиле Моне, Ван Гога или Акиры Ториямы, вы можете напрямую вводить команды на своем телефоне, чтобы создать уникальную работу с искусственным интеллектом одним щелчком мыши.
В будущем модели ИИ со шкалой в десятки миллиардов параметров могут работать на стороне терминала, а уровень интеллекта ИИ-помощника на вашем мобильном телефоне совершит качественный скачок. Возможности, открываемые развертыванием генеративных моделей ИИ на устройстве, превосходят воображение.
Естественный технологический взрыв
Когда дело доходит до вычислений ИИ, первое, что приходит на ум многим, — это большой облачный сервер, который кажется далеким от нашей жизни.
Но на самом деле каждый раз, когда вы разблокируете свой телефон, будите голосового помощника или даже нажимаете кнопку спуска затвора, происходит тесный контакт с вычислениями ИИ.
Из-за многих преимуществ обработки ИИ на стороне терминала, включая мобильные телефоны, с точки зрения надежности, задержки и конфиденциальности, все больше и больше крупных облачных моделей ИИ начинают работать на стороне терминала.
Сегодня ИИ-вычисления проникли во все аспекты нашей жизни вместе с развертыванием терминалов.Вы можете легко найти ИИ в терминальных продуктах, таких как смартфоны, планшеты, XR-очки и даже автомобили. Это видение края интеллектуального сетевого соединения, которое Qualcomm строит, и Qualcomm работает молча уже более десяти лет.
Перенос ИИ из облака в терминал может одновременно решить две болевые точки пользователей: с одной стороны, данные, обрабатываемые терминалом, могут храниться на терминальном устройстве, а конфиденциальность персональных данных пользователя должным образом защищена. . С другой стороны, терминальные устройства могут своевременно выполнять вычисления и обработку, предоставляя пользователям надежные результаты обработки с малой задержкой.
На этот раз Qualcomm первой развернула Stable Diffusion на телефонах Android, что не только предоставляет пользователям возможность создания ИИ в любое время и в любом месте, но и делает будущее редактирование изображений полным воображения.
Модели Stable Diffusion кодируют множество лингвистических и визуальных знаний, и настройка модели может оказать ощутимое влияние на редактирование изображений, их рисование, передачу стиля и супер-разрешение.
Только представьте, в будущем вы сможете снимать фотографии или видео в стиле Диснея или Японии без Интернета, а все расчеты изображений будут выполняться только на мобильном телефоне, что весело и весело, при этом защищая конфиденциальность и безопасность.
В техническом планировании Qualcomm это только начало.
Ранее Qualcomm выпустила решение под названием «Qualcomm AI Software Stack», проще говоря, для этого нужно разработать модель только один раз, и ее можно будет расширить на все разные терминалы.
Исследовательские прорывы и технические оптимизации, сделанные Qualcomm на Stable Diffusion, будут интегрированы в программный стек Qualcomm AI в будущем, и в будущем его нужно будет только расширить на этой основе для создания различных моделей, подходящих для таких платформ, как очки XR и Qualcomm также называет ее «дорожной картой унифицированных технологий».
Благодаря такому пути разработки продуктов Qualcomm может интегрировать передовые технологии искусственного интеллекта, такие как обработка естественного языка и распознавание лиц на терминалах смартфонов, в очки XR, ПК, Интернет вещей, автомобили и другие продукты и, в конечном итоге, создавать новые интеллектуальные возможности для пользователей.
Такая очень гибкая и эффективная модель разработки неотделима от ИИ-движка Qualcomm.
Движок Qualcomm AI включает в себя графический процессор, центральный процессор и наиболее важный процессор Hexagon.
Среди них процессор Hexagon состоит из скалярных, векторных и тензорных процессоров.Три ускорителя используют единую общую память.Qualcomm удвоила вычислительную производительность тензорного ускорителя и удвоила емкость общей памяти, сделав новый процессор первого поколения Двигатель Qualcomm AI улучшил энергоэффективность на 70% по сравнению с предыдущим поколением.
Механизм ИИ Qualcomm можно гибко расширять аппаратно, а процессор Hexagon обычно настраивается на мобильной платформе; для автомобильных, облачных и граничных вычислительных платформ можно использовать несколько экземпляров процессора Hexagon для увеличения вычислительной мощности.
Сочетая архитектурные преимущества и производительность вычислительной мощности ведущих конкурентов, можно сказать, что Qualcomm использует движок Qualcomm AI для формирования ядра смартфонов, Интернета вещей, очков XR, автомобилей и других предприятий.
Согласно видению Qualcomm, ИИ-вычисления будут продолжать развиваться в полностью распределенном направлении, то есть ИИ-рассуждения будут переноситься из облака на сторону терминала в большом количестве.
Например, мобильные телефоны будут запоминать акцент пользователя для повышения точности речи, автомобили будут изучать различные дорожные условия и повышать скорость распознавания препятствий и т. д. Это случаи применения популяризации ИИ в терминалах.
В декабре прошлого года Qualcomm объединилась с новой актрисой Оскара Мишель Йео, чтобы описать такое будущее видение интеллектуальной взаимосвязи всего сущего:
Смартфоны становятся умнее благодаря технологии Qualcomm AI Engine. Он овладел профессиональными навыками работы с изображениями, что позволяет вам снимать сцены уровня фильма 8K на кончиках ваших пальцев; он также имеет возможности обработки естественного языка и может активно предоставлять вам индивидуальные услуги, такие как перевод в реальном времени в качестве помощника.
Движок искусственного интеллекта Qualcomm позволит автомобилям превратиться в надежных водителей. В будущем автомобили смогут определять ваше прибытие и вносить адаптивные коррективы в соответствии с вашими привычками; мощная вычислительная мощность обеспечивает богатые функции, такие как помощь при вождении, ситуационная безопасность и потоковое развлечение, а также может прогнозировать дорогу впереди, чтобы улучшить впечатления от вождения, позволяя вам добраться до места назначения комфортно и безопасно.
Носимые устройства, такие как XR, обеспечат вам более захватывающий опыт и более интуитивно понятное взаимодействие, позволяя вам свободно перемещаться по виртуальному и реальному мирам.
В общем, в настоящее время мы находимся в гуще бесчисленных возможностей, и инновации искусственного интеллекта вокруг нас меняют мир и незаметно меняют то, как мы работаем, живем и общаемся.
В настоящее время смартфоны являются лучшей прикладной платформой для технологии искусственного интеллекта, но популяризация технологии искусственного интеллекта на смартфонах — это только первый шаг.В будущем технология искусственного интеллекта станет повсеместной, а производительность и творческий потенциал людей получат дальнейшее развитие.Qualcomm уже давно были к этому готовы.
#Добро пожаловать, обратите внимание на официальный публичный аккаунт Айфанер в WeChat: Айфанер (идентификатор WeChat: ifanr), более интересный контент будет представлен вам как можно скорее.
Ай Фанер | Оригинальная ссылка · Просмотреть комментарии · Sina Weibo