Нейросеть YandexART помогла восстановить видеозаписи важных исторических событий — отреставрированную кинохронику использовали для сериала «Игры»
Нейросеть YandexART научилась восстанавливать архивные видеозаписи и кинохронику. Это может быть полезно кинокомпаниям, музеям, историкам и другим специалистам для улучшения качества значимых видео и работы с историческим наследием. Например, нейросеть уже восстановила видеохронику из материалов «Мосфильма» и Российского государственного архива кинофотодокументов для нового сериала Кинопоиска «Игры» о подготовке и организации Олимпиады-80.
Благодаря YandexART события сорокалетней давности стали доступны современному зрителю в хорошем качестве. Нейросеть помогла добавить на размытый и нечёткий кадр фактуру и недостающие детали. Например, она прорисовала кирпичную кладку на стене и узоры на женском платье, а у машины восстановила фары и поворотники, которые было плохо видно. Также нейросеть увеличила разрешение и резкость и повысила качество видеокадров.
Разработчики Яндекса научили модель не «галлюцинировать», то есть не придумывать то, чего изначально не было. YandexART теперь умеет превращать шумные, размытые и сильно сжатые кадры в контент с высокой детализацией объектов и текстур благодаря поэтапному обучению на материалах низкого качества.
Над восстановлением архивных видео с помощью нейросетевых технологий и компьютерной графики работали команды компьютерного зрения Яндекса, Yandex Research и Плюс Студии. Среди восстановленных кадров зрители смогут увидеть, например, хронику со спортсменами, участвовавшими в Олимпиаде-80, улицы Москвы тех лет, любительские съёмки, материалы прессы и другие архивы.
Отреставрированную видеохронику использовали в драме «Игры» про Олимпиаду-80. Этот турнир должен был стать событием для всего мира, ради которого Советский Союз был готов приподнять железный занавес. Главным героям предстоит столкнуться со сложностями организации масштабного спортивного события и оказаться свидетелями не только Олимпийских, но и политических игр. Премьера сериала состоится на Кинопоиске 3 августа.
Yandex AI Rendering Technology (YandexART) — диффузионная нейросеть, которая создаёт и улучшает изображения и анимацию, а также обрабатывает загруженные фотографии в ответ на текстовые запросы. Она обучалась на примере 850 миллионов картинок с описанием, знает российский культурный код и использует особый алгоритм распознавания текстов, чтобы точнее понимать пожелания пользователей. YandexART может качественно прорабатывать мелкие детали, работать в заданном художественном стиле и создавать фотореалистичные портреты. Нейросеть интегрирована в Шедеврум, используется в Яндекс Бизнесе, Директе, Браузере и Маркете. Кроме того, компании могут получить доступ к API YandexART в Yandex Cloud.
