Все любят слоумо. На это указывает хотя бы тот факт, что производители активно пытаются увеличивать количество кадров в секунду в этом самом слоумо. Лидером, если говорить о смартфонах, пока является Sony, которая во втором поколении своих камер Motion Eye добавила возможность съёмки 900 к/с в Full HD. Правда, как и во всех прочих подобных случаях, запись идёт всего 1-2 секунды.
Новая разработка Nvidia показывает, что делать крутое SloMo можно не только на аппаратном, но и на программном уровне. Вот, посмотрите, что у них получилось.
Впечатляет, правда? Если кто не понял, специалисты Nvidia взяли уже замедленное видео и превратили его в ещё более замедленное сугубо программным методом. Разработка была показана на конференции Conference on Computer Vision and Pattern Recognition и пока не готова для коммерциализации.
Создаётся такое видео посредством специальной системы искусственного интеллекта. Она состоит из двух специально обученных нейросетей, которые занимаются различными задачами. Первая оценивает видео и все его детали, вторая — «растягивает», основываясь на данных первой.
Обучали нейросети на основе роликов канала The Slow Mo Guys, используя систему глубокого обучения PyTorch и установку с адаптерами Tesla V100. Специалист Nvidia заявил, что видео можно растягивать хоть в 8, хоть в 15 раз. Якобы предела нет вовсе, хотя это явно условно.
Пока ИИ неоптимизирован и не работает в реалтайме. Но, вполне возможно, через несколько лет такие системы станут обыденностью.
