科技日报记者 崔爽
《岁月里的花》尾声,繁花在舞台盛开,呈现“油画定格”的高光时刻。通义万相的图像风格化和首尾帧视频生成技术,让舞台瞬间转化为静态油画,虚实结合,美轮美奂。
甄子丹领衔的《笔走龙蛇》武术表演进行时,“天空环绕视角”同步进行云上多视角拍摄。技术人员采用AI技术对画面进行3D模型重建,将拍摄画面融合渲染,形成3D视频图像,为观众呈现物理摄像机无法拍摄的影像。
《难忘今宵》响起,通义万相的AI图像生成和风格化处理能力将祖国各地标志性建筑转化为传统花灯样式,展现传统艺术感染力和现代科技创新魅力的融合……
1月28日晚,中央广播电视总台蛇年春晚如约而至,阿里云作为总台春晚云计算AI独家服务商,为春晚直播提供了全球云基础设施和通义大模型AI技术支持。阿里云通义AIGC技术成果也首次大规模应用在节目画面中。
春晚的直播画面,通过阿里云部署在全球的云基础设施,从北京分发到全球各地的网络平台及网络转播机构,同时满足8K电视大屏、移动小屏等多终端需求,并提供竖屏春晚、三维菁彩声等观看体验。
“由于云和AI技术的深入介入,本届春晚程序员浓度极高。”阿里云通义万相负责人薄列峰向科技日报记者透露,项目组全力以赴,给观众带来突破传统设备的视觉体验,而基于对技术的了解,团队还贡献创作灵感,比如动静结合的特效,让技术能力最大化为春晚效果服务。
首次部署云上多视角拍摄系统
开头的一幕幕,都离不开云上多视角拍摄系统。
据阿里云子弹时间技术负责人何亚明介绍,阿里云和央视总台首次在春晚演播大厅部署由30台相机阵列组成的云上多视角拍摄系统,以“演播厅天空环绕视角”对节目表演进行摄制,通过阿里云多年积累的视频能力、通义大模型算法能力,在云计算处理能力的加持下,对多机位信号进行实时3D云渲染,同时通过智能虚拟运镜手法,展现节目不同角度的微妙细节,让观众多维角度看到“时空凝结、移步异景”等立体视效。
何亚明坦言,相关技术在去年的巴黎奥运会上虽有成功应用,但春晚节目对画质和效果的要求高得多,如节目需要全链路4K HDR画质,500M超高清码率,计算量大幅增加,这对网路传输效率、视频处理算法的时效性、算法效果等都是全新挑战。“我们在视频采集、视频处理、AI算法、视频编码的每个环节都进行了多轮优化迭代,配合导演要求,完成高质量的节目制作。”何亚明说。
他透露,这背后的工作非常琐碎,以“子弹时间”这项技术来说,舞台上下摄像头的位置变化会引起相机光圈、焦距的变化,不同节目的灯光强弱、色彩变化、对景别的要求各有不同,超高速相机在同一时间拍摄的画面要保持绝对同步,这些都需要对软件进行动态调整,否则会带来闪烁、画面不同步等问题。另外,体育比赛有休息时间,但在春晚现场,超高速相机持续高负荷运转,有时硬件过热,需要自适应。
“大家的目标就是用更好的算法、更少的相机重建更好的效果,达到广电级别的要求。”何亚明说,本届春晚的云资源使用量也是历年春节的峰值。
大模型技术助力节目创新
“结合云上AI多视角呈现的技术能力,以及这项技术在巴黎奥运的成功交付经验,我们与春晚导演组进行了多轮深入探讨。主要针对不同的节目桥段、舞美台型设计,寻找技术与艺术的结合点。”薄列峰介绍。
项目组进场前,团队就设计好多套解决方案,并提前将这些方案在3D模型中进行充分的场景模拟和效果比对,以便导演组快速决定超高清相机的位置,推出全新的“演播厅天空环绕视角”。在实施过程中,选择相机安装点位时,团队利用AI算法补偿的优势来减少多视角机位对现场安装条件的依赖。针对特殊场景,AI算法甚至可以跳过部分视线上的障碍。同时,团队充分利用变速、变焦、运镜轨迹等AI虚拟视觉特效在3D点云模型下的灵活度,使得在同一个景别中,能够带来层出不穷的视觉惊喜,增强视觉体验效果。
据了解,阿里云还支撑了此次春晚淘宝活动,保障红包抽奖、AI生成“云参演证”等多种春晚现场及淘宝线上活动。在淘宝“一起上春晚”活动中,用户在云参演证上用AI生成自己专属的春晚定妆照,自由挑选相声小品、唱歌跳舞、变魔术等角色。通过云基础设施和大模型AI技术,阿里云深度支撑了AIGC应用及用户互动。
目前,阿里云在全球28个地域运营85个可用区,是中国最大、亚太第一的云计算公司,阿里云通义千问大模型性能屡登全球榜首。
而在北京时间29日凌晨,阿里云还宣布,通义千问旗舰版模型Qwen2.5-Max全新升级。据介绍,Qwen2.5-Max模型是阿里云通义团队对MoE模型的最新探索成果,预训练数据超过20万亿tokens,展现出强劲综合性能,在多项公开主流模型评测基准上录得高分,超越目前全球领先的开源MoE模型以及最大的开源稠密模型。
(阿里云供图)