超高清演播室IP 平台技术研究

本文介绍了中央广播电视总台IP 化现场制 作的演进过程,分析了总台自研演播室IP 制作平台的技术特点,包括SDN 解决方案、 IP 矩阵净切换和分组切换、演播室业务自 动配置以及超高清延时器、画面分割显示和 网关封装的技术架构和方案。对广电媒体 IP 化的未来进行展望。

摘要

一 超高清IP 化的意义

当前,国内外4K/8K 超高清视频产业正在快速发展。根据工信部、广电总局和中央广播电视总台联合发布的《超高清视频产业发展行动计划(2019-2022年)》,预计到2022 年我国超高清视频用户数将超过2 亿,带动形成约4 万亿元的庞大产业,成为继数字电视、高清电视之后视频领域的又一轮重大革命。传统电视制播承载在SDI 基带系统,一个4K 超高清信号带宽要12Gbps,而ICT(互联网通信技术)发展到今天25G、100G 的带宽有机会让超高清视频制播业务转换到IP 网络去。在全世界范围内,用IP网络承载超高清视频业务,中国的脚步也是最快的。而有国内一流技术公司的支持,让我们在IP 化的基础上,实现国产化成为可能。

image.png

二 总台IP 化进程

早在2017 年,总台第一辆4K IP 转播车B5 车采用Sony 的NMI 技术建成并投入使用,基于NMI 的IP 其实是相对封闭的系统,虽然信号经过浅压缩可以在10G网络里传输,但是封闭的IP系统,孤岛化的系统,没能体现出IP 系统的灵活可扩展以及资源的共享。2018 年基于GV 公司的解决方案,总台第一个4K IP 演播室E16 演播室建设成功,并完成2018 年总台4K 频道的首播。这套演播室系统采用TICO浅压缩技术,把4K 带宽从12G 压缩到3G,符合SMPTE 2022-6 的标准。2022-6 其实是HD SDIover IP 的标准,压缩位TICO 的IP 流不经过解码就无法被通用设备使用,但由于TICO 压缩到3G 后信号可以在原有3G-SDI 系统中传输,所以对上下游系统比较友好,在一段时间里,承载了大量总台4K演播室制播的任务。

2019 年4K 超高清视频发展迅速,IP 化技术和设备也迭代很快,SMPTE 2110 标准也逐渐成熟,这期间总台建设了800 平米演播室(Sony NMI),外场演播室系统(GV 2110 四流)。由于建设周期和厂家供货时间节点的限制,这两套系统都没能采用SMPTE 2110 单流4K 的解决方案,而是采用相对保守的Sony NMI,以及GV 四个高清2110 流拼成4K的过渡方案。

直到2019 年国庆阅兵的A3、A4 转播车,总台首次采用了SMPTE 2110 单流4K 的方案,为了保障安全,在监看部分还采用SDI 基带解决方案。

而2020 年建设并投入使用的综艺外场演播室系统,首次采用全SMPTE 2110 单流4K 完成节目制作、信号监看和应急切换。

可以看到在超高清IP 化的进程中,总台做了多种方案的尝试(图1),在建设和运行过程中也积累了相当的经验,而随着IP 化标准和技术的完善,超高清演播室系统的IP 化,形势也逐渐明朗,标准也基本统一。在制作系统IP 化的同时,总控调度分发系统,播出系统也都进行了IP 化的建设和努力。总台正在有序推进全台的IP 化体系建设。

第一阶段:在保留SDI 总体架构的基础上,逐步分系统推进IP 化进程。

第二阶段:建设IP 化总体架构,保留部分SDI基带系统接入的能力。

第三阶段:实现全台制播体系的全IP 化。

2021 年多个IP 化演播室和移动外场项目都在建设和准备当中。在推进IP 化的过程中,核心技术和设备过分依赖进口,软件管控本地化适配不足,运维能力有待提高等问题也接踵而来。

三 演播室IP 制作平台

超高清演播室IP 制作平台一方面解决了从无到有的国产化问题,一方面更先进的架构和技术理念摆脱了国外厂商技术生态的垄断,本平台可以对接任意SDI 或IP 接口、任意品牌的制播设备和系统,可以在行业内广泛推广,充分融合国内相关的软硬件产品,为电视制播行业实现全功能、全流程、国产化、可替代提供了切实可行的技术平台和解决方案,推动了国内超高清视频产业发展和传统广电行业产业升级。

整个系统基于IP 技术构建,符合国际超高清视音频系统搭建技术发展趋势,系统拓扑简单,搭建方便,基于IT 技术实现了智能化运维。

超高清演播室IP 制作平台应包括媒体节点层、核心网络层、综合管控层。如图2 所示。支持SMPTE ST 2022-6:2012、SMPTE ST 2110-20、SMPTE ST 2110-30、SMPTE ST 2110-40 信号,信号格式支持GY/T 155-2000、GB/T 32631-2016、GY/T 307-2017、GY/T 315-2018 标准等。

媒体节点层包括所有参与制作的核心设备和周边设备,如摄像机、切换台、字幕包装机、录制和播放器、多画面显示、延时器、网关和各类监视器等,它们都连接到核心网络层,并受到综合管控层的管理和监控。

核心网络层,主要由核心网络交换设备组成,可能是单台或多台设备,负责完成全系统所有信号的网络交换和路由。在核心网络层通常由网络控制器实现底层网络设备的路由交换的逻辑定义、负载均衡、保证信号无阻塞,并开放北向接口对接上层综合管控层。综合管控层,完成对整个视音频系统的管控,包括对操作人员呈现友好的人机界面,对接网络控制器及所有媒体节点设备,实现信号的管理和控制,包括切换面板、Tally 等辅助控制,完成最终的节目制作。主要技术特点如下文所述。

image.png

1. 面向4K/8K 超高清IP 制播应用的SDN解决方案

国际上演播室IP 化系统常常采用二三层组播的解决方案,基于IETF 标准组播网络协议(PIM+IGMP)和路由策略技术(QOS)实现。该方案应用于制播网场景时,在安全性、扩展性、开放性上都存在不足。

总台和合作单位自研的超高清演播室IP 制作平台,基于SDN 流表控制的技术架构和关键技术实现,针对广电行业强管控、安全性高的使用要求,采用了白名单准入(基于流表)、无阻塞调度等技术。针对演播室矩阵扩展性要求,采用了IP 交换矩阵支持视频媒体功能(如组播流表、组播NAT 流表、净切换流表、分组切换流表,相比于传统的终端网关IPG实现的方式,转发性能和转发时延上有大幅提升。在互联互通方面,平台与周边媒体设备之间不运行通信协议,实现了平台和周边设备全解耦,在国产化大背景下,可以让国产化媒体设备“完成一个替换一个”,提供新的替代路径。

自2012 年起,SDN 在ICT 领域已经逐步推广并广泛应用,主要应用在云计算数据中心、广域网、园区网三个场景,满足虚拟网络隔离、高品质连接、业务随性等特性。主要应用的技术包括VxLAN、EVPN+SRv6、全光网+WIFI 6+ 统一管理等。

SDN 应用在广电媒体领域,除了架构(应用层/控制层/ 网络层)保持一致,在具体技术、控制转发机制方面都有着根本区别。具体来看:

◆采用标准的南向接口协议Netconf+Yang 对IP矩阵转发设备进行控制,粒度为每条组播流(对应了每条视音频及辅助数据流);

◆采用无阻塞调度技术对视音频及辅助数据流量进行负载分担,解决视音频流量哈希不均匀,导致丢包、拥塞以及画面质量受损的问题;

◆采用逐流的调度机制,在接入节点进行白名单匹配,保证“合法才转发”;维护每条流逐跳端到端的转发路径,并提供可视化接口提供给上层应用,保证操作人员对每条流、每路信号端到端可视可管可控;

◆在转发技术上,支持广电行业代表性的组播流表、组播NAT 流表、净切换流表、分组切换流表,满足矩阵高性能高可靠转发要求。

◆在转发性能和可靠性上,广电行业安全播出要求矩阵必须具有高可靠、高性能的转发能力。如核心节点支持电源、主控、交换网等冗余,支持整板、整机所有端口全线速转发,面向4K/8K 演进支持几十Tbps 级别能力。

2. 基于IP 交换矩阵的4K/8K 超高清视频净切换及视音频同步分组切换

(1)超高清视频净切换

当前业界常采用专用切换台、IPG 网关等媒体设备完成净切换功能,切换台和IPG 基于内存+FPGA架构实现,采用“整帧画面缓存再切换”的方案,信号切换及转发时延在ms 级别,单机最高性能百Gbps/ 台,并且在切换时需要“双倍带宽”接收信号。总台和合作单位采用IP 交换矩阵“零缓存低时延”净切换算法及解决方案。IP 矩阵内置净切换功能,在切出视频流的一帧画面输出完整后,马上输出切入视频流,且要求必须从切入视频流的一帧画面的第一个包开始输出,以保证输出切入视频流的画面完整,在电视屏幕上就表现为一个画面迅速变换为另一画面。

在演播室场景中,该功能可以完成应急信号净切换要求,节约净切换IPG 设备投资。同时矩阵支持的净切换能力使整个矩阵的净切换性能提升到Tbps级别,如每台盒式IP 矩阵支持2Tbps 线速的净切换能力。较传统终端设备实现方式有了数量级的提升。IP 矩阵实现净切换的关键算法如下:

image.png

当前媒资视频按照SMPTE 2022、SMPTE 2110、RFC 3550 等规范,均承载在RTP/UDP 之上,要达到净切换的要求,需要在视频帧、音频帧、辅助数据的正确位置切断/ 开始转发视频流。

IP 矩阵具备RTP 报文头Marker、Timestamp 字段解析能力,能够识别Marker 字段,为1 时,表示该报文是视频帧、辅助数据的最后一个报文,音频帧不会跨报文,不需要看Marker 字段。

IP 矩阵还要在流间比对RTP.Timestamp 字段,以确保切换在视频流时间维度衔接。

IP 矩阵实现净切换的具体实现流程如图4 所示。

image.png

◆指令下发:控制器下发切换指令,IP 矩阵收到切换指令并对切换指令进行解析,得出切换音视频流的端口和数量,识别SMPTE 2022/ 2110 两种标准,确定对应切换点策略,进入切换状态,准备切换;

◆视频格式学习:媒资音视频流遵循SMPTE2022、SMPTE 2110 、RFC 3550 等规范,均承载在RTP/UDP 之上,视频格式学习前需先解析报文;

◆切换点计算查找:首先识别不同帧率、码率、扫描方式,细化切换点策略;再分析切入流和切出流

信息,确保切换在两个视频流中找到合适的切换点;

◆流切换:在切换点终止切出流报文,开始转发切入流报文;

◆切换完成:经过一定稳定时间,切换完成,切入切出流离开切换状态,恢复正常状态。

(2)超高清视音频分组切换

IP 交换矩阵除了对无压缩ST2110、ST2022-6 视频流进行切换,还需要同步对多条音频流、辅助数据流进行组切换。本项目创新采用视音频及辅助数据分组切换技术,提前将一组4K 信号多条组播流打包成一组,在切换时刻,以视频流净切换为基准,同步对多条音频和辅助数据流切换,保证信号调度的完整性和便捷性。

4K/8K 超高清演播室IP 制播平台根据规模不同采用多样化的组网架构,基于自研可编程网络芯片的网络设备研发面向4K/8K 超高清应用的IP 交换矩阵。通过深度报文解析识别帧边界,实现视音频净切换,将多条音视频信号捆绑成组并进行同步整体切换和视音频分组切换。基于IP 交换矩阵的视频流和音频流同步分组切换,分组以单路视频信号为主信号,组内包括若干路音频以及一路辅助数据信号。具体组合如表1 所示。在分组切换实现时,在IP 交换矩阵接入Leaf设备,会按照上层SDN 系统下发的分组策略,将制定的一路视频、若干路音频和一路辅助数据设置为一个信号Group 组,类似的产生多路这样的信号。当收到信号组切换指令时,以两个组内的视频净切换为基础,组内其他信号同步切换,达到高效切换的效果。

在分组切换时,还存在对等切换和非对等切换两种场景。对等切换是指输入group 组和输出group 组的流数量相同。如图5 所示。

image.png

非对等切换是指输入group 组和输出group 组的流数量不同,具体又分成三种情况,如图6 。

image.png

image.png

image.png

网络控制器按照业务要求,需要对非对等切换进行信号组合,并以组内视频流量净切换时间点为准,完成整组信号切换,到达信号组无损切换的效果。

3. 演播室业务流程管理多模态快速自动配置方法

高清化、智能化、规模化的全媒体交互式演播室集群能共享视音频系统、通话系统、同步系统、监视系统、控制系统等,实现多个演播室共同完成同一节目的制作。演播室通常由演播、制作、接收、传输、调度、收录等功能设备组成,通常会涉及到多个厂家的设备,如果每一档节目都有对设备参数逐一调整,然后再进行使用,则大大降低了工作效率,而且在参数配置过程中,很有可能出现误配的可能,影响了节目的制作。针对这个问题,系统采用“宏应用”模式,把设备参数根据应用配置成单独的参数文件,然后根据不同场景应用顺序把对这些参数文件的调用命令进行组合,成为一个单独的命令,通过一组子命令的自动执行实现超高清演播室多模态业务场景的快速自动配置,例如综艺节目场景到体育节目场景的切换,还包括演播室4K/8K 超高清模式到HD 高清模式的切换等。

4. 4K/8K 超高清IP/SDI 信号无压缩双延时和垫播处理技术

image.png

出于安全直播的需要,演播室的直播节目普遍采用了一种可延迟节目视音频信号的处理设备,从技术角度控制了非法信号和不适于播出的信号播放。通过高速缓存技术将高带宽、高速4K/8K 超高清无压缩信号存储在延时器中(建立延时),到预定开始播出时间时播出延时器中预存的内容(播出延时),从而在采集和播出延时之间建立了一个时间差,节目播出人员可以在延时时间内将不适合播出的内容进行剪切等操作,从而保证了节目的安全和连贯播出。

受限于4K/8K 超高清信号高速、高带宽数据限制,目前只在高清领域有成熟延时处理设备。为了超高清演播室直播安全需求,我们进行了超高清延时处理研究。

采用嵌入式硬件形态实现延时处理在实际业务场景比基于PC服务器硬件平台和延时播出软件更稳定可靠。内置矩阵控制模块,可以接入4K/8K 超高清SDI信号或者无压缩专业媒体IP 流视音频信号,满足超高清演播室混合信号源需求。

利用高速DDR 存储精确读写技术,视频数据延时时间由0 到180 秒调整,调节精确到帧,满足不同延时需求。

利用高速DDR 存储精确读写技术将采集的辅助信号无压缩存储在缓存里循环播放作为垫播信号。

采用了双通道延时处理机制,设备拥有两条独立的延时总线PGM bus 和PST bus,设置不同的延时时间,分别完成 PGM 播出与 PST 监看,让播出值班人员拥有充足的时间,可以根据视音频的故障点判断何时进行处理,最大程度保留了延时中的有效信号不被丢弃。

5. 4K/8K 超高清IP/SDI 信号无压缩多画面显示处理技术

image.png

支持4K/8K 超高清IP/SDI 信号混合接入,基于高速、高带宽、无压缩超高清视音频信号处理技术,实现独立的8 通道的超高清图像放大/ 缩小。该显示处理技术采用6 级滤波器(10bit/pixel),支持运动自适应去隔行低延时、自由的叠层显示、降噪、图像调整、图文叠加等图像处理,实现多通道、高画质、UMD、音柱、检测信息叠加的多通道画面监看需求。

6. 4K/8K 超高清IP/SDI 信号无压缩双向封装处理技术

image.png

◆采用可承载4K/8K 信号的FPGA 技术,通过协议分析、软件仿真、FPGA 程序仿真、系统调优等方法实现4K/8K SDI/IP 端口双向转换处理,并实现ST2022-7 功能。通过对PTP 同步误差进行滤波处理、误差修正,实现PTP 校时;

◆采用高端FPGA+ARM 硬件处理平台以及高速多层电路板设计技术,解决多路 48G 8K 信号高带宽、高吞吐量实时处理。(基于ST2110-10/20/30 /40 协议);

◆采用高速滤波和误差修正处理技术,构建纳秒级PTP 校时系统,实现多路信号系统同步,以及视音频之间的同步。(基于ST2059-2 协议);

◆采用高速数据缓存对比技术,实现双路8K IP信号无缝切换(基于ST2022-7 协议)。

image.png

四 IP 化的思考与展望

总台和合作单位自研的演播室IP 制作平台,参展了上海工业博览会和广州的超高清视频产业发展大会,取得了良好的社会反响。

image.png

国内的IP 化制播,一方面是由于4K/8K 超高清对高带宽的要求,另一方面融合媒体和互联网视频先天的IP 化优势,要求传统专业广电媒体在技术基础架构上要有实现适配的可能,ICT 技术发展迅速,远程制作、云制作,大数据分析和智慧媒体都需要IP 化的基因作为基础。SDI over IP、SDVoE、NDI 等等IP 化的技术不断更新演进,4K、8K 超高清的需求也在逐渐释放,5G 结合VR/AR/XR 又让高新视频充满无限的想象,所以广电专业媒体制播全面IP 化是发展的必然趋势,现在IP 化进程和国产化研究还有很多东西不尽完善,在不远的将来必将回馈给大家更美好的视界。


本文受国家重点研发计划资助(National Key R&D Programof China),“4K 超高清电视制播系统研制”项目,项目编号:2019YFB1804300(课题一:2019YFB1804301)

转载请注明来源:《现代电视技术》 作者:中央广播电视总台 蔺飞