广东广播电视台全域多维安全播出 智能监控系统设计及应用

本文主要介绍了全域多维安全播出智能监控系统 设计的主要功能及技术方案,结合在新闻演播室 的实际应用,详细介绍了该系统如何解决新形势 下安全播出遇到的痛点与难点问题。

摘要

新形势下电视新闻直播通过不断地引入新技术创新节目形式,节目播出流程变得越来越复杂,需要更多的操作人员相互配合完成新闻的播出,人因为容易受到心理、生理、技能等多方面的影响而出现较大的不确定性,已成为影响安全播出的最主要因素。为了保障安全播出,安全播出管理者通过不断优化、细化、深化各项管理措施,来进一步降低人为因素的影响。然而目前安全播出管理工作仍然存在监控难覆盖、故障难定位、复盘难统一、演练难促成等难点与痛点问题。本文作者自主创新设计开发了一套全域多维安全播出智能监控系统,致力于协助管理者从组织层面解决新闻生产播出流程中播前、播中及播后存在的问题,进一步减少因人为因素导致的安全播出事故。

一 系统设计目标

系统基于多模态的设计理念,通过多层面的监测、多维度的管理、多功能的应用,实现对演播室播出信号传输通道、操作流程以及人员岗位进行智能化实时监测,其核心目标:通过技防和人防实现立体防控,通过全程采集技术实现全域留痕;定制统一界面实现多维追溯查看。通过演播室全域多维安全播出智能监控系统的应用,能够用团队取代对能人的依赖,不再只是依靠部分少数技术能力强的人员解决问题,而是整个技术团队协作共同处理问题;用训练取代对状态的依赖,通过不断的重复训练,确保操作流程入脑入心,让应急处置成为本能反应;用流程取代对经验的依赖,制定标准化操作流程,不再是每个人保留各自的操作习惯;用机制取代对责任的依赖,建立完善的机制来保证整个团队必须做好,而不只是靠个人责任心。具体设计思路如下:

◆对各个节点的传输通道指标状态进行自动技审和画面一致性智能比对,实时检测报警,触发收录功能,准确定位故障节点,提高应急处理的水平;

◆实现播出信号、监控摄像头信号统一采集,根据设定的时间进行多路信号的录制及统一存储,可对多路信号进行拼接录制及统一存储、查询;

◆实现试机、播前检查、播出流程全流程的监测与管理,通过业务流程监测、人员在岗监测与多屏录制回显的有效结合,形成有效的监管机制;

◆实现对日常应急演练进行全程监录,对照应急预案的基本流程,强化应急操作规范化管理;

◆针对报警信息的有效过滤机制,通过定制化的界面展现形式,保证适配不同监测内容的统一展示界面,报警列表与故障回显画面素材的统一管理。

二 系统设计原则

1. 三个“统一”原则

◆时间统一:所有摄像探头、播出画面的录制统一授时、录制画面统一时间线,以保证故障原因追溯的时间条件统一可查;

◆画面统一:多屏拼接录制,实现画面内容的统一查看与管理;

◆存储统一:多路信号拼接录制,所有录制视频统一存储、统一管理。

2. 两个“浓缩”原则

◆空间浓缩:将演播室内各机位摄像探头画面浓缩到同一平面,同时查看,突破空间限制;

◆时间浓缩:记录故障时间点多维度画面,真正实现“哪里有事看哪里”。

三 系统实现的主要功能

1. 全域留痕功能

该功能模块主要解决新闻生产过程中播前与播中的难点与痛点问题,全程采集记录演播室生产流程(试机模块、播前检查流程、应急演练流程、新闻直播全程)监控信息,包括岗位情况确认、技术情况确认、播前情况确认。

image.png

(1)试机与播前检查流程监控功能

配合录制与拼接回看模块,实现播前检查全程监录,对照播前检查的基本流程,强化规范化操作管理,检查一项确认一项,杜绝设备检查走过场、操作不规范不标准的情况。图1 所示为试机模块界面。

(2)新闻直播流程监控

配合录制与拼接回看模块对直播过程中各岗位操作情况进行全程监录,一旦发生故障后,可以快速通过统一界面进行多维回溯查看,展示各岗位操作情况,提供事后分析的辅助手段。

2. 智能提醒与故障定位功能

该功能主要通过监测演播室播出信号视音频技术参数,并采用一套智能比对算法,发现演播室播出通道各节点的播出异态,智能分析故障内容和故障点,并通过可视化的实时信号链路图来展现实时信号状态和故障提醒,帮助技术人员第一时间发现问题、定位故障点。

(1)视音频自动技审功能

通过对采集的播出通道各节点信号的视音频技审参数进行智能分析,判断信号质量。当分析结果为视频丢失、彩条、黑场、彩场、静帧,音频静音、峰值过高、VU 过高、相位反相等信号异态时,触发实时报警提醒,记录故障日志,录制故障画面。播后可以通过记录的故障日志及画面进行进一步的故障分析判断。

image.png

(2)视音频一致性比对功能

系统将在播出系统中使用的视音频一致性比对功能拓展到新闻演播室应用场合,通过对多路输入信号的视音频信号画面进行“指纹”提取,并使用基于并行分布式的“指纹”比对算法,对信号内容进行两两比对,当出现视频或音频比对结果不一致时,界面出现红色报警,触发报警指示灯闪烁提醒,同时记录故障日志,并对故障视频进行录制存储。

通过对信号视音频内容的自动技审和一致性比对,能帮助技术人员自动分析并记录信号异态,技术人员可以通过使用该功能,快速定位到直播过程中遇到的信号故障点和故障内容,及时采取有效措施。

系统对视音频信号的技术参数技审和一致性比对可精确到帧,考虑到新闻直播节目的实际情况,正常使用时将技审与一致性比对阈值设置为2 秒,可以有效平衡系统的容错与误报性能,起到了比较理想可靠的应用效果。

3. 多维复盘(多屏拼接录制)功能

该功能主要解决新闻生产流程中播后急需处理的难题,通过将收录的试机场景、播前检查场景、新闻直播场景等不同的信息,统一分析、统一管理、统一展现,实现演播室人- 机- 流程多维度复盘总结。通过NTP 校时技术将各业务应用场景下演播室主、备播出信号,8 路导控室人员工作状态监录画面统一授时,通过采用多路信号实时帧精确拼接技术,解决由于空间距离原因无法采用单视频采集多个场景画面的技术难题,将多路局部区域采集的信号录制并渲染整合拼接显示,开发统一管理查询页面,实现多屏回看功能,支持根据信号故障日志进行查询和回看,实现各节点的空间与时间浓缩,协助管理人员快速追溯问题原因。

4. 模拟演练功能

该功能主要通过对事前、事中及事后追溯发现的问题,设计针对性的模拟演练题目,然后配合录制与拼接回看模块,将演练过程进行视频录制和数据记录,数据记录包括参与演练人员、演练题目、演练频次等。在不断积累演练经验之后,系统通过智能计算,自动分析演练薄弱环节,并实现自动抽题,自动派题,避免无价值的演练,有效提升演练效果,帮助技术人员不断提升薄弱环节的技术水平,减少安播事故的发生。

四 系统方案

1. 系统拓扑图

系统核心的拼接录制平台为嵌入式一体机,采用国产海思芯片,搭载Vivante 的GC4000 系列GPU,是国内目前切实可用的高端GPU,录制机采用ARM 架构,Linux 操作系统,功耗低、性能高,同时支持Thumb(16 位)/ARM(32 位) 双指令集,极大地提升了指令处理效率。在录制过程中,采用两平台之间级联的方式实现8 路摄像头信号和2路SDI 信号的实时录制,编码底层使用多路并行技术,一路进行显示,另一路用来编码,减轻编码的压力。基带信号检测采用一款紧凑型基带信号检测仪,可以实时检测12路SD/HD/3G-SDI 信号, 以极低的延迟通过以太网输出报警信息,还可以实时传输信号的视音频内容到第三方设备,远程实时监看到信号的画面内容。检测仪核心功能基于FPGA 纯硬件,控制系统基于工业级嵌入式平台,安全稳定。

image.png

监测、一致性比服务器均采用机架式服务器,其中监测服务器主要实现信号的集中监控,并将监控状态信息进行汇聚展现。一致性比对服务器完成对演播室播出通道节点信号画面进行“指纹”提取,对其唯一身份标识“指纹”进行比较,输出比对结果。

2. 总体架构与业务流程

本系统的总体架构如图4 所示,主要分为业务层、微服务层、数据层和中间件这四个层次。

image.png

(1)中间件

该层主要是使用NTP 统一授时,实现时间统一,让所有摄像头信号、直播信号、录制画面在时间上保持一致。

(2)数据层

在数据层,使用MySQL8数据库保存业务系统数据,使用redis 内存数据库保存用户登录等数据,保证数据的安全、稳定和高效。另外,使用专业的视频存储来保存收录下来的拼接视频和摄像头视频等大型文件,使用Bigtera 对象存储来保存大量的小文件,提升存储性能。

(3)微服务层

基于上述中间件和数据层,本系统设计了基于Spring Boot 框架的微服务层,该层主要分为安全播出智能监控系统后台服务和信号通道监测后台服务两个主体服务,同时使用SSO 单点登录用于辅助多个微服务之间的登录连接工具。安全播出智能监控系统后台服务使用多维信号录制机作为硬件平台,用于摄像头信号和直播信号的画面拼接,使用指纹识别器实现人员识别和确认,配合其他服务模块,实现拼接录制、应急演练、复盘查询等功能;信号通道监测后台采用并行分布式序列模型算法,对信号进行技审和比对检测。通过这两个部分,实现了空间统一、全域留痕和立体防控。

(4)业务层

在业务层,由演播室全域多维安全播出智能监控系统作为主体业务系统,用于对演播室直播中的试机、播前检查、新闻直播、应急演练进行事前辅助演练、事中辅助录制和故障快速定位、事后辅助复盘定位。

五 系统设计主要技术创新点

1. 基于HFACS 的演播室直播领域的全域留痕安全播出智能监控系统

系统基于作者将人因分析与分类模型用于广播电视新闻直播安全播出异态分析,得出人的不安全行为是导致安全播出异态的最主要原因,本项目从顶层设计着手,采用全程采集技术实现全域留痕,通过对演播室播出信号传输通道、操作流程以及人员岗位的播前、播中、播后进行智能化实时监测、录制、复盘、分析,解决演播室系统中监控难覆盖、故障难定位、复盘难统一、演练难促成等问题,螺旋式提高安全播出水平。

2. 基于NTP 校时和嵌入式画面拼接录制器的演播室多维立体防控存储管理系统

本项目通过画面拼接器实现各节点的空间与时间浓缩,引用NTP 校时协议统一各节点时间,再结合统一的存储与管理,促成了多方位全方面的立体防控策略。通过多画面拼接设备将拼接画面和单路画面统一存储到服务器,定制管理页面实现监测信息的统一管理和监看。

3. 基于并行分布式的演播室直播链路信号一致性逐帧智能比对系统

本项目在信号比对中采用了并行分布式、切片、AVX512 等前沿技术和算法,保证了信号比对的准确和高效;在信号技审内容检测方面,采用了嵌入式的硬件设备对信号技审参数进行智能分析,逐帧检测技审异态。当发现演播室播出通道各节点的播出信号异态时,帮助自动定位故障点,分析故障内容,并记录故障信息。

六 系统应用情况

为解决安全播出问题,系统设计规划时将安全播出的流程规范整合其中。初期主要部署在2 个演播室系统。系统投入使用后,增强了安全播出的监管力度,推动了新闻演播室各项规章制度进一步落实到位;提升了演播室技术系统的监测能力,故障提醒更加及时,异态事件追溯查找更加快速,有效减少了人力、物力与财力,提高了安全播出的管理效率。

在实际应用中,我们重点加强了系统应用管理,不断完善系统应用场景,形成演播室监测管理规范,对于已经产生安全播出异态的事件第一时间通过安全播出智能监控系统进行追溯查找分析原因。制定由负责安全播出的科组长定期对录制采集的多维度画面进行抽查回看,及时发现安全播出潜在隐患,降低安全播出事故发生的概率。

七 总结与展望

该系统通过应用新技术,实现了监控理念、信息采集方式、复盘模式以及演练方式等创新,提升了设备、人员、信号协调联动的能力,推动了安全播出管理模式的创新,系统达到了设计的功能,有力提升台新闻安全播出保障工作的水平。展望未来,我们将继续拓展系统功能,将目前独立的演播室系统设备管理运行监测系统纳入到安全播出智能监控系统统一运行管理,将故障定位功能与设备状态监测相关联,以期通过人工智能分析,更及时主动地发现设备安全隐患。

转载请注明来源:《现代电视技术》 作者:广东广播电视台 王良涛 李文伟