专业音视频领域中,Pro AV的崛起之路
编者按:在技术进步的加持下,AV行业发展得如何了?本文采访了两位深耕于广播电视行业的技术人,为我们介绍了专业音视频的进展:一位冉冉升起的新星:Pro AV以及FPGA在其中发挥的作用。
美国,拉斯维加斯,一个巨型球幕缓缓睁开了它的双眼,如神一般俯视着众人。
这个名为MSG Sphere的大型剧院位于拉斯维加斯市中心,它高约90米,宽约150米,外面被LED屏幕覆盖,显示面积是IMAX的40多倍,采用多台8K摄像机来捕获360度全景视频,为现场观众提供比当今最佳高清电视清晰100倍的身临其境的体验。
如今,沉浸式影音世界的出现离不开专业的多媒体制作。而在多媒体领域,技术人们正不断突破着距离和时间的桎梏,向着真正的沉浸式前进。MSG Sphere带来了身临其境的沉浸式音视频效果,那么在广播电视行业,我们的“沉浸式”做的怎么样了?
1
Pro AV的崛起
如今,人们对于高质量的视频需求与日俱增,在体育赛事、文艺活动领域,传统的单一机位早已不能满足观众日益增长的需求。要想达到沉浸式的观看体验,首先就要攻克三个大难题:低延迟、高画质和更高的分辨率。
而多机位——它代表了更多的设备、更多的接口,以及更多的金钱。于是,为了在节约成本提高效率的前提下,一些厂商开始采用AV over IP的方式进行视频的传输和制作。
什么是AV over IP呢?与传统的AV系统不同,AV/IP是在标准IP网络上传输和切换视频和音频信号源。在两种AV方式中,主要的构架都差不多。在IP方式中,音视频信号发送器变被换成了编码器,音视频信号接收器被变成了解码器,音视频切换器成为了标准的“IP交换机”。
AV over IP概念已存在了一段时间,它囊括了从基于互联网的直播或点播视频流,到广电制作中的专业视频传输的一切。在过去几年,采用IP架构来替代传统的AV结构成为行业趋势,IP分布式也早已被接受并应用于各个领域中。
标准、安全?
从硬件化的AV方式向IP方式转变,其中最大的一个争议就是安全性问题,通常大家都认为IP方式比传统方式引入了更多的安全风险,AV over IP安全吗?
要回答这个问题,首先要抛出一个反问:“传统的AV为什么安全,它真的安全吗?”
这个反问正是来自长沙千视的CEO左振宇,他也是深耕于AV over IP的老兵,“传统的AV因为是走专有的线路、电缆构成的封闭体系,所以没有人能够通过网络和公共IP进入到那个体系里。用我们网络安全的术语来说,它其实就是建立在一个隔离的基础上。所以,回到AV over IP 的领域来说,如果要保证安全,其实也没错,最基础、最有效的手段就是做隔离。这一点,我想在AV over IP的系统里也是值得学习的,因为就像我们其他的IT设施,如果你不做有效的隔离,不通过设置防火墙这样的一些保障的手段,那同样我们也存在安全隐患,所以我想这是第一手段。但通过有效的隔离、数据的加密以及不断针对具体场景优化可以保护得很好。”
伟乐科技的研发经理袁海涛也告诉我们,在转成IP后,无论是在系统的控制、稳定性还是在共享的便利性上都有很大的提升。
“我们在做视频传输的时候,最明显的一个例子就是以前我们可能会面临一个矩阵设备要跟多个终端共享,我们只能通过不断增加设备来实现。转换成IP后,当我面对40多甚至是100多个终端的时候,用一台或几台核心交换器就可以将这些设备替换掉。AV over IP的技术加上我们平台的可视化操作对用户的体验感是非常好的。”
因此,除了一些长时间使用传统的AV设备的客户需要慢慢过渡以外,很多老客户对于AV over IP的信任和接受度都非常好。当然,这与伟乐自身的科技硬实力有关。2014年收购Sencore后,其核心技术又有了无可替代的护城河。目前,伟乐科技已经成为AV over IP领域的佼佼者,其市场份额占据行业前列。
伟乐科技子公司Sencore于 2023美国InfoComm展会
与伟乐科技不同,千视的NDI自研之路显得更加机缘巧合了。2016年初,NDI的创始公司New Tek找到千视,期望能创造一种基于IP的视频传输协议。当时,New Tek已经做了很多技术上的铺垫,但都仅仅实现在软件上。如何在嵌入式设备上实现NDI的运行,是左振宇一直在思考的一个问题,这一点也和New Tek不谋而合。
“对于我们来说,从业20多年,我们非常希望能够打造一个基于网络来实现从视频的采集、传输、分发、制作和存储等一整个完整的体系。所以当时我们也是不谋而合,所以我们就决定不遗余力地去做。”
从2016年开始,千视就一直致力于让NDI技术变得更加完善。早期,NDI技术还存在很多不足,但New Tek持续不断地对NDI进行着更新。直到2018年,用于FPGA开发的NDI嵌入式SDK NDI 3.8出现,才代表着NDI真正地走向成熟。
左振宇告诉我们,“放眼望去我们能够看到的微软、松下、Adobe等等,它们都是支持NDI的。现在,全世界对于NDI的认可度也越来越高,所以在AV over IP领域NDI一定是影响力最大的。”
2
AV over IP下的行业案例
IP为AV over IP带来更多可扩展切换的可能,打破传输距离的障碍,提高了输入与输出设备的数量,超越了本地化的视频标准,与数据和通信的融合更密切。如何将AV over IP部署在合适的场景里,实现利用的最大化,是很多企业要仔细思考的问题。从千视的角度来看,他们将60%的精力用在老本行广播电视领域,而另外40%则投入在更多细分的具体场景里。
2021年,长沙千视为泰国Siriraj 医院提供的NDI视频传输方案
在泰国Siriraj 医院的皇后心脏治疗中心里,医生们希望从手术室八台以上的医疗监护设备中获取信号,并将其输出到会议室的监视器上显示。同时,他们还要随时切换每个房间的视频信号,以便通过医疗会议的形式教授医学生及当时不在场的医生,而NDI 很好地满足了他们的这一需求。
一般来说,医疗设备输出都是HDMI和DVI格式的视频,而且皇后心脏治疗中心还需要编解4KP60的视频,因此他们选择了 14 台Kiloview N40 NDI 双向编解码器。另外,为了使所有的编解码器整洁好操作,他们还购置了千视的1U/3U机箱,与多功能切换器“NewTek TriCaster”一起搭配使用,这样既可预设切换和录制视频,还可通过 Zoom 在线上会议中呈现视频。
伟乐科技的案例则要更“接地气”一点。
2020年疫情防控期间,为响应国家要求,伟乐科技对全国300多个县、区部署了应急广播,实现区县的广播体系由各自为营到统一标准的成果。
偏远山区存在着“常住人口分散、人口密度不均的情况”。比如,当省级有重大的气象灾害需要提前预报的情况下,无法通过广播一键下发到各个地方,地方也没有可以统一接收上级消息的渠道,从国家层面来说没有办法做到整体控制。
而伟乐科技要做的就是:统一收发,所有信息同时做到接入稳定;多信号、链路的备份,在信源切换时做到稳定。
在IP分布式部署时,伟乐也遇到了一些难题。“就拿大并发来说吧,当一个市下发广播的时候,要面临的是上万个终端。当然,我们要把基础硬件本身的性能提升上来,这是最基础的。除了这一块外,我们也会采用自主研发的一些核心技术。在同一时间内,我们如何通过我们自己的技术方案把应急广播消息同时下发给这个多个终端呢?比如说,我们可以通过逐机下传,把广播消息通过一个亿级的适配器把它进行下发,然后最终传到终端来,而不是通过所有的终端都到我们平台这边来进行一个广播处理。所以这样的话,就可以把广播消息的并发量转移到适配器上进行有效处理。”袁海涛告诉我们。
在实际部署上,伟乐科技在没有改变村民的操作的前提下对技术做了IP化改进方案,做到了以科技改变生活。
技术选型背后的支撑
在相对复杂的应用场景里,MPSoC作为一款高性能多处理器的系统,为伟乐科技的产品落地带来了便利。
“在有的行业里,除了要把高画质的视频进行本地共享以外,还需要同时推送到广播电视渠道,推送到多媒体、视频媒体渠道。在这种情况下,我们就可以利用MPSOC VCU H.264这个这种内置的VCU对视频进行编码处理和深度压缩,之后再把它发送或传输到广播系统里或者上星等一系列操作。”伟乐科技的袁伟涛告诉我们。
相对于专业视听领域,不论是时延、帧同步还是画质的要求都会更高。在第一次提供世界杯转播的时候,涉及到多个镜头来回切换的问题,伟乐采用FPGA和自研技术反复测试,最终攻克难关。
说回NDI。被称为“Speed HQ”的NDI的编解码算法是一个经典的图像压缩和解压缩的算法,但唯独有一个缺陷就是:通过CPU进行计算会消耗大量的计算资源。
如何实现Speed HQ的算法?千视在技术选型中看到了FPGA的闪光点,作为一个独立的硬件逻辑,只要找到合适的硬件资源就可以不消耗CPU来进行计算。对比下来后,AMD的Zynq是最适合的解决方案。
“NDI的特点是需要软件的协议和处理,那么我们通过Zynq在逻辑端实现NDI的编解码算法,在ARM端跑NDI的SDK以及网络的收发。这样的一种分工协同就实现了技术的最大化利用。”左振宇说道。
3
尾声
1984年,Ross Freeman 发明了FPGA ,为产业打开了一扇新的大门。39年来,FPGA应用领域不断拓展,成为IC验证、航空航天、通信、汽车、数据中心和工业领域不可或缺的关键器件。
当技术的小细节散落在各个行业内,就像星星之火,散发着属于自己的光,而这些光,铸就了我们在生活中的便利。无论是伟乐科技的应急广播,还是长沙千视背后的NDI技术,背后都离不开AMD旗下的FPGA技术奠基。
10月19日下午14:00 – 16:30,AMD特邀各生态合作伙伴的音视频技术专家,共同举行专业音视频技术与方案的在线专场研讨会,为广大从事专业音视频以及相关行业应用的从业人员带来一场技术与方案的技术盛宴,共同探讨音视频技术的应用方向,展望新兴音视频技术所带来的全新视听享受。
10月19日 14:00 – 16:30
AMD ProAV技术与方案分享专题研讨会
扫描上方二维码或点击阅读原文 即可预约活动
参考文章:
《AV over IP生态系蓬勃发展 NDI/ST 2110/IPMX/Dante各顯神通》
《为什么AV over IP解决方案在视听行业如此受欢迎?》
《AV over IP和传统AV解决方案,谁更适合你的项目?》
图源:
JALEN LEE/Unsplash/网络
相关文章:

专业音视频领域中,Pro AV的崛起之路
编者按:在技术进步的加持下,AV行业发展得如何了?本文采访了两位深耕于广播电视行业的技术人,为我们介绍了专业音视频的进展:一位冉冉升起的新星:Pro AV以及FPGA在其中发挥的作用。 美国,拉斯维加…...

vscode 右侧滚动条标记不提示,问题解决纪录
问题描述 用vscode看代码时,我希望在右侧提示一个变量在文件下都在那里使用,在那里赋值,之前该功能是存在的,当我打开一个新的文件夹时这个功能消失了。 解决办法 在setting.json文件下输入 "C_Cpp.intelliSenseEngine&…...

【Java 进阶篇】JavaScript特殊语法详解
JavaScript是一门非常灵活的编程语言,允许开发人员使用多种不同的语法和技巧来解决各种问题。本篇博客将深入探讨JavaScript中的一些特殊语法,这些语法可能不是常规的JavaScript编程知识,但它们对于理解语言的强大之处以及在某些情况下解决问…...

PCL点云处理之配准中的匹配对连线可视化显示 Correspondences(二百一十九)
PCL点云处理之配准中的匹配对连线可视化显示 Correspondences(二百一十九) 一、算法介绍二、算法实现1.可视化代码2.完整代码(特征匹配+可视化)最终效果一、算法介绍 关于点云配准中的匹配对,如果能够可视化将极大提高实验的准确性,还好PCL提供了这样的可视化工具,做法…...

Vue el-table全表搜索,模糊匹配-前端静态查询
后端返回的数据是全部的数据,没有分页,前端需要做的是分页全表模糊查询 代码: //根据关键字对表全局搜索 globalSearch() {//为了拿到对象的列名let filterList Object.keys(this.tableData[0]);if (this.searchWord) {this.tableFilterDat…...

基于html5开发的Win12网页版,抢先体验
据 MSPoweruser 报道,Windows 11虽然刚刚开始步入正轨,但最新爆料称微软已经在开启下一个计划,Windows 12 的开发将在 去年3 月份开始。德国科技网站 Deskmodder.de 称,根据内部消息,微软将在 2022年3 月开始开发 Wind…...

Studio One6.5中文版本下载安装步骤
在唱歌效果调试当中,我们经常给客户安装的几款音频工作站。第一,Studio One 6是PreSonus公司开发的一款功能强大的音频工作平台,具有丰富的音频处理功能和灵活的工作流程。以下是Studio One6的一些主要特点: 1.多轨录音和编辑&…...

Java架构师缓存架构设计解决方案
目录 1 缓存常见的三大问题1.1 缓存雪崩1.2 缓存穿透1.3 缓存击穿2 缓存key的生成策略3 热点数据集中失效的问题4 如何提高缓存的命中率5 缓存和数据库双写不一致的问题6 如何对缓存数据进行分片想学习架构师构建流程请跳转:Java架构师系统架构设计 1 缓存常见的三大问题 缓…...

【玩转Redhat Linux 8.0系列 | 实验—使用Bash shell执行命令】
今天继续分享一些Redhat Linux 8.0的知识,记得关注,会一直更新~ 访问命令行 任务执行清单 在本实验中,您将使用Bash shell来执行命令。 成果 使用Bash shell命令行成功运行简单的程序。 执行用于识别文件类型并显示文本文件部分内容的命…...

Linux系统编程详解
Linux 多线程编程 什么是线程? 与线程类似,线程是允许应用程序并发执行多个任务的一种机制 线程是轻量级的进程(LWP:Light Weight Process),在 Linux 环境下线程的本 质仍是进程。 一个进程可以包含多个线…...

ios设备管理软件iMazing 2.17.11官方中文版新增功能介绍
iMazing 2.17.11官方中文版(ios设备管理软件)是一款管理苹果设备的软件, Windows 平台上的一款帮助用户管理 IOS 手机的应用程序,软件功能非常强大,界面简洁明晰、操作方便快捷,设计得非常人性化。iMazing官方版与苹果设备连接后&…...

算法通关村第18关【青铜】| 回溯
回溯算法是一种解决组合优化问题和搜索问题的算法。它通过尝试各种可能的选择来找到问题的解决方案。回溯算法通常用于问题的解空间非常大,而传统的穷举法会导致计算时间爆炸的情况。回溯算法可以帮助限制搜索空间,以提高效率。 回溯算法的核心思想是在…...

【环境搭建】linux docker-compose安装seata1.6.1,使用nacos注册、db模式
新建目录,挂载用 mkdir -p /data/docker/seata/resources mkdir -p /data/docker/seata/logs 给权限 chmod -R 777 /data/docker/seata 先在/data/docker/seata目录编写一个使用file启动的docker-compose.yml文件(seata包目录的script文件夹有&#…...

20231008-20231013 读书笔记
计算机硬件 基本硬件系统:运算器、控制器、存储器、输入设备和输出设备中央处理单元(CPU):运算器、控制器、寄存器组和内部总线等部件组成 功能:程序控制、操作控制、时间控制、数据处理运算器:ALU、AC、DR、PSW控制器…...

YOLOv8 windows下的离线安装 offline install 指南 -- 以 带有CUDA版本的pytorch 为例
文章大纲 简介基础环境与安装包的准备windows 下 lap 包的离线安装conda 打包基础环境使用 pip 下载 whl 包特别的注意:pytorch cuda 版本的下载迁移与部署流程基础python 的conda 环境迁移与准备必备包: 安装cuda 版本 的torch,torchvision,ultralytics参考文献与学习路径…...

百度车牌识别AI Linux使用方法-armV7交叉编译
1、获取百度ai的sdk 百度智能云-登录 (baidu.com) 里面有两个版本的armV7和armV8架构。v7架构的性能比较低往往需要交叉编译,v8的板子性能往往比较好,可以直接在板子上编译。 解压到ubuntu里面。这里介绍v7架构的。 2、ubuntu环境配置 ubuntu下安装软件…...

数学建模——确定性时间序列分析方法
目录 介绍 确定性时间序列分析方法 1、时间序列的常见趋势 (1)长期趋势 (2)季节变动 (3)循环变动 (4)不规则变动 常见的时间序列模型有以下几类 2、时间序列预测的具体方法 …...

Opencv——颜色模型+通道分离与合并
视频加载/摄像头调用 VideoCapture允许一开始定义一个空的对象 VideoCapture video VideoCapture(const String &filename,int apiPreferenceCAP_ANY) filename:读取的视频文件或者图像序列名称 apiPreference:读取数据时设置的属性,例如编码格式、是否调用Op…...

解码自然语言处理之 Transformers
自 2017 年推出以来,Transformer 已成为机器学习领域的一支重要力量,彻底改变了翻译和自动完成服务的功能。 最近,随着 OpenAI 的 ChatGPT、GPT-4 和 Meta 的 LLama 等大型语言模型的出现,Transformer 的受欢迎程度进一步飙升。这…...

【前端设计模式】之迭代器模式
迭代器模式是一种行为设计模式,它允许我们按照特定的方式遍历集合对象,而无需暴露其内部实现。在前端开发中,迭代器模式可以帮助我们更好地管理和操作数据集合。 迭代器模式特性 封装集合对象的内部结构,使其对外部透明。提供一…...

【Android知识笔记】图片专题(BitmapDrawable)
如何计算一张图片的占用内存大小? 注意是占用内存,不是文件大小可以运行时获取重要的是能直接掌握计算方法基础知识 Android 屏幕像素密度分类: (其实还有一种 ldpi = 120,不过这个已经绝种了,所以最低的只需关心mdpi即可) 上表中的比例为:m : h : xh : xxh: xxxh = …...

前端工程化知识系列(10)
目录 91. 了解前端工程化中的容器化和云部署概念,以及如何使用Docker和Kubernetes等工具来实现它们?92. 你如何管理前端项目的文档和知识共享,以确保团队成员都能理解和使用前端工程化工具和流程?93. 了解前端开发中的大规模和跨团…...

大数据flink篇之三-flink运行环境安装(一)单机Standalone安装
一、安装包下载地址 https://archive.apache.org/dist/flink/flink-1.15.0/ 二、安装配置流程 前提基础:Centos环境(建议7以上) 安装命令: 解压:tar -zxvf flink-xxxx.tar.gz 修改配置conf/flink-conf.yaml࿱…...

Redisson使用延时队列
延时队列 在开发中,有时需要使用延时队列。 比如,订单15分钟内未支付自动取消。 jdk延时队列 如果使用 jdk自带的延时队列,那么服务器挂了或者重启时,延时队列里的数据就会失效,可用性比较差。 Redisson延时队列 …...

基于php 进行每半小时钉钉预警
前言 业务场景:监控当前业务当出现并发情况时技术人员可以可以及时处理 使用技术栈: laravelredis 半小时触发一次报警信息实现思路 1、xshell脚本 具体参数就不详细解释了,想要详细了解可以自行百度 curl -H "Content-Type:appl…...

5.Python-使用XMLHttpRequest对象来发送Ajax请求
题记 使用XMLHttpRequest对象来发送Ajax请求,以下是一个简单的实例和操作过程。 安装flask模块 pip install flask 安装mysql.connector模块 pip install mysql-connector-python 编写app.py文件 app.py文件如下: from flask import Flask, reque…...

八皇后问题的解析与实现
问题描述 八皇后问题是一个古老而又著名的问题。 时间退回到1848年,国际西洋棋棋手马克斯贝瑟尔提出了这样的一个问题: 在88格的国际象棋上摆放八个皇后,使其不能互相攻击,即任意两个皇后都不能处于同一行、同一列或同一斜线上,问一共有多少种摆法。 如何找到这所有的…...

论文浅尝 | 深度神经网络的模型压缩
笔记整理:闵德海,东南大学硕士,研究方向为知识图谱 链接:https://arxiv.org/abs/1412.6550 动机 提高神经网络的深度通常可以提高网络性能,但它也使基于梯度的训练更加困难,因为更深的网络往往更加强的非线…...

进阶JAVA篇- DateTimeFormatter 类与 Period 类、Duration类的常用API(八)
目录 1.0 DateTimeFormatter 类的说明 1.1 如何创建格式化器的对象呢? 1.2 DateTimeFormatter 类中的 format(LocalDateTime ldt) 实例方法 2.0 Period 类的说明 2.1 Period 类中的 between(localDate1,localDate2) 静态方法来创建对象。 3.…...

1.1 Windows驱动开发:配置驱动开发环境
在进行驱动开发之前,您需要先安装适当的开发环境和工具。首先,您需要安装Windows驱动开发工具包(WDK),这是一组驱动开发所需的工具、库、示例和文档。然后,您需要安装Visual Studio开发环境,以便…...