当前位置： 首页 > news >正文

Mediasoup源码介绍

news 文章来源：https://blog.csdn.net/zrjliming/article/details/132817206 2024/11/2 4:34:06

一、Mediasoup 整体结构

整个Mediasoup库通过Nodejs管理，比如整体逻辑、worker、router、producer、consumer...都是通过JS进行管理的。

其底层的数据传输是通过C++部分进行控制的，通过NodeJs来控制C++部分，以实现整体的数据传输效

二、Mediasoup js类关系

1.几乎所有类都继承自EnhancedEventEmitter，每个对象都可以发送事件

2.每个worker代表一个节点，内部有多个Router，组成Routers结构。每个Worker中都有一个channel，与C++进行通讯

3.对于每一个Router房间来说，是包含Tranports和Produces

4.Transport包含Produces与Consumes，其包括多个子类，如WebRtcTransport（浏览器数据传输）、PlainRtpTransport（非音视频）、PipeTransport（不同router之间数据流转）

二、Mediasoup c++类关系

1.最核心是Router类，房间概念，包含Consumer、Producer，Transport子模块，关系对应1：n

2.Consumer中含有多种子类，如：SimpleConsumer（音视频流）、PipeConsumer（Router之间数据流转）、SvcConsumer（分层、增量）、SimulcastConsumer（分层）

3.Producer，接收共享者传输的流

4.Transport分为3种，同前面JS介绍一致，TransportTuple元组存放本地socket、远端socket、IP、端口

三、Mediasoup 核心类介绍

  1. 对于4种消费者，都包含RtpStreamSend对象，消费者发送数据给客户端，通过RtpStreamSend方法。RtpStreamSend继承自RtpStream，这个类处理Rtp数据流的收发。RtpStream使用到了RtpPacket，这个包是用于对Rtp数据包的分析，Rtp数据有数据包头，对于包头每一个字段的定义都是在这个Packet里面操作的

  2. 因为要对整个数据进行处理，所以使用SeqManager，序列管理器。服务端推送给客户端的数据流是会重新排序的，排序的时候便会依靠这个SeqManager，它会记录某个SSRC所对应的Sequence，以此为起始位置，然后后面的每个包都向下递增一个数

  3. Producer作为服务端的生产者，它是用来接收共享者发送的数据流，所以它里面包含多个RtpStreamRecv，是一对多的关系（为什么是多个RtpStreamRecv呢？因为数据的接收有可能会丢包，丢包重传的也算作一路流，对应的音频的丢包也是需要重传）

  4. 作为数据的接收端，RtpStreamRecv使用到了NackGenerator丢包产生器。接收端能够知道有没有丢包，因为数据包有Sequence，比如发送了100个数据，前50个数据是连续的，但假设当50之后是55，Recv端就知道丢了 51、52、53、54 这4个包了。丢包之后如何解决呢，有两种方式：

  5. Fec：在每个包增加一些冗余，它能计算 出丢失的音频包或视频包

  6. Nack：它会告诉发送端丢了哪些包，发送端会根据策略，若时间比较短的话，会把丢失的包补上来，具体补哪些包就是根据NackGenerator产生的

  7. Transport分为3种，WebRtcTransport（浏览器数据传输）、PlainRtpTransport（非音视频）、PipeTransport（不同router之间数据流转）。TransportTuple元组存放本地socket、远端socket、IP、端口

  8. 最核心的是WebRtcTransport，与浏览器进行数据传输。首先其包含UdpScoket与TcpServer对应两个链接，可以与客户端连接通信

  9. 对于UdpSocket与TcpServere，其继承自PortManager端口管理器，对于Mediasoup来说，默认是从40000到49999共一万个端口号。UdpSocket和TcpServer通过PortManager进行对端口号的管理，首先确定端口号有没有被占用，没有被占用就使用该端口号对数据传输；若被占用，就根据PortManager的策略往后跳。注意Udp和Tcp的使用是互斥的

  10. DtlsTransport：使用dtls对Rtp包进行数据加密的协议，同时在这里面还使用到了Srtp协议，Srtp协议分为数据的收与发，所以在WebRTCTransport中有Srtp send和recv这两个Session

  11. RembClient/RembServer：这两个主要用于对带宽的评估，既可用于client端也可用于server端。对于共享者来说，Mediasoup的WebRTCTransport就是RembClient端；对于消费者来说，就是RembServer端

  12. IceCandidate：候选者包括Host、Server reflexive、Relay reflexive三种，对于WebRTC一般设置成Host，最高优先级

相关文章：

Mediasoup源码介绍

一、Mediasoup 整体结构 整个Mediasoup库通过Nodejs管理，比如整体逻辑、worker、router、producer、consumer...都是通过JS进行管理的。 其底层的数据传输是通过C部分进行控制的，通过NodeJs来控制C部分，以实现整体的数据传输效 二、Mediasou…...

编程日记 2023/9/12 6:47:42

GIS入门，WKT格式详解

WKT介绍 WKT是Well-known Text的缩写，它是一种用于描述地理空间几何对象的文本格式。 WKT是一种开放的国际标准，由Open Geospatial Consortium（OGC）定义和维护。 WKT是一种标准的表示方法，可以用来描述点、线、面等地理空间对象的形状和位置。通过使用一系列的坐标点和关…...

编程日记 2023/9/12 6:46:42

Qt之postEvent

基本介绍 postEvent方法所属类为QCoreApplication，完整声明如下： [static] void QCoreApplication::postEvent(QObject *receiver, QEvent *event, int priority Qt::NormalEventPriority) 该方法的作用是将要发送的事件推送到对应线程的事件队列中&…...

编程日记 2023/9/12 6:45:41

1976~2020年青藏高原典型冰川及冰湖遥感监测数据集

冰川面积是反应气候变化最直接的指标之一。在全球变暖的大背景下，对于评估冰川融化造成的生态、全球气候变化和水资源价值评价等问题十分重要。本文针对受西风和印度洋夏季风影响下的青藏高原冰川及其末端冰湖的变化特征，制作了近44年来时相相对连续的冰…...

编程日记 2023/9/12 6:44:38

时序预测 | MATLAB实现LSSVM最小二乘支持向量机时间序列预测未来

时序预测 | MATLAB实现LSSVM最小二乘支持向量机时间序列预测未来 目录 时序预测 | MATLAB实现LSSVM最小二乘支持向量机时间序列预测未来预测效果基本介绍程序设计参考资料 预测效果 基本介绍 1.Matlab实现LSSVM时间序列预测未来(最小二乘支持向量机)； 2.运行环境Mat…...

编程日记 2023/9/12 6:43:38

windows10 使用WSL2安装原生docker

1.升级WSL2 我的 win10 wsl默认版本是1，先要升级WSL2不然不支持systemd(后台守护进程) 双击直接安装就行，安装包网上都能找到: Microsoft.WSL_1.3.17.0_x64_ARM64.msixbundle 执行 wsl --version 显示这样成功了: C:\Users\xx>wsl --version WSL …...

编程日记 2023/9/12 6:42:36

jupylab pandas按条件批量处理xls数据

批量处理xls表数据 引入相关包 import pandas as pd import xlrd import numpy as np# 去掉jupyleb警告 import warnings warnings.filterwarnings("ignore")from IPython.core.interactiveshell import InteractiveShell InteractiveShell.ast_node_interactivity…...

编程日记 2023/9/12 6:41:35

RJ45水晶头网线顺序出错排查

线序 网线水晶头RJ45常用的线序标准ANSI / TIA-568定义了T568A与T568B两种线序，一般使用T568B，水晶头8个孔对应的8条线颜色如下图： 那1至8的编号，是从水晶头哪一面为参考呢，如下图，是水晶头金手指一面&am…...

编程日记 2023/9/12 6:40:34

【洛谷 P1115】最大子段和 题解（贪心算法）

最大子段和 题目描述 给出一个长度为 n n n 的序列 a a a，选出其中连续且非空的一段使得这段和最大。 输入格式 第一行是一个整数，表示序列的长度 n n n。 第二行有 n n n 个整数，第 i i i 个整数表示序列的第 i i i 个数字 a i …...

编程日记 2023/9/12 6:39:33

uni-app--》基于小程序开发的电商平台项目实战（一）

🏍️作者简介：大家好，我是亦世凡华、渴望知识储备自己的一名在校大学生 🛵个人主页：亦世凡华、 🛺系列专栏：uni-app 🚲座右铭：人生亦可燃烧，亦可腐败&#xf…...

编程日记 2023/9/12 6:38:31

入门人工智能 —— 学习一门编程语言 python 基础代码编写和运算符介绍（1）

入门人工智能 —— 学习一门编程语言 python（1） 入门流程1.安装pythonwindowslinux ubuntu 代码编写打印输出结果 基本加减法介绍基本运算符 随着人工智能技术的快速发展，越来越多的年轻人开始关注这个领域。作为入门者，学习人工智…...

编程日记 2023/9/12 6:37:29

【java安全】CommonsBeanUtils1

文章目录 【java安全】CommonsBeanUtils1前言Apache Commons BeanutilsBeanComparator如何调用BeanComparator#compare()方法？构造POC完整POC 调用链 【java安全】CommonsBeanUtils1 前言 在之前我们学习了java.util.PriorityQueue，它是java中的一个优…...

编程日记 2023/9/12 6:36:28

JVM优化(OOM,内存溢出)，查看线程快照，堆内存情况等问题

1：堆大小 新生代 老年代，新生代 ( Young ) 与老年代 ( Old ) 的比例的值为 1:2 ( 该值可以通过参数 –XX:NewRatio 来指定 ) 2：-Xmn参数总是应当小于-Xmx参数，否则就会触发OOM错误 3：jvm优化与查看gc回收情况&#x…...

编程日记 2023/9/12 6:35:01

git 给分支添加描述

需求:分支多了不知道当前分支的用处可以使用git br用来描述 效果: 全局安装命令 npm i -g git-br 项目内使用 git br 给f-230825-4-zhou分支备注 git config branch.f-230825-4-zhou.description 用来开发第四迭代需求 再次git br查看效果...

编程日记 2023/9/12 6:34:00

SpringBoot+Vue 整合websocket实现简单聊天窗口

效果图 1 输入临时名字充当账号使用 2 进入聊天窗口 3 发送消息 &#xff08;复制一个页面&#xff0c;输入其他名字&#xff0c;方便展示效果&#xff09; 4 其他窗口效果 代码实现 后端SpringBoot项目&#xff0c;自行创建 pom依赖 <dependency><groupId…...

编程日记 2023/9/12 6:32:59

PCB layout在布线上的设计规范有哪些？

PCB Layout是一项技术活&#xff0c;也是经验活&#xff0c;良好的PCB Layout布线可帮助工程师确保最终的电路板性能、可靠性和制造质量&#xff0c;因此是很多电子工程师的学习重点&#xff0c;下面我们来盘点下PCB Layout关于布线的规范有哪些。 1、地管的引脚接地越短越好&a…...

编程日记 2023/9/12 6:31:58

喜报丨迪捷软件入选浙江省2023年省级产业数字化服务商

近日&#xff0c;根据《关于组织开展2023年度省级产业数字化服务商申报工作的通知》要求&#xff0c;省经信厅公布2023年省级产业数字化服务商名单&#xff0c;浙江迪捷软件科技有限公司榜上有名。 省级产业数字化服务商上榜名单的评选在企业申报、地方推荐、专家评审、综合评估…...

编程日记 2023/9/12 6:30:57

verilog写rom，采用端口排序顺序例化

verilog写rom，采用端口排序顺序例化 1，介绍rom，以及rom与ram的区别2，RTL设计模块、门级网表以及testbench测试模块2.1 RTL设计2.2 门级网表2.3 testbench3，波形输出1，介绍rom，以及rom与ram的区别 参考文献： 1, 转载-ROM、RAM存储器原理详解以及DRAM、SRAM、SDRAM 、FLA…...

编程日记 2023/9/12 6:29:56

基于SSM的共享客栈管理系统的设计与实现

末尾获取源码 开发语言&#xff1a;Java Java开发工具&#xff1a;JDK1.8 后端框架&#xff1a;SSM 前端&#xff1a;采用JSP技术开发 数据库&#xff1a;MySQL5.7和Navicat管理工具结合 服务器&#xff1a;Tomcat8.5 开发软件&#xff1a;IDEA / Eclipse 是否Maven项目&#x…...

编程日记 2023/9/12 6:28:56

全屏Activity弹出键盘不顶起布局

最近遇到的一个问题是全屏Activity中要求弹出键盘不顶起布局&#xff0c;首先windowSoftInputMode的取值是有多个的&#xff0c;在全屏场景下adjustPan是没有用的&#xff0c;需要使用adjustResize首先确保键盘不顶起布局。 android:windowSoftInputMode"stateHidden|adju…...

编程日记 2023/9/12 6:27:54

JAVA设计模式详解 解构设计模式思想 详细代码对比

JAVA设计模式详解 1 简单工厂模式 1 简单工厂模式 设计模式-01简单工厂模式详解 详细代码对比...

编程日记 2023/9/12 6:26:54

lintcode 567 · 最大得分 【动态规划 中等 】

题目 https://www.lintcode.com/problem/567 给定一个矩阵matrix&#xff0c; matrix[i][j]表示你到达第i行第j列可以得到的分数&#xff0c;现在你要用第0行任意一点出发&#xff0c;从每行里找到一个点进行跳跃&#xff0c;每次从(i,j)到(i1,k)跳跃需要消耗∣j−k∣的分数&…...

编程日记 2023/9/12 6:25:52

qml嵌入到QWidget的两种方式介绍

本文介绍qml页面嵌入到QWidget的两种方式，以及这两种方式的区别。 方式1 在 Qt 中，可以使用 QQuickWidget 将 QML 内容嵌入到基于 QWidget 的应用程序中。这是在旧的 QWidget-based 应用程序中逐渐引入 QML UI 的一种常见方式。 以下是如何使用 QQuickWidget 将 QML 内容嵌…...

编程日记 2023/9/12 6:24:50

Mysql数据库之常用SQL语句及事务学习总结

数据库介绍 几个常见的缩写&#xff1a; DB&#xff1a;数据库。全称&#xff1a;DataBase。DBMS&#xff1a;数据库管理系统。全称&#xff1a;DataBase Management System。DBS&#xff1a;数据库系统。全称&#xff1a;DataBase System。DBA&#xff1a;数据库管理员。全称…...

编程日记 2023/9/12 6:23:49

RuoYi若依管理系统最新版 基于SpringBoot的权限管理系统

RuoYi是一个后台管理系统&#xff0c;基于经典技术组合&#xff08;Spring Boot、Apache Shiro、MyBatis、Thymeleaf&#xff09;主要目的让开发者注重专注业务&#xff0c;降低技术难度&#xff0c;从而节省人力成本&#xff0c;缩短项目周期&#xff0c;提高软件安全质量。 本…...

编程日记 2023/9/12 6:22:48

html实现邮件模版布局-flex布局table布局-demo

邮件模版布局 flex - 布局简单方便 兼容性差 table - 优点 就是兼容性好&#xff0c;其他没有优点 注&#xff1a;使用图片需要png最好&#xff0c;使用svg图google邮箱会出现不能使用的情况 效果图 flex布局 <!DOCTYPE html> <html lang"en" xmlns:th&qu…...

编程日记 2023/9/12 6:21:47

CENTOS7安装redis在/home/pms/software路径下，并且将redis加入到systemctl中

要将/home/software/redis-stack-server-7.2.0-v0/service/redis.service添加到systemctl系统管理&#xff0c;你可以执行以下步骤&#xff1a; 创建软连接&#xff1a; sudo ln -s /home/software/redis-stack-server-7.2.0-v0/service/redis.service /etc/systemd/system/r…...

编程日记 2023/9/12 6:20:46

数据库笔记

数据库原理及应用 半期考&#xff1a;运筹学&#xff0c;概率论&#xff0c;数据库 文章目录 数据库原理及应用1.课程的考核2.数据库的运用3.数据库学什么&#xff1f; 第一章 绪论1.1数据库系统概述1.1.1基本概念1.1.2数据管理技术的生产和发展人工管理文件系统数据库系统 1.…...

编程日记 2023/9/12 6:19:45

AI是风口还是泡沫？

KlipC报道&#xff1a;狂热的人工智能追捧潮有所冷静&#xff0c;投资者在“上头”的追涨之后&#xff0c;开始回归到对基本面的关注。 KlipC的合伙人Andi D表示&#xff1a;“近日&#xff0c;有关英伟达二季度“破纪录”财报涉嫌造假的话题正在社交媒体和投资者论坛中甚嚣尘上…...

编程日记 2023/9/12 6:18:44

echarts环图配置

echarts环图配置 1、安装echarts npm install echarts4.9.02、页面引入echarts import echarts from echarts;3、应用 template片段 <div class"chart-wrap"><div id "treeChart" style "width: 180px; height:180px;" ><…...

编程日记 2023/9/12 6:17:43

做旅游网站怎么样/今日搜索排行榜

利用多张影像对小物体进行拍摄&#xff0c;进而进行三维重建&#xff0c;是计算机视觉中的重要问题之一。 目前对此研究最全面的网站是&#xff1a;http://vision.middlebury.edu/mview/eval/ 目前最优秀的算法是Furukawa的PMVS2&#xff1a;http://www.di.ens.fr/pmvs/ 目前…...

编程日记 2024/11/1 22:16:15

滑县网站建设服务/电子商务与网络营销教案

面向对象 &#xff1a; 就是一种编程思想&#xff0c;是把构成问题事务分解成各个对象&#xff0c;建立对象的目的不是为了完成一个步骤&#xff0c;而是为了描叙某个事物在整个解决问题的步骤中的行为。 如我要造辆车&#xff1a; Step1. 设计画图>保时捷设计所 Step2. 原…...

编程日记 2024/11/1 22:06:05

教学平台网站建设合同/企业网站推广渠道有哪些

一、准备环境1、两台虚拟机、一台正常运行oracle数据库的&#xff0c;一台装了软件没有启动数据库的&#xff08;没有进行dbca&#xff09;2、主库备库 修改环境变量&#xff0c;修改主机名&#xff0c;将主库备库的主机名都写入hosts文件二、开始搭建1.查看主库是否开启归档模…...

编程日记 2024/11/1 21:45:26

wordpress新用户管理/营销型网站策划书

构造高可用性和高可靠性系统的一项重要原则是假定失效&#xff08;Design forfailure&#xff09;。换言之&#xff0c;你的设计模型应具有正如亚马逊的首席技术官&#xff08;CTO&#xff09;沃纳•威格尔&#xff08;Werner Vogels&#xff09;曾说的“一切事物随时有可能失效…...

编程日记 2024/11/1 17:56:25

服务器网站301重定向怎么做/做百度推广销售怎么样

日常工作或学习中经常会接触很多PDF文档&#xff0c;有时其中有些图片是我们需要用到的&#xff0c;应该如何将这些图片从PDF文件中提取出来并且保存呢&#xff1f;我们可以用PDF编辑器来实现这个需求&#xff0c;首先用极速PDF编辑器打开我们需要处理的PDF文档后&#xff0c;通…...

编程日记 2024/11/1 16:51:00

网站域名申请费用/站内优化怎么做

如何制作动态图片在线制作动态图片不完全教程&#xff0c;由动态图片基地【ASQQL.com】原创制作&#xff0c;如有疑问&#xff0c;请通过QQ方式与我们联系&#xff01;联系方式见网站底部&#xff01;动态图片制作步骤分为以下几步&#xff1a;第一步&#xff1a;上传视频或者寻…...

编程日记 2024/11/1 16:33:43