SHAOJIE'S BOOK

Posted 2023-01-01Updated 2025-01-30toLearn19 minutes read (About 2775 words)

Video

视频信息软件Mediainfo

同样是1080P 25帧，码率不同，大小差异很大。

或者(有时候会失效，eg 720P)

视频压缩实践

疫情线上参会邮件投递Presentation视频，邮件大小限制100MB。PPT生成的过大

格式工厂(Format Factory)压缩

直接自定义导入导出，默认设置就行（确定分辨率不变的情况下，大小无法限制）。视频部分就只有原来五分之一(中间)，而且完全看不出损失。

如果要最小大小，选择“转mp4”，然后“输出设置”选择“低质量和大小”，最后在分辨率选回原来的分辨率。

如果不熟悉H.265的参数设置，压缩后不一定比H.264小。

PS: H.264中熵编码有两种方法：

一种是对所有的待编码的符号采用统一的VLC（UVLC ：Universal VLC），
另一种是采用内容自适应的二进制算术编码（CABAC：Context-Adaptive Binary Arithmetic Coding）。CABAC是可选项。

CABAC动态的根据内容的码率能在效能与压缩效率上取得相当大的改善空间，但是顺序处理造成资料依存性（Data Dependency）偏高。

FFmpeg命令行

已知大小需求来计算需要压缩的码率。直接设置压缩后的平均码率就行，常见软件有：小丸工具箱，HandBrake, 剪映

首先需要知道如何计算码率

ffmpeg是一个自由软件，可以运行音频、视频多种格式的录影、转换、流功能，包含

libavcodec–这是一个用于多个项目中的音频、视频的解码器库，
libavformat–一个音频和视频格式转换库。

# 视频流码率 500k, 音频流码率 50k
ffmpeg -i huawei_report_English_video.mp4 -c:v libx264 -b:v 500k -b:a 50k out_500k.mp4    
# 或者设置最大最小
ffmpeg -i huawei_report_English_video.mp4 -minrate 100K -maxrate 500K -bufsize 2000K out.mp4

结果如下

$ ls
-rw-r--r--  1 shaojiemike staff 119M Jan  2 16:59 huawei_report_English_video.mp4
-rw-r--r--  1 shaojiemike staff  50M Jan  2 17:23 out_500k.mp4
-rw-r--r--  1 shaojiemike staff  24M Jan  2 17:14 out.mp4

$ ffmpeg -i out_500k.mp4 -hide_banner
  Duration: 00:12:25.68, start: 0.000000, bitrate: 553 kb/s
    Stream #0:0(und): Video: h264 (High) (avc1 / 0x31637661), yuv420p, 1280x720 [SAR 1:1 DAR 16:9], 493 kb/s, 30.30 fps, 30.30 tbr, 30303 tbn, 60.61 tbc (default)
    Stream #0:1(und): Audio: aac (LC) (mp4a / 0x6134706D), 44100 Hz, stereo, fltp, 50 kb/s (default)

# shaojiemike @ snode6 in ~/test/ffmpeg [17:14:42] C:1
$ ffmpeg -i out.mp4 -hide_banner
  Duration: 00:12:25.68, start: 0.000000, bitrate: 269 kb/s
    Stream #0:0(und): Video: h264 (High) (avc1 / 0x31637661), yuv420p, 1280x720 [SAR 1:1 DAR 16:9], 125 kb/s, 30.30 fps, 30.30 tbr, 30303 tbn, 60.61 tbc (default)
    Stream #0:1(und): Audio: aac (LC) (mp4a / 0x6134706D), 44100 Hz, stereo, fltp, 134 kb/s (default)

# shaojiemike @ snode6 in ~/test/ffmpeg [17:15:29] C:1
$ ffmpeg -i huawei_report_English_video.mp4 -hide_banner
  Duration: 00:12:25.66, start: 0.000000, bitrate: 1330 kb/s
    Stream #0:0(und): Video: h264 (Constrained Baseline) (avc1 / 0x31637661), yuv420p, 1280x720 [SAR 1:1 DAR 16:9], 1151 kb/s, 30.30 fps, 30.30 tbr, 30303 tbn, 60 tbc (default)

视频码率（视频比特率）

同样分辨率下，视频文件的码率越大，压缩比就越小，画面质量就越高。码率越高，精度就越高，处理出来的文件就越接近原始文件，图像质量越好，画质越清晰，要求播放设备的解码能力也越高。体积越大，说明压缩比小，越接近原文件。

帧率与码率的关系：帧率多，则每秒图片数目多；码率越高，每张图片质量越清晰。

码率的甜品点

VMAF - Video Multi-Method Assessment Fusion 视频多方法评估

3Mbps是1080p的甜品点。

其他标准

视频压缩编码

视频压缩原理看差评君的就懂了，讲的真好。

柴知道也行

为什么有这么多标准：

H26x的视频的编解码“贵”：

视频编码由视频作者解决
使用H26x标准解码价格不菲

视频编码

　　我们知道，其实视频就是一帧一帧的图片。计算一下，一部25帧每秒，90分钟，分辨率为1024*768，24位真彩色的视频，没有经过压缩，大小为

1Byte（字节） = 8bit（位）
一帧大小 = 1024 * 768 * 24 = 18874368（bit） = 2359296（Byte）
总帧数 = 90 * 60 * 25 = 135000
总大小 = 一帧大小 * 总帧数 = 2359296 * 135000 = 318504960000（Byte）= 303750（MB）≈ 296（GB）

　　从上面的计算可以看出，我们储存一部90分钟没压缩的电影需要296GB的，2部电影便可占满我们电脑整个硬盘。所以我们需要对视频进行压缩，这种视频压缩技术就是我们所说的编码。
　　视频编码方式：H.26X（H.261、H.262、…、H.264（目前最常用）、H.265）
　　音频编码方式：MP3、AAC等
　　通过视频压缩算法，减少了视频文件的大小。压缩比越大，解压缩还原后播放的视频越失真，这是因为压缩的同时不可避免的丢失了视频中原来图像的数据信息。

一般ITU(国际电信联盟)和ISO(国际标准化组织)来制定

ISO主导的MPEG系列： MPEG-1 用于 VCD， MPEG-2用于DVD
h.26x由ITU主导，比如 H.261到H.263
两者联合制定了 H.264-H.265
1. 各自别称 MPEG-4/AVC(Advanced Video Coding)和 MPEG-4/HEVC(High Efficiency Video Coding)

B站新支持的AOM联盟的AV1标准，免费而且没有潜在的版权问题。

画质不变时，编码标准越先进，码率越低.

相对于优酷等最高大约4000的码率，虽然B站码率低，但是以普通的动画素材为主的视频而言，因为动画以简单的单色大色块居多，一般来说1500左右的码率就足够了。

目前 AVC 依然是使用最广泛的编码标准，无论新老设备都可以播放 AVC 视频，因此保留 AVC 编码可以保证广泛的兼容性。

但是 AVC 在编码超高清视频时，输出码率较高，无法保证良好的观看体验；同时很多 AVC 解码器也不支持 HDR 和 8K 视频的解码。而 HEVC 和 AV1 对于超高清视频的压缩能力明显提升，对于 HDR 和 8K 视频的支持显著改善，因此 B 站使用更先进的编码标准为用户提供服务。

H.261的关键两原理

DCT变换

低频率部分是最重要的信息。

视频帧分类(初版)

先将视频分块，

重用不变的色块
对于平移的色块只记录移动矢量

帧间预测 & 帧内预测

关键帧I帧与预测帧P帧

MPEG-1

在 H.261 的基础上加入

双向预测帧B帧
1. 更省空间，但是视频编码解码需要算力更大
帧序列的概念

BT文件命名概述

标 AVC / H264 / H.264 / x264 的可以一律看作H264
标 HEVC / HVC1 / H265 / H.265 / x265 的可以一律看作H265
GB / CHS / SC / zh-Hans 指简中
BIG5 / CHT / TC / zh-Hant 指繁中
远离闲杂播放器，拥抱 Potplayer / IINA / VLC / MPC-BE / MPV
容器
- mkv，mp4
- rmvb
  - RealMedia可变比特率（RMVB）。在网速缓慢的时代，边下载边看是巨大优势
  - 缺点：rm/rmvb格式编解码都是要收费。压缩比和速度都远逊于H264
- avi
  - AVI是英语Audio Video Interleave（“音频视频交织”或译为“音频视频交错”）的首字母缩写，由微软在1992年11月推出的一种多媒体文件格式，用于对抗苹果Quicktime的技术。现在所说的AVI多是指一种封装格式。
  - 图像数据和声音数据是交互存放的。从尾部的索引可以索引跳到自己想放的位置。
  - AVI與MP4本身只有聲音與影像沒有字幕

文字编码

ANSI 编码
- 美国国家标准学会(American National Standards Institute)的缩写
- ANSI并不是某一种特定的字符编码，而是在不同的系统中，ANSI表示不同的编码
- 在简体中文系统下，ANSI 编码代表 GB2312 编码，在日文操作系统下，ANSI 编码代表 JIS 编码。
GB2312
- 国家推出的常见6000汉字
GBK
- 微软拓展了繁体汉字的普通技术规范，所以windows上基本都是默认GBK
UNICODE
- Universal Multiple-Octet Coded Character Set 统一码，初始就25种文字
- 采用了书写编码，导致会有长得像，但是完全不同的文字。导致很多钓鱼网站
UTF-8编码
- UTF-8全称：8bit Unicode Transformation Format，8比特Unicode通用转换格式，是一种变长的编码方式。
- 其编码中的第一个字节仍然与ASCII兼容。

需要进一步的研究学习

暂无

遇到的问题

暂无

开题缘由、总结、反思、吐槽~~

参考文献

https://bravoing.github.io/2020/02/14/%E8%A7%86%E9%A2%91%E6%92%AD%E6%94%BE%E5%99%A8%E5%8E%9F%E7%90%86%E3%80%81%E5%88%86%E8%BE%A8%E7%8E%87%E3%80%81%E5%B8%A7%E7%8E%87%E3%80%81%E7%A0%81%E7%8E%87/

作者：哔哩哔哩技术 https://www.bilibili.com/read/cv16198183 出处：bilibili

https://www.youtube.com/watch?v=0LSHhatwTxM

柴知道也行

https://www.jianshu.com/p/c23f3ea5443d

Posted 2022-12-31Updated 2025-01-30toLearn13 minutes read (About 1989 words)

Streaming Protocol & Streaming Coding

流式传输协议

常用的流媒体协议主要有两类：

HTTP渐进下载
基于RTSP/RTP的实时流媒体协议。

在流式传输的实现方案中，一般采用

HTTP/TCP来传输控制信息，
用RTP/UDP来传输实时多媒体数据。

RTP 、 RTCP (Real-time Transport Control Protocol)

由IETF的多媒体传输工作小组1996年在RFC 1889中公布。
RTCP是RTP的一个姐妹协议
RTP协议的特点
- RTP协议是建立在UDP协议上的。
- RTP并不保证传送或防止无序传送，也不确定底层网络的可靠性。
- RTP实行有序传送，RTP中的序列号允许接收方重组发送方的包序列。
- RTP不像http和ftp可完整的下載整個影視檔，它是以固定的資料率在網路上發送資料，用戶端也是按照這種速度觀看影視檔，當影視畫面播放過後，就不可以再重複播放，除非重新向伺服器端要求資料。
RTCP特点
- RTCP的主要功能是为RTP所提供的服务质量提供反馈来试图提高服务质量。RTCP收集相关媒体连接的统计信息，例如：传输字节数，传输分组数，丢失分组数，时延抖动，单向和双向网络延迟等等。来判断是否限制信息流量或改用压缩比较小的编解码器。
- RTCP本身不提供数据加密或身份认证，其伴生协议SRTCP安全实时传输控制协议则可用于此类用途。

SRTP & SRTCP（Secure Real-time Transport Protocol）

最早由IETF於2004年3月作為RFC3711發佈，提供加密、消息認證、完整性保證和重放保護。

RTSP(Realtime Streaming Protocol)

于1998年发布为RFC 2326。RTSP 2.0 于2016年发布为RFC 7826，作为RTSP 1.0的替代品。
专为娱乐和通信系统的使用，以控制流媒体服务器。
- 媒体服务器的客户端发布VCR命令，例如播放，录制和暂停，以便于实时控制从服务器到客户端（视频点播）或从客户端到服务器（语音录音）的媒体流。
流数据本身的传输不是RTSP的任务。大多数RTSP服务器使用实时传输协议（RTP）和实时传输控制协议（RTCP）结合媒体流传输。
与RTP最大的区别在于：
- RTSP是一种双向实时数据传输协议，它允许客户端向服务器端发送请求，如回放、快进、倒退等操作
- 当然RTSP可基于RTP来传送数据，还可以选择TCP、UDP、组播UDP等通道来发送数据，具有很好的扩展性。
- 它是一种类似于HTTP协议的网络应用协议。

RTMP(Real Time Messaging Protocol)

Adobe于2012年12月21日发布了该协议1.0版本的规范。
是 Adobe Systems 公司为 Flash 播放器和服务器之间音频、视频和数据传输开发的开放协议。
协议基于 TCP，是一个协议族，包括 RTMP 基本协议及 RTMPT/RTMPS/RTMPE 等多种变种。
- RTMPT封装在HTTP请求之中，可穿越防火墙；
- RTMPS类似RTMPT，但使用的是HTTPS连接。
- RTMPE，使用Adobe自有安全機制加密的RTMP。雖然實現上的細節是專有的，但該機制使用行業標準的密碼學加密演算法。
RTMP 是目前主流的流媒体传输协议，广泛用于直播领域。
默认通信端口1935。RTMP URL格式：rtmp://ip:[port]/appName/streamName
特点
- RTMP协议是采用实时的流式传输，所以不会缓存文件到客户端，这种特性说明用户想下载RTMP协议下的视频是比较难的；
- 视频流可以随便拖动，既可以从任意时间点向服务器发送请求进行播放，并不需要视频有关键帧。相比而言，HTTP协议下视频需要有关键帧才可以随意拖动。
- RTMP协议支持点播/回放（通俗点将就是支持把flv,f4v,mp4文件放在RTMP服务器，客户端可以直接播放），直播（边录制视频边播放）。

MMS（Microsoft Media Server Protocol）

访问并流式接收Window Media服务器中.asf文件的一种协议。
可以用Windows自带的Windows Media Player来观看

Web RTC（Web Real-Time Communications）

于2011年6月1日开源并在Google、Mozilla、Opera支持下被纳入万维网联盟的W3C推荐标准。
是一个支持网页浏览器进行实时语音对话或视频对话的API。
目前主要应用于视频会议和连麦中。

HLS(Http Live Streaming, 明显是基于HTTP)

是由苹果提出基于HTTP的流媒体传输协议。
原理
- 直播客户端获取到的并不是一个完整的数据流，HLS协议在服务器端将直播数据流存储为连续的、很短时长的媒体文件（MPEG-TS格式）（MPEG-2 Transport Stream；又称MPEG-TS、MTS、TS），而客户端则不断的下载并播放这些小文件，因为服务器总是会将最新的直播数据生成新的小文件，这样客户端只要不停的按顺序播放从服务器获取到的文件，就实现了直播。
特点
- 优点就是HTML5可以直接打开播放；分段文件的时长很短，客户端可以很快的选择和切换码率，以适应不同带宽条件下的播放。
- 缺点就是延迟高。

HTTP-FLV（明显是基于HTTP)

将直播流模拟成FLV文件，通过HTTP协议进行下载的模式来实现流媒体传输的协议。

各种软件使用的流式协议

moonlight

官网写着

Moonlight (formerly Limelight) is an open source implementation of NVIDIA’s GameStream protocol.

那么 NVIDIA’s GameStream protocol是什么呢？

NVIDIA uses high speed, low latency video encoders built into GeForce GTX or RTX GPUs along with an efficient streaming software protocol integrated into GeForce Experience.

我只能说看上去像自研的~但是马上也要没了

Nvidia isn’t just ending support for GameStream, it’s planning to fully remove the feature from existing Shield hardware in February 2023.
Nvidia is recommending that Shield users switch to Steam Link, which is a similar way of streaming PC games to a Shield device.

Steam Link

有github老哥分析了。但我只能说肯定不是上面常见的类型。

sequenceDiagram
  Client ->> Host: Discovery/Connect
  Note over Client: Send client connection ID
  Host ->> Client: Discovery/Connect ACK
  Note over Client: Got host connection ID, start client handshake
  Client ->> Host: Reliable/Control:ClientHandshake
  par Discovery Channel
    loop While True
      Host ->> Client: Unconnected/Discovery:PingRequest
      Client ->> Host: Unconnected/Discovery:PingResponse
    end
  end
  Host ->> Client: Reliable/Control:ServerHandshake
  Note over Client: Got mtu, start authentication
  Client ->> Host: Reliable/Control:AuthenticationRequest
  Host ->> Client: Reliable/Control:AuthenticationResponse
  Host ->> Client: Reliable/Control:NegotiationInit
  Note over Client: Got host supported audio/video codecs
  Client ->> Host: Reliable/Control:NegotiationSetConfig
  Note over Client: Send selected codecs and config
  Host ->> Client: Reliable/Control:NegotiationSetConfig
  Note over Client: Got final config, respond with complete
  Client ->> Host: Reliable/Control:NegotiationComplete
  par Audio Data Channel
    Host ->> Client: Reliable/Control:StartAudioData
    loop Not StopAudioData
      Host ->> Client: Unreliable/Data:Packet 
    end
  and Video Data Channel
    Host ->> Client: Reliable/Control:StartVideoData
    loop Not StopVideoData
      Host ->> Client: Unreliable/Data:Packet 
    end
  end
  Client ->> Host: Discovery/Disconnect

流式传输视频压缩编码

主流还是 H.264 或者 HEVC。流式传输时为了保证帧率可能会牺牲画面。

Steam Link 的相关设置

需要进一步的研究学习

暂无

遇到的问题

暂无

开题缘由、总结、反思、吐槽~~

参考文献

山东布谷科技 https://www.bilibili.com/read/cv9502267?from=search&spm_id_from=333.337.0.0 出处：bilibili

Posted 2022-06-21Updated 2025-01-30Tutorials6 minutes read (About 926 words)

Game Streaming & Video Streaming

视频传输编码

在初步接触了视频传输编码之后，我开始好奇Streaming采用的哪种视频编码呢？

详见 Streaming Protocol一文

Moonlight for IPAD

Nvidia Geforece界面

常规中开启分享
SHEILD 开启
2. 添加，按照C:\Windows\System32\mstsc.exe这个地址，将mstsc.exe添加进去，mstsc.exe就是你的桌面，等会串流，可以用手机直接操控你的电脑桌面。

串流画面问题

moonlight找不到电脑

https://www.bilibili.com/read/cv10239020

1
2

netsh advfirewall firewall add rule name="GameStream UDP" dir=in protocol=udp localport=5353,47995,47998-48010 action=allow
netsh advfirewall firewall add rule name="GameStream TCP" dir=in protocol=tcp localport=47984,47989,47995,48010 action=allow

还是不行，猜测是

但是这个是wifi6 11ax

尝试安装Internet-Hosting-Tool，运行有提示失败，建议重装也不行。

sjf的解决办法

卸载当前版本，然后安装3.19
打开服务
1. 找到属性单击打开。找到登录复选框把里面的登录身份选择成本地系统账户运行服务与桌面交换。勾选然后应用
2. moonlight可以搜索到电脑
3. https://pan.baidu.com/s/1x83Uk4kkYQritiNAqg_vLg [/url]提取码：1111 获得NvContainerNetworkService服务注册表文件
官网下载更新GF到最新

实际解决

官网下载更新GF到最新
通过上面的注册表添加NvContainerNetworkService服务，启动
1. 在任务计划程序里设置, 设置开机启动moonlightNVNetStart任务
2. 程序"C:\Program Files\NVIDIA Corporation\NvContainer\nvcontainer.exe"
3. 参数-s NvContainerNetworkService -f "C:\ProgramData\NVIDIA\NvContainerNetworkService.log" -l 3 -d "C:\Program Files\NVIDIA Corporation\NvContainer\plugins\NetworkService" -r -p 30000 -st "C:\Program Files\NVIDIA Corporation\NvContainer\NvContainerTelemetryApi.dll"
成功
修改分辨率为ipad分辨率，全屏应用
修改英伟达控制面板的分辨率为IPAD 2388*1688 macbook 2560*1600

问题：Nvidia控制面板没有显示一项

如果显卡驱动装好，且显卡都开了，但就是没有显示选项。
打开服务，找到NVDisplay.ContainerLocalSystem，点登录项，将“允许服务与桌面交互（W）”前的勾打上，重启NVDisplay.ContainerLocalSystem服务，
返回桌面，右键-显示设置，将分辩率任意改一个可用的-应用，
桌面右键-N..控制面板，就有了显示选项，可以改2K分辩率啦。

IPAD moonlight 串流控制

type ESC and mouse scroll

对于实体键盘可以修改映射, 但是滚轮就不好用了。

与其这样不如换个思路，添加手柄，看其能不能支持滚轮和ESC。初步尝试，滚轮可以只是灵敏度有点低。AntiMicroX完美解决了这个问题，配置文件路径 I:\BT\GAME\x18Game\moonlightAntiMicroX.gamecontroller.amgp

Steam Link

体验十分丝滑，任意程序也可以添加。支持PS4手柄(长按PS和share键配对)

share时一定要登录steam

任意应用全屏

应用串流至少将某应用窗口转发，所以只需要停止流式传输，然后调整分辨率就行了。

晚上关闭屏幕，不休眠

方法一：管理员运行代码 @powercfg -h off

云原神测试

高画质60帧 1.6MB/s

最低画质30帧 500KB/s

需要进一步的研究学习

暂无

遇到的问题

暂无

开题缘由、总结、反思、吐槽~~

参考文献

无

视频信息软件Mediainfo

相关概念

CRF

2-pass

视频压缩实践

格式工厂(Format Factory)压缩

FFmpeg命令行

视频码率（视频比特率）

码率的甜品点

视频压缩编码

视频编码

H.261的关键两原理

DCT变换

视频帧分类(初版)

MPEG-1

BT文件命名概述

文字编码

需要进一步的研究学习

遇到的问题

开题缘由、总结、反思、吐槽~~

参考文献

流式传输 协议

RTP 、 RTCP (Real-time Transport Control Protocol)

SRTP & SRTCP（Secure Real-time Transport Protocol）

RTSP(Realtime Streaming Protocol)

RTMP(Real Time Messaging Protocol)

MMS（Microsoft Media Server Protocol）

Web RTC（Web Real-Time Communications）

HLS(Http Live Streaming, 明显是基于HTTP)

HTTP-FLV（明显是基于HTTP)

各种软件使用的流式协议

moonlight

Steam Link

流式传输 视频压缩编码

需要进一步的研究学习

遇到的问题

开题缘由、总结、反思、吐槽~~

参考文献

视频传输编码

Moonlight for IPAD

Nvidia Geforece界面

串流画面问题

moonlight找不到电脑

sjf的解决办法

实际解决

问题：Nvidia控制面板没有显示一项

IPAD moonlight 串流控制

type ESC and mouse scroll

Steam Link

任意应用全屏

晚上关闭屏幕，不休眠

云原神测试

需要进一步的研究学习

遇到的问题

开题缘由、总结、反思、吐槽~~

参考文献

Categories

Subscribe for updates

follow.it

Links

Recents

Archives

Tags

流式传输协议

流式传输视频压缩编码