h264编码之SPS解析

一、概念

SPS即Sequence Paramater Set，又称作序列参数集。SPS中保存了一组编码视频序列(Coded video sequence)的全局参数。

二、定义

H.264标准协议中规定的SPS格式位于文档的7.3.2.1.1，如下图所示：

1、profile_idc

根据《T-REC-H.264-201402-I!!PDF-E》的附件A.2定义，profiles有如下类型：

profile_idc的值用来确定码流符合哪一种档次。根据Annex A协议定义，整理表格如下：

profiles	profile_idc
baseline profile	66
main profile	77
extended profile	88
High profile	100
High 10 profile	110
High 4:2:2 profile	122
High 10 Intra profile	profile_idc=110 &&  constraint_set3_flag=1
High 4:2:2 Intra profile	profile_idc = 122 &&  constraint_set3_flag = 1
High 4:4:4 Intra profile	profile_idc = 244 && constraint_set3_flag =1
CAVLC 4:4:4 Intra profile	44

2、constraint_set0_flag - constraint_set3_flag

辅助profile_idc确定编码的profiles。

constraint_set0_flag 等于1是指比特流遵从A.2.1节中的所有规定。constraint_set0_flag 等于0是指该比特流可以遵从也可以不遵从A.2.1节中的所有规定。

 3、level_idc

标识当前码流的Level。编码的Level定义了某种条件下的最大视频分辨率、最大视频帧率等参数，码流所遵从的level由level_idc指定。

例如码流中，level_idc = 0x29 = 41，因此码流的级别为4.1。 

 

 

 4、seq_parameter_set_id

用于识别图像参数集所指的序列参数集。seq_parameter_set_id值在0-31的范围内，包括0和31。

使用无符号整数指数哥伦布码编码的语法元素（具体方法需参见9.1指数哥伦布编码的解析过程）与Slice head的pic_parameter_set_id对应。

 我们使用ffmpeg进行解析的时候，经常碰到non-existing SPS/PPS，如下打印：

 

 实际上就是GOP的SPS和PPS丢失，再解析视频帧，报的无法解析错误。ffmpeg代码分析如下：

ff_h264_decode_seq_parameter_set、ff_h264_decode_picture_parameter_set会读取sps_id、pps_id。申请对应缓存

 然后h264_slice_header_parse解析视频帧时，会判断该缓存是否正常申请：

没有正常申请，说明SPS、PPS丢失，无法正常解码，丢失该帧。 

5、log2_max_frame_num_minus4 取值范围0-12，包括0和12

按照如下公式可得出与frame_num相关的变量MaxFrameNum的值：

 

6、pic_order_cnt_type

是指解码图像顺序picture order count(POC)的计数方法（如 8.2.1 节所述）。POC是另一种计量图像序号的方式，与frame_num有着不同的计算方法。该语法元素的取值为0、1或2。

7、log2_max_pic_order_cnt_lsb_minus4

表示用于8.2.1节规定的图像顺序数解码过程中的变量MaxPicOrderCntLsb的值，公式如下： 

8、num_ref_frames

num_ref_frames规定了可能在视频序列中任何图像帧间预测的解码过程中用到的短期参考帧和长期参考帧、互补参考场对以及不成对的参考场的最大数量。num_ref_frames 字段也决定了 8.2.5.3 节规定的滑动窗口操作的大小。num_ref_frames 的取值范围应该在 0 到 MaxDpbSize （参见 A.3.1 或 A.3.2 节的定义）范围内，包括 0 和MaxDpbSize。

9、gaps_in_frame_num_value_allowed_flag

gaps_in_frame_num_value_allowed_flag 表示 7.4.3 节给出的 frame_num 的允许值以及在 8.2.5.2 节给出的frame_num 值之间存在推测的差异的情况下进行的解码过程。

10、pic_width_in_mbs_minus1

  11、pic_height_in_map_units_minus1

 12、frame_mbs_only_flag

frame_mbs_only_flag=0：表示编码视频序列的编码图像可能是编码场或编码帧。frame_mbs_only_flag=1：表示编码视频序列的每个编码图像都是一个仅包含帧宏块的编码帧。 

13、direct_8x8_inference_flag

direct_8x8_inference_flag表示在8.4.1.2节中规定的B_Skip、B_Direct_16x16和B_Direct_8x8亮度运动矢量的计算过程使用的方法。当frame_mbs_only_flag等于0时direct_8x8_inference_flag应等于1。

14、frame_cropping_flag

frame_cropping_flag=1：表示帧剪切偏移参数遵从视频序列参数集中的下一个值。frame_cropping_flag=0：表示不存在帧剪切偏移参数。 

15、vui_parameters_present_flag

vui_parameters_present_flag=1：表示存在如附录E提到的vui_parameters()语法结构。
vui_parameters_present_flag=0：表示不存在如附录E提到的vui_parameters()语法结构。