【多媒体信号处理课程】Course Introduction-1 AVI Walk Through-2 Audio coding basics-3 AI翻译

Posted on by hackdl

Course Introduction-1 多媒体信号处理课程介绍

1
多媒体信号处理
Multimedia Signal Processing

3
课程内容

  • M. Bosi,《数字音频编码技术与标准导论》
  • I. G. Richardson,《H.264和MPEG-4视频压缩》
  • 其他讲义

4

什么是多媒体?

  • 多媒体是指使用多种媒体形态的组合内容。
  • 多媒体包括文字、音频、静态图像、动画、视频或交互式内容的组合。
  • 应用:广告、艺术、教育、娱乐、工程、医学、数学、商业等。

什么是信号处理?

  • 信号处理是系统工程、电子工程和应用数学的一个领域,处理或分析模拟和数字化信号,表示时间变化或空间变化的物理量。
  • 典型操作和应用:
    • 信号获取和重建
    • 信号压缩(源编码)
    • 特征提取,如图像理解
    • 品质改进,如降噪、图像增强等

7
本课程的内容

  • 多媒体信号处理和压缩导论
    • 音频处理和压缩
    • 图像处理和压缩
    • 视频处理和压缩
  • 音视频容器格式
  • 010编辑器

8
数据压缩

  • 数据压缩,也称源编码或比特率减少,是使用比原始表示更少的比特来对信息进行编码的过程。
  • 无损压缩通过识别和消除统计冗余来减少位。无损压缩不会丢失任何信息。
    • LZW、霍夫曼编码、算术编码
  • 有损压缩通过识别和消除不必要的信息来减少位数。
    • 量化、JPEG

9
数字容器格式

  • 容器或封装格式是一种元文件格式,其规范描述了不同的数据元素和元数据如何在计算机文件中共存。
  • 容器文件用于识别和交错不同的数据类型。
  • 容器格式可以支持多个音频和视频流、字服务器托管网幕、章节信息和元数据,以及播放各种流所需的同步信息。

10
数字容器格式

  • 容器格式的各部分有不同的名称:
    • RIFF和PNG中的“块”
    • QuickTime/MP4中的“原子”
    • MPEG-TS中的“包”(来自通信术语)
    • JPEG中的“段”
  • 一些容器专用于音频:
    • AIFF(广泛用于Mac OS平台的IFF文件格式)
    • WAV(广泛用于Windows平台的RIFF文件格式)
    • XMF(可扩展音乐格式)
  • 其他容器专用于静态图像:
    • TIFF(带有相关元数据的Tagged Image File Format静态图像)

11
数字容器格式

  • 其他灵活的容器可以装载多种音频和视频,以及其他媒体:
    • 3GP(许多移动电话使用;基于ISO基本媒体文件格式)
    • ASF(Microsoft WMA 和 WMV的容器)
    • AVI(标准Microsoft Windows容器)
    • Flash Video(FLV, F4V)(Adobe Systems的视频和音频容器)
    • Matroska(MKV)(不限于任何编解码器或系统)
    • MJ2 – Motion JPEG 2000文件格式
    • QuickTime文件格式(苹果标准QuickTime视频容器)

12
数字容器格式

  • 其他灵活的容器可以装载多种音频和视频,以及其他媒体(续):
    • MPEG程序流(MPEG-1和MPEG-2基本流的标准容器)
    • MPEG-2传输流(又称MPEG-TS)(数字广播和在不可靠媒体上传输的标准容器;在蓝光影碟视频中也使用)
    • MP4(MPEG-4多媒体组合的标准音频和视频容器)
    • Ogg(Xiph.org音频格式Vorbis和视频格式Theora的标准容器)
    • RM(RealMedia; RealVideo和RealAudio的标准容器)

13
010编辑器

  • 010 editor是一个具有二进制模板技术的专业文本和十六进制编辑器。
    • 文本编辑器:编辑文本文件、XML、HTML、Unicode和UTF-8文件、C/C++源代码等。无限撤销和强大的编辑与脚本工具。
    • 十六进制编辑器:无与伦比的二进制编辑性能。编辑任意大小的文件。使用强大的二进制模板技术来理解二进制数据。
    • 磁盘编辑器:查找和修复硬盘、内存卡、U盘、CD-ROM等上的程序。
    • 进程编辑器:调查和修改进程的内存。

14
010编辑器

15
详细主题

  • 压缩简介
    • 为什么、如何
  • 音频处理与压缩:WAVE、ADPCM、MP3和AAC
  • 图像处理与压缩:JPEG、GIF
  • 视频处理与压缩:H.264
  • 音视频流容器:AVI、MP4等
  • 010编辑器

16

  • VCD
  • DVD
  • 数码相机
  • 视频录像机
  • MP4播放器
  • 在线电影

17
音频格式

  • 无压缩音频格式
    • WAVE、AIFF、PCM
  • 无损压缩格式
    • FLAC、Monkey’s Audio(APE扩展名)、Shorten、WMA无损
  • 有损压缩格式
    • MP3、AAC、WMA、AC3

18
音频格式(续)

  • MP3编码器
  • 演示

19
图像格式

  • RAW
  • BMP
  • JPEG
  • JPEG2000
  • GIF
  • PNG

20
视频格式

  • MPEG-1
  • MPEG-2
  • MPEG-4视觉/AVC
  • H.261
  • H.263
  • H.264

21
视频压缩标准发展历史
标准 发布者 流行实现
1990 H.261 ITU-T 视频会议、视频电话
1993 MPEG-1 part 2 ISO、IEC 视频CD
1995 H.262/MPEG-2 Part 2 ISO、IEC、ITU-T DVD视频、蓝光光盘、数字电视广播
1996 H.263 ITU-T 视频会议、视频电话、移动电话视频(3GP)
1999 MPEG-4 Part 2 ISO、IEC 互联网视频(DivX、Xvid等)
2003 H.264/MPEG-4 AVC ISO、IEC、ITU-T 蓝光、HD DVD数字电视广播

22
音视频容器

  • AVI
  • MP4
  • ASF
  • FLV
  • SWF
  • 3GP
  • RMVB
  • Quicktime

23

  • 查看AVI演练

AVI Walk Through-2 AVI文件演练

Windows位图数据

  • 数据由表示位图的连续行或扫描线的字节数组组成。
  • 每个扫描线由表示扫描线中的像素的连续字节组成,从左到右的顺序。
  • 表示一个扫描线的字节数取决于位图的宽度。

Windows位图数据

  • 如果需要,扫描线必须用0填充以在32比特边界结束。
    • 这意味着宽度为8比特、20比特或30比特的单色位图将具有相同的扫描线大小:32比特。
    • 宽度为40比特的单色位图的扫描线大小为64比特。
  • 位图中的扫描线从下到上存储。
    • 这意味着数组中的第一个字节表示位图左下角的像素,最后一个字节表示右上角的像素。

灰度位图

  • 每像素使用8比特(即1字节)
    • 回想一下,信息头的biBitCount字段将为8
  • 每个字节表示256阶灰度。
    • 白色是“ff”
    • 黑色是“00”
    • 中间的数字代表从白色到黑色的几个灰度阶。

24位彩色位图

  • 每像素使用24比特(即3字节)
    • 回想一下,信息头的biBitCount字段将为24。
  • 每个像素有3字节分别表示红色、绿色和蓝色。
    • 白色是“ffffff”
    • 黑色是“000000”
    • 红色是“ff0000”
    • 绿色是“00ff00”
    • 蓝色是“0000ff”

8位色位图

  • 每像素使用8比特。只能有256种颜色
    • 使用哪些颜色?
  • 使用调色板,称为调色板,来选择要使用的颜色
    • 在一个位图中,颜色0可以是“浅橙色”,颜色1可以是“深棕色”
    • 在另一个位图中,颜色0可以是“浅黄色”,颜色1可以是“深红色”。
  • 颜色表位于信息头和数据之间
    • 每个条目有4字节(R、G、B、0x0)

颜色表

重新看灰度位图

  • 这实际上是8位色位图的特例。
  • 存在一个颜色表,其中条目0指向黑色,条目255指向白色,中间的条目指向灰度。
  • 对于给定大小的图像,8位灰度位图和8位彩色位图的大小相同。

WAV格式

  • WAV文件格式是用于存储数字音频(波形)数据的简单文件格式。
  • 它支持各种位分辨率、采样率和音频通道。
  • 此格式在Windows平台上很流行,并广泛用于处理数字音频波形的程序中。

WAV格式

  • WAV文件是许多不同类型chunk的集合。
  • 其中包含必需的格式(“fmt”)chunk,其中包含描述波形的参数,例如其采样率。
  • 还需要包含实际波形数据的Data(“data”)chunk。所有其他chunk都是可选的。

WAV格式

  • 使用WAV的所有应用程序都必须能够读取2个必需的chunk,并可以选择性地忽略可选的chunk。
  • 复制WAV的程序应该复制WAV中的所有chunk,即使它选择不解释这些chunk。
  • WAV文件内chunk的顺序没有限制,格式chunk必须在Data chunk之前。
  • 注意,格式chunk可能不是第一个chunk。

WAV格式

  • 所有数据以8位字节形式存储,以小端格式排列。
    • 多字节值的字节以低序(即最低有效)字节优先存储。
  • “数据块”与“块数据”不同。
    • “数据块”具有“块大小”和一些“块数据”。
    • 每个其他chunk也是如此。

AVI格式

  • AVI是Microsoft开发的另一种资源互换文件格式(RIFF)。
  • 代表音频视频交织
  • 该格式在文件中交织视频和音频数据(即视频数据段之后紧跟音频数据段)。
    • 交织允许媒体播放器以块而不是完整地读取数据。

AVI格式

  • 数据块可以直接驻留在“movi”列表中,或者它们可能被分组在“rec”列表内。
  • 标识每个数据块的FOURCC由两位数的流编号后跟定义块中信息类型的两字符代码组成。
    • “db”:未压缩视频帧
    • “dc”:压缩视频帧
    • “wb”:音频数据

Audio coding basics-3 音频编码基础

编码器?
数字音频编码器是一个装置:

  • 将模拟音频信号作为输入
  • 将其转换为一个方便的数字表示(编码器)
  • 之后,我们可以存储、处理或传输它
  • 当我们想要播放音频时,我们将数字数据转换回模拟信号(解码器)

解码

音频编码目标

  • 保真度:在音频解码器端最大化感知音质(最小化失真)。
  • 数据速率:最小化表示原始音频信号所需的数字数据量。
  • 复杂性:最小化计算复杂度。
  • 延迟:最小化编码延迟。

4

5
最简单的编码器–PCM

  • 量化是有损过程,原始信号中包含的一些信息会丢失。
  • 量化过程中使用的离散值数量越高,输出信号将越精确地逼近输入信号。
    采样
    量化
    反量化
    插值

6
光盘(CD)

  • 在80年代中期由索尼和飞利浦推出。
  • 音频信号以立体声信号的形式进行数字表示,样本时间间隔为0.023ms,或采样频率为44.1kHz。
  • CD中的每个样本的位数R为16位。这种精度允许使用65536个离散电平来表示音频样本幅值。
  • CD的数据速率为:
    44.1 * 16 * 2 = 1.4112 Mb/s

7
WAVE格式

  • 使用RIFF结构将文件内容分组为独立chunk:
    • 采样格式
    • 音频数据
  • 每个chunk由头部和数据字节组成。
  • 头部指定chunk数据字节的类型和大小。
  • 某些类型的chunk可包含子chunk。
  • RIFF文件chunk必须字对齐。

8
格式块(WAVEFORMATEX)

  • 格式(fmt)块描述波形数据的基本参数,如采样率、比特分辨率和通道数。
    typedef struct {
    WORD wFormatTag;
    WORD wChannels;
    DWORD dwSamplesPerSec;
    DWORD dwAvgBytesPerSec;
    WORD wBlockAlign;
    WORD wBitsPerSample;
    } FormatChunk;

9
wFormatTag
WAVE_FORMAT_PCM 0x0001
WAVE_FORMAT_ADPCM 0x0002
WAVE_FORMAT_ALAW 0x0006
WAVE_FORMAT_MULAW 0x0007
WAVE_FORMAT_MP3 0x0055

10
数据块

  • 数据块包含实际的采样帧(即波形数据的所有通道)。
    typedef struct {
    char chunkID[4];
    DWORD chunkSize;
    BYTE waveformData[];
    } DataChunk;

11
交错立体声波形样本

  • 多通道样本以交错波形数据存储;
  • 8位样本使用无符号数据表示,而其他样本使用有符号表示。

13
WAVEFORMATEXTENSIBLE

  • 用于具有两个以上通道或高于16位分辨率的音频数据
  • wFormatTag = FFFE
  • cbSize = 24
    typedef struct {
    WAVEFORMATEX Format;
    WORD wValidBitsPerSample;
    DWORD dwChannelMask;
    GUID SubFormat;
    } WAVEFORMATEXTENSIBLE

14

  • wValidBitsPerSample: 信号中精度的有效位数。
  • wSamplesPerBlock: 每个压缩音频数据块中包含的样本数。
  • dwChannelMask: 指定流中通道分配给扬声器位置的位掩码。
  • SubFormat: 为每种波形数据定义ID。
    WAVEFORMATEXTENSIBLE

15
dwChannelMask
扬声器位置 标志位
SPEAKER_FRONT_LEFT 0x1
SPEAKER_FRONT_RIGHT 0x2
SPEAKER_FRONT_CENTER 0x4
SPEAKER_LOW_FREQUENCY 0x8
SPEAKER_BACK_LEFT 0x10
SPEAKER_BACK_RIGHT 0x20

16
示例:5.1格式的6个通道
waveFormatPCMEx.wFormatTag = WAVE_FORMAT_EXTENSIBLE;
waveFormatPCMEx.wChannels = 6;
waveFormatPCMEx.dwSamplesPerSec = 48000L;
waveFormatPCMEx.dwAvgBytesPerSec = 864000L;

waveFormatPCMEx.wBlockAlign = 18;
waveFormatPCMEx.wBitsPerSample = 24;

17
示例:5.1格式的6个通道
waveFormatPCMEx.cbSize = 22;
waveFormatPCMEx.wValidBitsPerSample = 20;

waveFormatPCMEx.dwChannelMask = KSAUDIO_SPEAKER_5POINT1;

waveFormatPCMEx.SubFormat = KSDATAFORMAT_SUBTYPE_PCM;

  • 采样误差——混叠效应
  • 量化误差
    • 过载误差
    • 舍入误差
  • 存储和传输误差

19
更复杂的编码器

  • 心理音频学研究表明,理想情况下,中频范围(2至5kHz)的音频样本需要18-20位数进行描述。
  • 在CD数据速率或更低速率下,我们能否产生感知透明的音质?

22
量化

  • 中值型量化器输出为零,非中值型量化器不为零。
  • 如果允许R位来表示最大2R个不同的代码/样本,则中值型量化器允许2R-1个不同的代码,而非中值型量化器允许2^R个代码。
  • 一般来说,中值型量化器的结果更好。

23
均匀量化

  • 将输入幅值的等宽范围映射到每个代码上。
  • 为了定义输入范围及量化器本身,需要三个信息:
    • 量化器是中值型还是非中值型;
    • 最大非过载输入值x_max;
    • 描述代码所需的位数。
  • 对于非中值型量化器,R位允许我们将输入范围设置为:
  • 对于中值型量化器:

24
非中值型量化器
二位均匀非中值型量化器

25
非中值型量化器
量化和反量化过程

26
中值型量化器

27
中值型量化器
量化和反量化过程

28
非均匀量化

  • 均匀量化器的最大舍入误差等于箱宽的一半(△/2)。
  • 然而,相对于非常低幅值的信号,这个误差可能会很大。
  • 由于舍入失真的感知更与相对误差相关,这意味着相对于高功率输入信号,均匀量化器在较低功率输入信号上的表现明显更差。
  • 为了克服这个问题,可以使用非均匀量化。

29
非均匀量化
用于非均匀量化的组扩技术

32
舍入误差

  • 舍入误差来自将输入信号幅值范围映射到单个代码上。
  • 将输入幅值范围映射到单个代码上的范围越宽,舍入误差越大。
  • 在均匀量化器和高速率量化的情况下,我们有

33
过载误差

  • 过载误差来自于对量化器而言幅值太高的信号。
  • 即大于量化器最大幅值x_max的输入幅值引起的误差。
  • 过载误差往往以突发的形式出现(削波),其听觉效应非常明显。
  • 我们希望x_max足够大以避免削波,然而,这会引入较大的舍入误差。
  • 量化器设计需要在减少这两种误差之间实现平衡。

34
无损压缩——熵编码

  • 除了量化之外,我们还可以通过熵编码的思想进一步减少比特率。
  • 在熵编码中,我们将量化码转换成使用每个代码可变位数的不同符号表示。
  • 我们使常见代码变短,以使平均比特率降低。
  • 这需要估计每个可能代码的概率。

35
示例

  • 考虑一个2比特量化信号,量化码为[00]、[01]、[10]、[11]。
  • 假设这些代码的概率分别为70%、15%、10%、5%。
  • 考虑使用映射:[00]->[0]、[01]->[10]、[10]->[110]、[11]->[111]。
  • 对于该信号,这种新映射的平均比特率更低:
    R = 0.71 + 0.152 + 0.15*3 = 1.45 比特/代码

36
熵

  • 熵表示编码极限,可以表示为:
  • 当我们非常确定接下来会出现哪个代码时,熵将很低。
  • 当我们对将出现哪个代码知之甚少时,熵将很高。

37
作为p的函数的熵

  • 对于2代码符号,熵等于:
    H(x) = -plog2p – (1-p)log2(1-p)
  • 当p=0或1时,熵为零。我们可以确定接下来的代码,不需要发送任何比特。
  • 当p=0.5时,熵等于1,这意味着需要1比特来区分两个结果。

38

  • 对于其他概率,存在这样的编码方案,它们可以在平均每个代码符号上使用少于1比特对单比特代码进行编码。
  • 熵的最大值出现在所有代码符号同等可能的情况下。在这种情况下,我们不会从采用熵编码中获得任何节省。
  • 示例:2^R个均等可能代码符号的熵。

作为p函数的熵

39
霍夫曼编码

  • 霍夫曼编码用于对传真、ASCII文本等数据进行编码或压缩。
  • 它是David A. Huffman于1952年提出的“构造最小冗余码的方法”。
  • 霍夫曼编码是统计编码的一种形式,是一种最优的无记忆码C,使得C的平均码字长度最小化。
  • 码字长度根据使用频率不同而变化,用于更频繁的字符的码字长度更短。

40
霍夫曼编码算法
a) 将两个概率最小的符号合并为一个符号,其概率等于两个最小概率之和。
b) 重复a),直到只剩一个符号。

41
霍夫曼编码算法(续)
c) 将从每个非终端节点发出的两条分支(叶子)标记为0和1。符号xj的码字是从根到对应终端节点的二进制序列。

42

  1. 霍夫曼编码过程不是唯一的。标记分支的不同方法和合并符号的不同选择会产生不同的前缀码。
  2. 如果符号分布不均匀,霍夫曼编码可以减少固定位数编码的位数。
  3. 霍夫曼码中每个样本的平均位数在熵的一个比特之内:
    熵 ≤ 霍夫曼 ≤ 熵 + 1
    霍夫曼编码算法(续)

43
WAVE MS-ADPCM

44
DPCM

  • DPCM或差分PCM:编码器在PCM基线上增加了一些功能,基于对样本信号的预测。
  • 在DPCM中,我们不直接传输原始PCM样本,而是传输原始样本与基于之前传输样本的预测值之间的差异,
    diff = xn+1 – xp_n+1
    例如,xp_n+1 = axn + bxn-1

45
MS-ADPCM

  • diff通常很小。为了节省存储和传输空间,我们必须将其表示限制在一定范围内,例如从16位减少到4位。
  • 然而,我们不能总是保证差异总是很小,因为传输信号中有时存在明显变化。
  • 为了解决这个问题,引入了可变因子iDelta。如果diff很大,iDelta就很大,反之亦然。
  • 然后我们定义一个新差异 iErrordata = diff / iDelta。
  • 通过这种方式,新差异将变得稳定。

好的,我重新翻译第46页的内容:

46

  • iErrordata以4比特保存,称为“半字节”。半字节的取值范围是从-8到7。
  • 每次生成新的iErrordata时,iDelta根据自适应表进行调整。
    iDelta = iDelta * 自适应表[(unsigned)半字节]/256;

const int 自适应表[] = {
230, 230, 230, 230, 307, 409, 512, 614,
768, 614, 512, 409, 307, 230, 230, 230
};

47
MS-ADPCM WAVEFORMAT
typedef struct adpcmcoef_tag {
int16 icoef1; // 预测系数
int16 icoef2; // 预测系数
} adpcmcoefset;

typedef struct adpcmwaveformat_tag {
waveformatex wfxx;
word wsamplesperblock; // 每块样本数
word wnumcoef; // 服务器托管网预测系数集数量
adpcmcoefset acoeff[wnumcoef];
} adpcmwaveformat;

48
dwSamplesPerSec wBlockAlign
8k 256
11.025k 256
22.05k 512
44.1k 1024
Wsamplesperblock
= (wBlockAlign-7*wChannels)8/(wbitspersamplewChannels)+2

MS-ADPCM WAVEFORMAT

49
acoeff:预测系数。可以解释为8.8有符号固定点值。
有7个预设系数集,必须以以下顺序出现。

系数集 系数1 系数2
0 256 0
1 512 -256
2 0 0
3 192 64
4 240 0
5 460 -208
6 392 -232

编码软件可以添加更多系数,但前7个必须始终相同。

MS-ADPCM WAVEFORMAT

50
MS-ADPCM WAVEFORMAT

  • 在MS-ADPCM波形文件中,除了格式块和数据块之外,还有另一个称为fact块的块,用于存储样本长度。
  • 在数据块中,数据以块的形式存储,一个接一个。
  • 块有三个部分,头部、数据和填充。

51
块头
typedef struct adpcmblockheader_tag {
byte bpredictor[nchannels];
int16 idelta[nchannels];
int16 isamp1[nchannels];
int16 isamp2[nchannels];
} adpcmblockheader;

字段说明
bpredictor: 索引acoef数组以定义用于编码此块的预测器。
idelta: 使用的初始delta值。
isamp1: 块的第二个样本值。
isamp2: 块的第一个样本值。

52
示例

53
示例

54
编码过程
对每个通道的每个块:

  • 确定用于该块的预测器。
  • 确定该块的初始idelta。
  • 写出块头。
  • 编码并写出数据。

55
块头写出
一旦选择了预测器和初始量化值,块头的写入如下:

  • 写出每个通道的预测器选择。
  • 写出每个通道的初始idelta(量化尺度)。
  • 写出每个通道第二个样本(isamp1)的16位PCM值。
  • 最后写出每个通道第一个样本(isamp2)的16位PCM值。
    然后可以编码块的其余部分。注意,由于头部包含前两个样本,因此第一个编码值将是块中的第3个样本。

56
编码过程
编码块中剩余样本时,使用以下步骤:

  1. 从前两个样本预测下一个样本。
    lpredsamp = ((isamp1 * icoef1) + (isamp2 * icoef2)) / 固定点系数基
  2. 生成并防止溢出/下溢的4比特有符号误差delta。
    ierrordelta = (sample(n) – lpredsamp) / idelta
    将ierrordelta削减至[-8, 7]的范围内。
  3. 然后写出半字节ierrordelta: putnibble(ierrordelta)。

57
编码过程
4) 将“预测误差”加到预测的下一个样本上,并防止溢出/下溢错误。
lnewsamp = lpredsample + (idelta * ierrordelta);
将数据钳制为short类型(16位)
5) 调整用于计算“预测误差”的量化步长。
idelta = idelta * 自适应表[ierrordelta] / 固定点自适应基
如果idelta太小,使其为最小允许值。
6) 更新前一个样本的记录。
isamp2 = isamp1;
isamp1 = lnewsample.

服务器托管，北京服务器托管，服务器租用 http://www.fwqtg.net

相关推荐: 合约量化交易软件系统搭建

合约量化交易软件属于应对金融市场的工具，为投资者提供全新的投资工具和扯落上的优化手段。现在解说的就是如何开发一个完善的合约量化交易软件，这些开发过程都包括系统设计，软件搭建，软件的策略等问题。 在开发合约量化软件之前，先了解时长和用户的需求功能，准备好相应的软…

服务器托管，北京服务器托管，服务器租用，机房机柜带宽租用

服务器托管

咨询：董先生

电话13051898268 QQ/微信93663045！

上一篇:
下一篇: