K心常用的同步方法 ◆复用同步法 口将发送端的音视频数据流复用到一个数据流中，从而使音视频 数据流在网络传输过程中自然保持着媒体间的相互关系，在接 收端，按照音视频流的这一关系解复用，达到同步日的。 ◆同步标记法 ▣在媒体发送端发出一个同步标记， 在接收端接收同步标记，用 来对各个媒体进行同步处理，达到两方通信同步的目的。 ◆时间戳同步法 把音视频数据流单元分别添加统一的时间信息（例如时间戳）， 然后尽可能的同时发送出去，.保证发送端的同步。在接收过程 中提取音视频单元的时间信息，根据该时间信息对音视频数据 的播放先后进行调整，例如音频滞后者，就将视频播放速度减 慢；如果音频超前，则加快视频的播放速率，若音频超前过多， 甚至可考虑丢弃些视频帧。 11 ynh.cxh@ustc.edu.cn
{ynh,cxh}@ustc.edu.cn 常用的同步方法 复用同步法 将发送端的音视频数据流复用到一个数据流中，从而使音视频 数据流在网络传输过程中自然保持着媒体间的相互关系，在接 收端，按照音视频流的这一关系解复用，达到同步目的。 同步标记法 在媒体发送端发出一个同步标记，在接收端接收同步标记，用 来对各个媒体进行同步处理，达到两方通信同步的目的。 时间戳同步法 把音视频数据流单元分别添加统一的时间信息（例如时间戳）， 然后尽可能的同时发送出去，保证发送端的同步。在接收过程 中提取音视频单元的时间信息，根据该时间信息对音视频数据 的播放先后进行调整，例如音频滞后者，就将视频播放速度减 慢；如果音频超前，则加快视频的播放速率，若音频超前过多， 甚至可考虑丢弃些视频帧。 11
KC可观察到的时间量 ◆TI DSP(C6455)中断响应：4us ◆Windows:线程启动：1-10ms ◆音频压缩的样本序列长度：5ms/10ms/20ms ◆视频中一帧图像的产生时间：30ms-40ms ◆100M以太网传输700万像素JPEG图像：100ms ◆网络视频播放的缓冲时间：20s-60s 问题：多媒体同步需要的时间精度？
{ynh,cxh}@ustc.edu.cn 可观察到的时间量 TI DSP(C6455)中断响应：4us Windows线程启动：1-10ms 音频压缩的样本序列长度:5ms/10ms/20ms 视频中一帧图像的产生时间：30ms-40ms 100M以太网传输700万像素JPEG图像：100ms 网络视频播放的缓冲时间：20s-60s 问题：多媒体同步需要的时间精度？ 12
KC主要内容 ◆什么是多媒体同步 ▣多媒体同步的定义与分类 ▣音视频的同步容限 ◆如何描述多媒体同步 ▣基于Web的媒体时间关系描述 口基于Petri Net的多媒体时间域信息的描述 ◆典型多媒体设备接口信号的同步机制 ◆典型多媒体系统的媒体同步方法 ◆展望未来 13 ynh.cxh @ustc.edu.cn
{ynh,cxh}@ustc.edu.cn 主要内容 什么是多媒体同步 多媒体同步的定义与分类 音视频的同步容限 如何描述多媒体同步 基于Web的媒体时间关系描述 基于Petri Net的多媒体时间域信息的描述 典型多媒体设备接口信号的同步机制 典型多媒体系统的媒体同步方法 展望未来 13
KC同步容限 ◆CPU抢占、缓冲区不大传输带宽不足等因素往往会 导致在恢复后的时域场景中时域事件间的相对位置发 生变化，我们将这种变化称为事件间偏差(SKEW)。 ◆属于同一媒体对象的时域事件之间的偏差称为对象 内偏差，不同媒体对象的时域事件之间的偏差为对象 间偏差。 ◆同步容限包含了用户对偏差许可范围的定义，同步 机制则需依据同步容限，保证恢复场景中事件间偏差 在其许可范围内。 14 ynh.cxh@ustc.edu.cn
{ynh,cxh}@ustc.edu.cn 同步容限 CPU抢占、 缓冲区不大传输带宽不足等因素往往会 导致在恢复后的时域场景中时域事件间的相对位置发 生变化， 我们将这种变化称为事件间偏差(SKEW)。 属于同一媒体对象的时域事件之间的偏差称为对象 内偏差， 不同媒体对象的时域事件之间的偏差为对象 间偏差。 同步容限包含了用户对偏差许可范围的定义， 同步 机制则需依据同步容限， 保证恢复场景中 事件间偏差 在其许可范围内。 14
KC常见多媒体业务对传输网络的要求 最大延迟 最大延迟 平均吞吐 可接受 可接受分 要求 速率 抖动/ms /Mbps 量/Mbps 误码率 组差错率 话音 0.25 10 0.005-0.064 0.064 <10-2 <10^-2 视频图像 0.25 10 100-1000 100 10-2 10^.3 静止图像 1 2-10 2-10 104 10^.9 压缩后视频 0.25 1 0.02-10 2-10 10^-6 10^9 图像 数据文件 1 2-100 2-100 0 0 实时数据 0.001-1 <10 <10 0 0 15 (ynh,cxh@ustc.edu.cn
{ynh,cxh}@ustc.edu.cn 常见多媒体业务对传输网络的要求 15