●●● ●●●● ●● 42表现需求 ●●0 ●0 >同步需求和阻塞需求 >唇同步需求 指向同步需求 >基本的媒体同步
4.2 表现需求 ➢ 同步需求和阻塞需求 ➢ 唇同步需求 ➢ 指向同步需求 ➢ 基本的媒体同步
●●● ●●●● ●● 421同步需求和阻塞需求 ●●0 ●0 >同步需求 对于对象内同步:要求LDU延迟的精度,应避免连续 LDU的时延抖动 对于对象间同步:要求媒体对象并行表现精度,用户 感知对表现精度很重要 >阻塞需求 阻塞:使时间无关媒体的LDU数据流暂停,相互等待 °受限阻塞:分别阻塞音频流和视频流
4.2.1 同步需求和阻塞需求 ➢ 同步需求 ⚫ 对于对象内同步：要求LDU延迟的精度，应避免连续 LDU的时延抖动 ⚫ 对于对象间同步：要求媒体对象并行表现精度，用户 感知对表现精度很重要 ➢ 阻塞需求 ⚫ 阻塞：使时间无关媒体的LDU数据流暂停，相互等待 ⚫ 受限阻塞：分别阻塞音频流和视频流
●●● ●●●● ●● 421同步需求和阻塞需求 ●●0 ●0 >受限阻塞中实现同步的两种方法 °重复表现前面一个样本(表现单元) 替换表现单元:彩色变为黑白,运动变为静止 媒体流的再采样:加速或减慢媒体流速达到同步 离线再样:对单独获取的媒体流在执行前再采样达到相同 的理论重放时间 在线再采样:对运行媒体流表现中出现间隙时,在表达过程 中使用在线来采样 再采样方法:重新定义回放速率、复制、插入或跳过采样点, 或重新计算整个序列
4.2.1 同步需求和阻塞需求 ➢ 受限阻塞中实现同步的两种方法 ⚫ 重复表现前面一个样本（表现单元） 替换表现单元：彩色变为黑白，运动变为静止 ⚫ 媒体流的再采样：加速或减慢媒体流速达到同步 ⚫ 离线再采样：对单独获取的媒体流在执行前再采样达到相同 的理论重放时间 ⚫ 在线再采样：对运行媒体流表现中出现间隙时，在表达过程 中使用在线来采样 ⚫ 再采样方法：重新定义回放速率、复制、插入或跳过采样点， 或重新计算整个序列
●●● ●●●● ●● 422唇同步需求 ●●0 ●0 >概念 °唇同步:人类说话的音频流和视频流之间的时间关系 ●时滞:关联的音频和视频LDU之间的时间差 察觉到“不同步”时滞 对表现质量的感觉 ●用户的容忍程度 时滞容限
4.2.2 唇同步需求 ➢ 概念 ⚫ 唇同步：人类说话的音频流和视频流之间的时间关系 ⚫ 时滞：关联的音频和视频LDU之间的时间差 ⚫ 察觉到“不同步”时滞 ⚫ 对表现质量的感觉 ⚫ 用户的容忍程度 ⚫ 时滞容限
●●● ●●●● ●● 422唇同步需求 ●●0 ●0 >实验 °新闻环境:电视播音员的头部、肩部和身体的姿势 ●时滞的偏差间隔:40ms(人类难以分辨更高分辨率 的唇同步时滞;软硬件设备刷新运动视频数据的间隔 般为33~40ms) 从三个不同视角发现同步错误的曲线图
4.2.2 唇同步需求 ➢ 实验 ⚫ 新闻环境：电视播音员的头部、肩部和身体的姿势 ⚫ 时滞的偏差间隔：40ms（人类难以分辨更高分辨率 的唇同步时滞；软硬件设备刷新运动视频数据的间隔 一般为33~40ms） ⚫ 从三个不同视角发现同步错误的曲线图