立体视频延时的事件相关电位研究

工程科学学报，第40卷，第4期：508-515,2018年4月 Chinese Journal of Engineering,Vol.40,No.4:508-515,April 2018 DOI:10.13374/j.issn2095-9389.2018.04.015:http://journals.ustb.edu.cn 立体视频延时的事件相关电位研究 沈丽丽，吴子阳 天津大学电气自动化与信息工程学院，天津300072 ☒通信作者，E-mail:sll@tju.edu.cn 摘要立体视频在无质量保证的互联网上传输时会引发立体视频左右视图的帧延时，影响观看质量.本文提出一种利用主 观评价与客观脑电(electroencephalogram,EEG)相结合的方式分别对深度和水平延时运动立体视频刺激进行分析，并对二者 的差异性进行比较.共有十名被试参加实验，被试观看随机呈现的不同延时等级包括无延时、延时1帧、延时2帧和延时3帧 的立体视频片段，并对是否感知到延时效应做出主观判断，同时记录被试的EEG信号.从EEG信号中提取出事件相关电位 (event related potentials,ERPs)并结合主观行为数据进行分析与比较.实验结果表明，为保证观看质量，深度运动立体视频中 所能存在的最大延时帧数为1帧，水平运动中则不能存在延时效应.与水平延时运动相比，深度延时运动刺激产生的P300成 分幅值变化范围更大，表明在深度延时运动刺激下大脑的活跃程度更高.同时，相同延时帧数的深度运动与水平运动刺激所 产生的P300成分中，深度延时运动的潜伏期更长，这表明处理深度延时运动刺激所需时间更长. 关键词立体视频：帧延时：事件相关电位：深度运动：水平运动：差异性 分类号R318 Study of asynchronous stereoscopic video based on event related potentials SHEN Li-li▣，WU Zi-yang School of Electrical and Information Engineering,Tianjin University,Tianjin 300072,China Corresponding author,E-mail:sll@tju.edu.cn ABSTRACT When stereoscopic videos are transmitted on the no-quality-assurance internet,frame delay occurs in the left and right views,which affect the stereoscopic sensation as well as the viewing quality.In this paper,the stimulus of motion-in-depth and motion- in-lateral asynchronous stereoscopic videos were analyzed and they were compared via qualitative and quantitative assessments.In this quantitative experiments,the well-known electroencephalogram (EEG)was utilized.A total of ten subjects was recruited to participate in an experiment,in which they watched randomly presented asynchronous stereoscopic video clips.For the qualitative assessment,af- ter viewing one clip,the subjects were asked whether they perceived any asynchronicity in the frames.The degrees of asynchronicity in- cluded no delay,one frame delay,two frame delay,and three frame delay.The electroencephalogram (EEG)signal of each subject was recorded as they viewed the clip.Next,the event-related potentials (ERPs)were extracted from the EEG signals and the behavior- al data and the ERPs were analyzed to compare the different reactions to the depths and lateral extents of the asynchronous stereoscopic motion.The results reveal that the maximum allowable asynchronicity perceived for motion-in-depth stereoscopic video clips is one frame,whereas there must be no delay in the motion-in-ateral stereoscopic video clips.In addition,compared with being stimulated by the motion-in-ateral asynchronous stereoscopic video clips,a magnitude of P300 has a wider range when the subjects are stimulated by motion-in-depth asynchronous stereoscopic video clips.This indicates that the brain becomes more active in this circumstance.At the same time,the latency of P300 is longer than when stimulated by the motion-in-lateral asynchronous stereoscopic video clips,which means that when the subjects are stimulated by the same degree of asynchronicity of motion-in-depth and -in-ateral stereoscopic video clips,more time is required to process the stimulation of motion-in-depth stereoscopic video clips. 收稿日期：201707-20 基金项目：国家自然科学基金资助项目(61520106002,61302123)

工程科学学报，第 40 卷，第 4 期: 508--515，2018 年 4 月 Chinese Journal of Engineering，Vol． 40，No． 4: 508--515，April 2018 DOI: 10． 13374 /j． issn2095--9389． 2018． 04． 015; http: / /journals． ustb． edu． cn 立体视频延时的事件相关电位研究 沈丽丽，吴子阳 天津大学电气自动化与信息工程学院，天津 300072 通信作者，E-mail: sll@ tju． edu． cn 摘 要 立体视频在无质量保证的互联网上传输时会引发立体视频左右视图的帧延时，影响观看质量． 本文提出一种利用主 观评价与客观脑电( electroencephalogram，EEG) 相结合的方式分别对深度和水平延时运动立体视频刺激进行分析，并对二者 的差异性进行比较． 共有十名被试参加实验，被试观看随机呈现的不同延时等级包括无延时、延时 1 帧、延时 2 帧和延时 3 帧 的立体视频片段，并对是否感知到延时效应做出主观判断，同时记录被试的 EEG 信号． 从 EEG 信号中提取出事件相关电位 ( event related potentials，EＲPs) 并结合主观行为数据进行分析与比较． 实验结果表明，为保证观看质量，深度运动立体视频中 所能存在的最大延时帧数为 1 帧，水平运动中则不能存在延时效应． 与水平延时运动相比，深度延时运动刺激产生的 P300 成 分幅值变化范围更大，表明在深度延时运动刺激下大脑的活跃程度更高． 同时，相同延时帧数的深度运动与水平运动刺激所 产生的 P300 成分中，深度延时运动的潜伏期更长，这表明处理深度延时运动刺激所需时间更长． 关键词 立体视频; 帧延时; 事件相关电位; 深度运动; 水平运动; 差异性 分类号 Ｒ318 收稿日期: 2017--07--20 基金项目: 国家自然科学基金资助项目( 61520106002，61302123) Study of asynchronous stereoscopic video based on event related potentials SHEN Li-li ，WU Zi-yang School of Electrical and Information Engineering，Tianjin University，Tianjin 300072，China Corresponding author，E-mail: sll@ tju． edu． cn ABSTＲACT When stereoscopic videos are transmitted on the no-quality-assurance internet，frame delay occurs in the left and right views，which affect the stereoscopic sensation as well as the viewing quality． In this paper，the stimulus of motion-in-depth and motion￾in-lateral asynchronous stereoscopic videos were analyzed and they were compared via qualitative and quantitative assessments． In this quantitative experiments，the well-known electroencephalogram ( EEG) was utilized． A total of ten subjects was recruited to participate in an experiment，in which they watched randomly presented asynchronous stereoscopic video clips． For the qualitative assessment，af￾ter viewing one clip，the subjects were asked whether they perceived any asynchronicity in the frames． The degrees of asynchronicity in￾cluded no delay，one frame delay，two frame delay，and three frame delay． The electroencephalogram ( EEG) signal of each subject was recorded as they viewed the clip． Next，the event-related potentials ( EＲPs) were extracted from the EEG signals and the behavior￾al data and the EＲPs were analyzed to compare the different reactions to the depths and lateral extents of the asynchronous stereoscopic motion． The results reveal that the maximum allowable asynchronicity perceived for motion-in-depth stereoscopic video clips is one frame，whereas there must be no delay in the motion-in-lateral stereoscopic video clips． In addition，compared with being stimulated by the motion-in-lateral asynchronous stereoscopic video clips，a magnitude of P300 has a wider range when the subjects are stimulated by motion-in-depth asynchronous stereoscopic video clips． This indicates that the brain becomes more active in this circumstance． At the same time，the latency of P300 is longer than when stimulated by the motion-in-lateral asynchronous stereoscopic video clips，which means that when the subjects are stimulated by the same degree of asynchronicity of motion-in-depth and -in-lateral stereoscopic video clips，more time is required to process the stimulation of motion-in-depth stereoscopic video clips．

沈丽丽等：立体视频延时的事件相关电位研究 ·509· KEY WORDS stereoscopic video;asynchronous frame;event-related potentials;motion in depth:motion in lateral:difference 随着三维显示技术的迅速发展，一些三维产品 制，是进行客观实验的可靠手段 如三维电影等逐步走进人们的日常生活，人们越来 通常自发产生的脑电信号复杂而无规律，当大 越享受观看立体视频所带来的身临其境感口.在观 脑受到某种特定刺激时，会产生电位上的变化，但这 看过程中，人的双眼只有同时接收两路独立传输的 种变化往往会淹没在自发脑电信号中.但将由相同 左右视频流，才能在特定的视角下感知到深度信息， 刺激引发的多段脑电进行叠加平均后，自发脑电正 经过大脑进一步加工、处理形成立体视觉回.然而， 负波形会相互抵消，而事件相关电位(event related 在立体视频传输过程中，由于网络延迟及数据丢包 potentials,ERPs)具有波形和潜伏期恒定的特点，因 等因素的存在会导致立体视频帧的左右视图发生延 此能从EEG信号中提取出来3-W.王笑等的针对 时效应同，影响立体感及观看质量.因而，对立体视 立体视频片段中的上边框效应是否会引起人体不适 频帧延时的探究对3D产业的进一步发展具有指导 的问题对35名被试利用ERPs进行了研究.Mun 意义. 等利用ERPs技术对21名被试(11女)在观看立 目前，对立体视频帧延时的研究主要分为主观 体视频后所产生的认知疲劳进行研究，发现疲劳状 实验法与客观实验法两种.主观实验方法通过设计 态下P600成分的幅值降低，潜伏期延长.ERPs作 相应主观实验，被试根据其主观感受填写调查问卷 为一种客观评价方法被广泛应用 或做出主观判断，进而对被试的主观行为数据分析 本文分别以1s长的深度延时运动和水平延时 得出结论.in等回通过主观实验方法得出延时超 运动立体视频作为刺激，延时等级包括无延时、延时 过2帧后易引发被试的视觉不舒适甚至视觉疲劳. 1帧、延时2帧和延时3帧，通过主观评价和客观脑 客观实验方法主要基于客观算法对立体视频帧延时 电实验相结合的方法对人的延时感知进行了探究， 进行研究，Gao等0提出了一种基于尺度不变特征 同时对二者的差异性进行分析与比较 变换(scale--invariant feature transform,SIFT)算子的 1实验方法 帧同步性检测算法，实验结果表明该算法在大多数 立体场景中具有良好的效果.Goldmann等对立 1.1深度延时运动实验 体视频延时帧数与立体视频质量关系进行了分析并 1.1.1实验素材 提出一种新的帧同步性检测算法.Tam等与Kim 为消除视差位置对探究帧延时立体视频的影 等切研究发现立体视频帧的左右视图出现延时后， 响，首先进行练习实验.实验素材由Autodesk Maya 其视差分布也会发生相应变化. 软件制作而成，以静止蓝天白云为背景，三维立体足 当前对立体视频帧延时的研究已初具成果，但 球由屏内向屏外做匀速直线运动，为增加立体效果， 其中也存在一些不可忽视的问题.(1)对于运动的 使背景与足球形成相对视差，图1(a)和图1(b)分 立体场景，深度运动和水平运动是两种不同的模式， 别为一个运动场景中首末帧的右视图.由文献4一 这两种模式下发生帧延时的结果不一定相同：(2) 5,17],为保证观看的舒适度，设置足球以中速16°· 主观实验具有直接反映被试主观感受的优点，但其 s运动，右视图发生帧延时.本实验分为7个不同 本质是基于记忆的，实验结果与被试关系密切， 的延时位置，即-0.6°、-0.4°、-0.2°、0°、+0.2°、 因此单一的主观实验结果并不完全可靠：(3)帧同 +0.4°和+0.6°处分别实现右视图延时，延时等级 步性检测算法对特定立体场景的检测效果较好，但 分为四种：无延时、延时1帧、延时2帧和延时3帧. 其鲁棒性不强，不具备普适性.基于此，本文利用主 视频时长均为1s 观实验与客观实验相结合的方法对运动的立体场景 中水平与深度运动帧延时分别进行研究，同时对二 者的差异性进行比较.客观实验通过采集被试脑电 (electroencephalogram,EEG)这一生物电信号进行， a 公 EEG是一种实时记录大脑活动的生物电信号W,其 图1深度延时运动场景首末帧右视图.(a)第一帧：(b)最后 分辨能力达毫秒级0-？，且不受被试主观因素的影 一帧 响，简单方便易于获取.该方法既能作为主观实验 Fig.I Asynchronous stereoscopic video of motion in depth:(a)the 结果可靠性的验证又不受特定立体运动场景的限 first frame of right view:(b)the last frame of right view

沈丽丽等: 立体视频延时的事件相关电位研究 KEY WOＲDS stereoscopic video; asynchronous frame; event-related potentials; motion in depth; motion in lateral; difference 随着三维显示技术的迅速发展，一些三维产品 如三维电影等逐步走进人们的日常生活，人们越来 越享受观看立体视频所带来的身临其境感［1］． 在观 看过程中，人的双眼只有同时接收两路独立传输的 左右视频流，才能在特定的视角下感知到深度信息， 经过大脑进一步加工、处理形成立体视觉［2］． 然而， 在立体视频传输过程中，由于网络延迟及数据丢包 等因素的存在会导致立体视频帧的左右视图发生延 时效应［3］，影响立体感及观看质量． 因而，对立体视 频帧延时的探究对 3D 产业的进一步发展具有指导 意义． 目前，对立体视频帧延时的研究主要分为主观 实验法与客观实验法两种． 主观实验方法通过设计 相应主观实验，被试根据其主观感受填写调查问卷 或做出主观判断，进而对被试的主观行为数据分析 得出结论． Lin 等［3］通过主观实验方法得出延时超 过 2 帧后易引发被试的视觉不舒适甚至视觉疲劳． 客观实验方法主要基于客观算法对立体视频帧延时 进行研究，Gao 等［4］提出了一种基于尺度不变特征 变换( scale-invariant feature transform，SIFT) 算子的 帧同步性检测算法，实验结果表明该算法在大多数 立体场景中具有良好的效果． Goldmann 等［5］对立 体视频延时帧数与立体视频质量关系进行了分析并 提出一种新的帧同步性检测算法． Tam 等［6］与 Kim 等［7］研究发现立体视频帧的左右视图出现延时后， 其视差分布也会发生相应变化． 当前对立体视频帧延时的研究已初具成果，但 其中也存在一些不可忽视的问题． ( 1) 对于运动的 立体场景，深度运动和水平运动是两种不同的模式， 这两种模式下发生帧延时的结果不一定相同; ( 2) 主观实验具有直接反映被试主观感受的优点，但其 本质是基于记忆的，实验结果与被试关系密切［8--9］， 因此单一的主观实验结果并不完全可靠; ( 3) 帧同 步性检测算法对特定立体场景的检测效果较好，但 其鲁棒性不强，不具备普适性． 基于此，本文利用主 观实验与客观实验相结合的方法对运动的立体场景 中水平与深度运动帧延时分别进行研究，同时对二 者的差异性进行比较． 客观实验通过采集被试脑电 ( electroencephalogram，EEG) 这一生物电信号进行， EEG 是一种实时记录大脑活动的生物电信号［8］，其 分辨能力达毫秒级［10--12］，且不受被试主观因素的影 响，简单方便易于获取． 该方法既能作为主观实验 结果可靠性的验证又不受特定立体运动场景的限 制，是进行客观实验的可靠手段． 通常自发产生的脑电信号复杂而无规律，当大 脑受到某种特定刺激时，会产生电位上的变化，但这 种变化往往会淹没在自发脑电信号中． 但将由相同 刺激引发的多段脑电进行叠加平均后，自发脑电正 负波形会相互抵消，而事件相关电位( event related potentials，EＲPs) 具有波形和潜伏期恒定的特点，因 此能从 EEG 信号中提取出来［13--14］． 王笑等［15］针对 立体视频片段中的上边框效应是否会引起人体不适 的问题对 35 名被试利用 EＲPs 进行了研究． Mun 等［16］利用 EＲPs 技术对 21 名被试( 11 女) 在观看立 体视频后所产生的认知疲劳进行研究，发现疲劳状 态下 P600 成分的幅值降低，潜伏期延长． EＲPs 作 为一种客观评价方法被广泛应用． 本文分别以 1 s 长的深度延时运动和水平延时 运动立体视频作为刺激，延时等级包括无延时、延时 1 帧、延时 2 帧和延时 3 帧，通过主观评价和客观脑 电实验相结合的方法对人的延时感知进行了探究， 同时对二者的差异性进行分析与比较． 1 实验方法 1. 1 深度延时运动实验 1. 1. 1 实验素材 图 1 深度延时运动场景首末帧右视图． ( a) 第一帧; ( b) 最后 一帧 Fig． 1 Asynchronous stereoscopic video of motion in depth: ( a) the first frame of right view; ( b) the last frame of right view 为消除视差位置对探究帧延时立体视频的影 响，首先进行练习实验． 实验素材由 Autodesk Maya 软件制作而成，以静止蓝天白云为背景，三维立体足 球由屏内向屏外做匀速直线运动，为增加立体效果， 使背景与足球形成相对视差，图 1( a) 和图 1( b) 分 别为一个运动场景中首末帧的右视图． 由文献［4-- 5，17］，为保证观看的舒适度，设置足球以中速 16°· s － 1运动，右视图发生帧延时． 本实验分为 7 个不同 的延时位置，即 － 0. 6°、－ 0. 4°、－ 0. 2°、0°、+ 0. 2°、 + 0. 4°和 + 0. 6°处分别实现右视图延时，延时等级 分为四种: 无延时、延时 1 帧、延时 2 帧和延时 3 帧． 视频时长均为 1 s． · 905 ·

·510 工程科学学报，第40卷，第4期 1.1.2实验设计 1.2m远以保证被试观看舒适度.整个练习实验包 实验随机选取10名在校大学生(4女6男)作 括60个试次，每一试次包含五部分，如图2所示 为被试，年龄为22到28岁，其中3名有相关实验经 首先在屏幕中间呈现白色圆点以使被试集中注意 验.所有被试均有正常或矫正后正常的视力及合格 力，时长为500ms:紧接着呈现1s无延时的视频：之 的立体敏锐度，且无神经系统疾病如光敏性癫痫. 后呈现500ms的休息间隔以缓解视差改变过大引 为减少被试自身身体及心理因素的影响，在实验开 起的不舒适感：然后以随机方式呈现1s不同视差等 始前要充分休息并提前了解实验流程.为避免灯光 级的延时视频，其中无延时视频占视频总数的 闪烁引起视觉不舒适，整个实验在一个暗淡的环境 83%,延时1、2、3帧的视频共占17%（遵循0 ddball 中进行 实验范式-9)：最后在屏幕中间再次呈现白色圆 立体视频刺激在1366×768分辨率的立体显示 点，此时被试判断是否感知到由延时效应引起的不 器上以side-by-side方式呈现.根据行业标准，观看 协调感，若判断为不协调则点击鼠标左键，反之点击 距离为显示器高度(0.398m)的3倍，大约距显示器 鼠标右键，被试点击鼠标后随即进入下一个试次. 500m5 1000ms 500ms 1000ms 等待判断 图2深度延时运动实验流程图 Fig.2 Procedure of one trail in motion-in-depth experiment 分析10名被试的主观行为数据，将由不同视差 运动的视差固定在+0.2°视差位置处.延时帧数同 等级引起的被试不协调感检测率进行分类，如图3 样分为四个等级，即无延时、延时1帧、延时2帧和 所示，其中S1和S2等分别表示被试1和被试2等. 延时3帧.其中，所有视频的帧延时都在屏幕的中 由图3可知：(1)在不同的视差等级下，检测率折线 间位置. 走势基本一致，即随着延时帧数的增加，检测率逐渐 1.2.2实验设计 增加.(2)当延时帧数为1帧时，检测率低于50%， 水平延时运动实验设计与深度延时运动相同. 当延时帧数为2帧或3帧时，检测率几乎为达到 根据10名被试的行为数据分析不同速度等级下的 100%,说明被试对2帧和3帧的延时十分敏感. 不协调检测率，如图5所示.由图可知：(1)当水平 (3)10名被试在+0.2°视差位置处所得不协调检测 运动速度在16cm·s1到22cm·s1之间时，随着速 率曲线较为一致，表明此视差位置下，被试更易于感 度的增加，不协调检测率不断上升，表明被试容易感 知帧延时的变化，因而此视差位置为探究深度运动 知出较高运动速度的延时效应.(2)当运动速度在 中延时效应的最佳位置 18cms到22cms-1之间时，不协调感检测率的变 基于练习实验结果，正式实验的实验素材选取 化明显.(3)当运动速度高于22cm·s-1时，检测率 +0.2°视差位置处发生不同等级的帧延时立体视 有所下降，说明此时被试虽能感知到不协调感，但过 频，包括无延时、延时1帧、延时2帧和延时3帧. 大的速度也会使其不能及时捕捉到这种不协调感. 正式实验分为600个试次，除观看过程中需采集被 以上结果表明速度大小对延时感知具有较大影响， 试脑电信号外，其余部分与练习实验相同 为保证结果的可靠性速度应在22cm's1以下. 1.2水平延时运动实验 基于以上分析，正式实验选取足球的水平运动 1.2.1实验素材 速度为16cm·s的立体视频，共包括600个试次， 实验素材为一个三维立体足球自左向右做匀速 帧延时均发生在屏幕中央位置，延时等级及其他部 直线运动，图4(a)和图4(b)分别为首末帧的右视 分均与深度延时运动相同 图，制作方法同深度延时运动实验.由于物体运动 2 速度的大小是影响观看舒适度的重要因素，因此进 实验数据的采集和处理 行练习实验以找出最佳运动速度.设置6个速度等 实验数据包括主观行为数据和客观脑电 级，分别为16、18、20、22、24和26cms-1.基于文献 (EEG)数据两种.行为数据即被试对于帧延时所带 B5]及立体深度运动练习实验所得结论，将足球 来的不协调感的主观判断，被试点击鼠标左右键由

工程科学学报，第 40 卷，第 4 期 1. 1. 2 实验设计 实验随机选取 10 名在校大学生( 4 女 6 男) 作 为被试，年龄为 22 到 28 岁，其中 3 名有相关实验经 验． 所有被试均有正常或矫正后正常的视力及合格 的立体敏锐度，且无神经系统疾病如光敏性癫痫． 为减少被试自身身体及心理因素的影响，在实验开 始前要充分休息并提前了解实验流程． 为避免灯光 闪烁引起视觉不舒适，整个实验在一个暗淡的环境 中进行． 立体视频刺激在 1366 × 768 分辨率的立体显示 器上以 side-by-side 方式呈现． 根据行业标准，观看 距离为显示器高度( 0. 398 m) 的 3 倍，大约距显示器 1. 2 m 远以保证被试观看舒适度． 整个练习实验包 括 60 个试次，每一试次包含五部分，如图 2 所示． 首先在屏幕中间呈现白色圆点以使被试集中注意 力，时长为 500 ms; 紧接着呈现 1 s 无延时的视频; 之 后呈现 500 ms 的休息间隔以缓解视差改变过大引 起的不舒适感; 然后以随机方式呈现 1 s 不同视差等 级的 延 时 视 频，其中无延时视频占视频总数的 83% ，延时 1、2、3 帧的视频共占 17% ( 遵循 Oddball 实验范式［18--19］) ; 最后在屏幕中间再次呈现白色圆 点，此时被试判断是否感知到由延时效应引起的不 协调感，若判断为不协调则点击鼠标左键，反之点击 鼠标右键，被试点击鼠标后随即进入下一个试次． 图 2 深度延时运动实验流程图 Fig． 2 Procedure of one trail in motion-in-depth experiment 分析 10 名被试的主观行为数据，将由不同视差 等级引起的被试不协调感检测率进行分类，如图 3 所示，其中 S1 和 S2 等分别表示被试 1 和被试 2 等． 由图 3 可知: ( 1) 在不同的视差等级下，检测率折线 走势基本一致，即随着延时帧数的增加，检测率逐渐 增加． ( 2) 当延时帧数为 1 帧时，检测率低于 50% ， 当延时帧数为 2 帧或 3 帧时，检测率几乎为达到 100% ，说明被试对 2 帧和 3 帧的延时十分敏感． ( 3) 10 名被试在 + 0. 2°视差位置处所得不协调检测 率曲线较为一致，表明此视差位置下，被试更易于感 知帧延时的变化，因而此视差位置为探究深度运动 中延时效应的最佳位置． 基于练习实验结果，正式实验的实验素材选取 + 0. 2°视差位置处发生不同等级的帧延时立体视 频，包括无延时、延时 1 帧、延时 2 帧和延时 3 帧． 正式实验分为 600 个试次，除观看过程中需采集被 试脑电信号外，其余部分与练习实验相同． 1. 2 水平延时运动实验 1. 2. 1 实验素材 实验素材为一个三维立体足球自左向右做匀速 直线运动，图 4( a) 和图 4( b) 分别为首末帧的右视 图，制作方法同深度延时运动实验． 由于物体运动 速度的大小是影响观看舒适度的重要因素，因此进 行练习实验以找出最佳运动速度． 设置 6 个速度等 级，分别为 16、18、20、22、24 和 26 cm·s － 1 ． 基于文献 ［3--5］及立体深度运动练习实验所得结论，将足球 运动的视差固定在 + 0. 2°视差位置处． 延时帧数同 样分为四个等级，即无延时、延时 1 帧、延时 2 帧和 延时 3 帧． 其中，所有视频的帧延时都在屏幕的中 间位置． 1. 2. 2 实验设计 水平延时运动实验设计与深度延时运动相同． 根据 10 名被试的行为数据分析不同速度等级下的 不协调检测率，如图 5 所示． 由图可知: ( 1) 当水平 运动速度在 16 cm·s － 1到 22 cm·s － 1之间时，随着速 度的增加，不协调检测率不断上升，表明被试容易感 知出较高运动速度的延时效应． ( 2) 当运动速度在 18 cm·s － 1到 22 cm·s － 1之间时，不协调感检测率的变 化明显． ( 3) 当运动速度高于 22 cm·s － 1时，检测率 有所下降，说明此时被试虽能感知到不协调感，但过 大的速度也会使其不能及时捕捉到这种不协调感． 以上结果表明速度大小对延时感知具有较大影响， 为保证结果的可靠性速度应在 22 cm·s － 1以下． 基于以上分析，正式实验选取足球的水平运动 速度为 16 cm·s － 1的立体视频，共包括 600 个试次， 帧延时均发生在屏幕中央位置，延时等级及其他部 分均与深度延时运动相同． 2 实验数据的采集和处理 实验数据包括主观行为数据和客观脑电 ( EEG) 数据两种． 行为数据即被试对于帧延时所带 来的不协调感的主观判断，被试点击鼠标左右键由 · 015 ·

沈丽丽等：立体视频延时的事件相关电位研究 511· 1.0 1.0 0.9 0.8 0.7 0.6 0.5 -9 88833 0.4 -S10 S10 0.3 3 02 0.1 0.1 b 8 延时帧数 延时顿数 1.0 1.0 0.9 0.9 0.8 0.7 0.6 0.6 0.5 0.4 -s10 s10 0.3 0 0.2 9 延时帧数 延时帧数 1.0 1.0 0.9 0.8 08 0.7 0.6 05 05 0.4 10 03 0.2 3 0.1 0.1 (f) 2 延时帧数 延时帧数 1.0 0.9 0. 07 0. 0.5 8 +S 0.4 +-S10 03 0.2 0.1 g 延时帧数 图3不同视差等级延时检测率.(a)-0.6°：(b)-0.4:(c)-0.2°：(d)0°：(c)+0.2°：(f0+0.4°：(g)+0.6 Fig.3 Detection ratio of subjects in different parallax positions:(a)-0.6:(b)-0.4°：(c)-0.2:(d)0°：(e）+0.2°：(f0+0.4°：(g) +0.6° Eprime2.0软件进行记录.EEG数据采用国际10- 试的水平眼电与垂直眼电，用以去除眼球运动对其 20系统，嵌入式64导联脑电帽与Neuroscan系统进 他电极电位的影响. 行采集与记录，如图6所示.采样频率为1000Hz, 使用Neuroscan4.5软件对所得数据进行离线 将右侧乳突电位作为参考电极.为去除直流漂移成 分析.首先进行行为数据的合并用于后续分析.接 分以及高频千扰，对信号进行0.05Hz到100Hz的 下来进行脑电数据的预览，去除漂移严重或包含心 带通滤波.实验开始前，将每个电极注射适量脑电 电伪迹、吞咽伪迹等较多的脑电数据段.然后去除 音使其阻值小于5k,保证正常导电.同时记录被 眼电，消除由眼动引起的电位变化.接着将所得脑

沈丽丽等: 立体视频延时的事件相关电位研究 图 3 不同视差等级延时检测率． ( a) － 0. 6°; ( b) － 0. 4°; ( c) － 0. 2°; ( d) 0°; ( e) + 0. 2°; ( f) + 0. 4°; ( g) + 0. 6° Fig． 3 Detection ratio of subjects in different parallax positions: ( a) － 0. 6°; ( b) － 0. 4°; ( c) － 0. 2°; ( d) 0°; ( e) + 0. 2°; ( f) + 0. 4°; ( g) + 0. 6° Eprime2. 0 软件进行记录． EEG 数据采用国际 10-- 20 系统，嵌入式 64 导联脑电帽与 Neuroscan 系统进 行采集与记录，如图 6 所示． 采样频率为 1000 Hz， 将右侧乳突电位作为参考电极． 为去除直流漂移成 分以及高频干扰，对信号进行 0. 05 Hz 到 100 Hz 的 带通滤波． 实验开始前，将每个电极注射适量脑电 膏使其阻值小于 5 kΩ，保证正常导电． 同时记录被 试的水平眼电与垂直眼电，用以去除眼球运动对其 他电极电位的影响． 使用 Neuroscan 4. 5 软件对所得数据进行离线 分析． 首先进行行为数据的合并用于后续分析． 接 下来进行脑电数据的预览，去除漂移严重或包含心 电伪迹、吞咽伪迹等较多的脑电数据段． 然后去除 眼电，消除由眼动引起的电位变化． 接着将所得脑 · 115 ·

·512 工程科学学报，第40卷，第4期 0.22、0.8和0.896.由此可得，当延时帧数小于等 于1帧时，不协调感检测率明显低于50%，此时被 试不易感知出立体视频的帧延时效应：当延时帧数 o G 超过1帧后，检测率达到80%及以上，表明此时被 图4水平延时运动场景首末帧.(a)第一帧：(b)最后一帧 试对帧延时效应十分敏感. Fig.4 Asynchronous stereoscopic video of motion in lateral:(a)the 1.0- 0.9 -51 first frame of right view;(b)the last frame of right view -52 0.8-3 0.7 -4 1.0 -5 6 -S6 0.9 -S7 0.8 0.4 0.7 0.3 -S10 0.2 0.5 0.1 一无延时 0 ·一延时1顿 延时顿数 0.3 延时2帧 02 一延时3帧 图7深度延时运动中被试检测率曲线 Fig.7 Curves of detection ratio for all subjects in motion in depth 0.0 一量一 6 18 202224 26 3.1.2水平延时运动行为数据分析 水平速度cm·s) 图8为10名被试观看水平延时运动立体视频 图5不同速度等级延时检测率 素材所得不协调感检测率曲线，其变化趋势与深度 Fig.5 Detection ratio of different speeds 延时运动相似，但不同延时等级下的平均检测率有 明显差异.无延时、延时1帧、2帧和3帧的平均检 测率分别为0.007、0.68、0.92和0.99，延时存在时 的检测率均超过50%，延时2帧与3帧高达90%以 上.可以看出，大脑对水平延时和深度延时立体视 频刺激感知情况存在差异，在水平延时运动中存在 帧延时现象即能被感知出. 1.0 0.9 0.8 0.7 -S3 图6脑电信号采集实景 0.6 -S4 Fig.6 Acquisition of EEG signals 0.5 04 -s7 电信号分段处理，以刺激发生的时间为起点，按照事 0.2 -S10 件持续的时间对脑电数据进行分段，并对分段后的 0.1 信号进行基线校正以去除分段信号相对基线的偏 2 延时帧数 离.最后祛除伪迹并进行叠加平均，提取出ERPs 图8水平延时运动中被试检测率曲线 深度延时运动和水平延时运动的数据获取及处理过 Fig.8 Curves of detection ratio for all subjects in motion in lateral 程是相同的 3.2ERPs结果分析 3实验结果 3.2.1深度延时运动ERPs结果分析 3.1行为数据结果分析 图9所示为大脑中央区电极Cz上深度延时运 3.1.1深度延时运动行为数据分析 动立体视频刺激在大脑皮层诱发的平均ERPs信 图7为10名被试观看深度延时运动立体视频 号，可以看出，大脑对深度延时运动刺激有明显反 素材所得的不协调感检测率曲线.随着延时帧数的 应.根据时间将曲线分为三部分：(1)0~500ms,为 增加，检测率也在逐渐增加.其中无延时、延时1 被试休息阶段，四种波形无明显差异：(2)500ms~ 帧、2帧和3帧所得平均检测率分别为0.0189、 1s,帧延时刺激出现在500ms,文献20-21]表明

工程科学学报，第 40 卷，第 4 期 图 4 水平延时运动场景首末帧． ( a) 第一帧; ( b) 最后一帧 Fig． 4 Asynchronous stereoscopic video of motion in lateral: ( a) the first frame of right view; ( b) the last frame of right view 图 5 不同速度等级延时检测率 Fig． 5 Detection ratio of different speeds 图 6 脑电信号采集实景 Fig． 6 Acquisition of EEG signals 电信号分段处理，以刺激发生的时间为起点，按照事 件持续的时间对脑电数据进行分段，并对分段后的 信号进行基线校正以去除分段信号相对基线的偏 离． 最后祛除伪迹并进行叠加平均，提取出 EＲPs． 深度延时运动和水平延时运动的数据获取及处理过 程是相同的． 3 实验结果 3. 1 行为数据结果分析 3. 1. 1 深度延时运动行为数据分析 图 7 为 10 名被试观看深度延时运动立体视频 素材所得的不协调感检测率曲线． 随着延时帧数的 增加，检测率也在逐渐增加． 其中无延时、延时 1 帧、2 帧 和 3 帧所得平均检测率分别为 0. 0189、 0. 22、0. 8 和 0. 896． 由此可得，当延时帧数小于等 于 1 帧时，不协调感检测率明显低于 50% ，此时被 试不易感知出立体视频的帧延时效应; 当延时帧数 超过 1 帧后，检测率达到 80% 及以上，表明此时被 试对帧延时效应十分敏感． 图 7 深度延时运动中被试检测率曲线 Fig． 7 Curves of detection ratio for all subjects in motion in depth 3. 1. 2 水平延时运动行为数据分析 图 8 为 10 名被试观看水平延时运动立体视频 素材所得不协调感检测率曲线，其变化趋势与深度 延时运动相似，但不同延时等级下的平均检测率有 明显差异． 无延时、延时 1 帧、2 帧和 3 帧的平均检 测率分别为 0. 007、0. 68、0. 92 和 0. 99，延时存在时 的检测率均超过 50% ，延时 2 帧与 3 帧高达 90% 以 上． 可以看出，大脑对水平延时和深度延时立体视 频刺激感知情况存在差异，在水平延时运动中存在 帧延时现象即能被感知出． 图 8 水平延时运动中被试检测率曲线 Fig． 8 Curves of detection ratio for all subjects in motion in lateral 3. 2 EＲPs 结果分析 3. 2. 1 深度延时运动 EＲPs 结果分析 图 9 所示为大脑中央区电极 Cz 上深度延时运 动立体视频刺激在大脑皮层诱发的平均 EＲPs 信 号，可以看出，大脑对深度延时运动刺激有明显反 应． 根据时间将曲线分为三部分: ( 1) 0 ～ 500 ms，为 被试休息阶段，四种波形无明显差异; ( 2) 500 ms ～ 1 s，帧延时刺激出现在 500 ms，文献［20--21］表明， · 215 ·