寸鳳海汗大擊学报茘鞏 视频加速对二语字幕影视使用效果的影响 王怿旦 (江苏第二师范学院外国语学院,江苏南京211200) 摘要:字幕视频集动态效果、口语对话和书面文字为一体,在“图像转向”背景下及多媒体学 习理论的支撑下,当前字幕视频在传统课堂和网络课堂被广泛应用,已被公认为一种获取语言技能 的时代性教学工具与宝贵资源。变速播放或变速处理是时下一种十分流行、广为使用的音视频处 理技术,本研究在字幕视频教学中创新性引进视频加速手段,通过学习者学习威绩和满意度情况调 查实证分析了字幕视频加速对字幕视频学习的效用。研究结果表明,字幕视频1.2倍速播放时,对 学习效果不存在任何负面影响,同时绝大多数受试者对视频加速这种方式较为满意、有兴趣,并意 识到视频加速对提高学习效率的重要意义 关键词:视频加速;字幕影视;二语学习;图像转向;多媒体学习 中图分类号:H319文献标识码:A文章编号:1672-335X(2020)030124-07 DOl:10.16497/.cnki.1672335X.202003013 、引言 继20世纪中后期人文领域的“语言转向”与“文化转向”后,a视觉符号、影像呈现开始发展,并大 行其道,成了一种越来越重要的媒介与手段。20世纪90年代初开始了“图像转向”, Mitchell于1995年 在《图像理论》一书中明确提出,“图像转向”是在影像和信息技术时代所兴起的以图像为研究对象、探索 视觉经验独有的解释模式的后语言学的、后符号学的人文科学研究范式。3“图像转向”强调图像和语 言都参与意识本质建构,图像像语言一样,也是人类进行思考与表达的一种思维方式与符号性言说方 式,也可以突破时空局限而传播信息,不存在纯粹的视觉或语言,它们彼此交互融通,图像观看与文本阅 读均为深度式的接受活动,图像转向并不意味着图像的狂欢和霸权以及与此相对应的语言式微,而是对 图像表达比重日益增加的趋势和过程的描述;图像转向既表明图像增长的速度之快,也表明图像增长的 技术支撑性;“图像转向”的实质在于语言与图像之间互为他者、和谐共生,是一种视觉和话语之间的复 杂互动,一种抽象与具象交融。它是对结构主义一种突破,是对语言本身张力的进步,也是对媒介局限 性的一种符号性超越。它还指出,图像与文本一样有意义,其能指对应所指,是一个符号系统,是不能脱 离意义而存在的,图像与文本的意义之间往往存在一种互文性关系。41 字幕视频集动态效果、口语对话和书面文字为一体,它往往提供了意义的图像、语言和文本之间的 三重联系,展示了语境、话语、副语言线索等之间同步动态互动,促使多感官、双编码系统交互,是一种 可以扩充词汇、促进语言记忆、提升理解能力、促进知识内化度和增强学习动机、提升视听元素意义建构 *收稿日期:20190930 基金项目:中央电教馆全国教育信息技术研究项目青年课题“数字化学习环境下的大学英语字幕影视教学模式与资源建设研究” (166242985);江苏省教育厅高校哲学社会科学研究基金项目“二语听力中词义推理的影响因素研究”(2017SJB0526 作者简介:王怿旦(1979-),男,江苏溧阳人,江苏第二师范学院外国语学院副教授,博士研究生,主要从事二语习得、认知语言学 研究
中国海洋大学学报(社会科学版 2020年5月 能力的有效方法。字幕视频往往兼具娱乐和学习的双重功能,近年来,随着手机、平板等技术设备的日 益普及以及网络资源共享化的趋势,当前字幕视频在传统课堂和网络课堂被广泛应用,丰富了学习模 式,学习者可以接触丰富的互联网字幕视频,且其中大多为免费,它已被公认为一种获取语言技能的 时代性教学工具与宝贵资源,现代外语教学基于“互联网十”泛在学习、移动学习等多元化教学理念,也 更倾向于采用与这种多模态相结合的教学方法。8当然,在数字资源盛行的时代,这些免费的字幕视频 并非都是高质量的,它也很容易成为填鸭式学习等低效学习的帮凶,教学人员需要对其进行筛选,找出 优质材料并加以必要加工,以支持优化学习体验和提高学习效果,设计合理的字幕视频,可以有效引导 高层次学习。9字幕视频有一个不足之处:相较于带或不带图片的文本阅读,它需要花费更长的时间来 聆听叙述、观看视频。事实上,英语为母语者话语速平均每分钟约为130-180个单词,而平均阅读速度 则为200-350个单词而接受高等教育的学习者一般阅读速度为350-450个单词。0考虑到时间的 价值,任何可以减少时间提高效率的方式都是学习者和教学设计者所期望的。字幕视频虽广为用作教 学工具,但在发展学习者语言能力这方面,它的潜能尚未得到完全开发。随着字幕视频的流行以及媒体 压缩技术广泛使用,学习者有能力将视频压缩到其想要的速度,因而有必要对字幕视频加速播放展开探 讨,目前针对字幕视频学习中视频加速的相关研究十分有限,故本研究将基于学习者学习成绩和满意度 分析,探讨字幕视频加速对字幕视频学习的影响 二、多媒体学习认知理论——字幕影视学习的理论支撑 Mayer在其《多媒体学习》一书中较为系统地阐述了其多媒体学习认知理论。该理论的核心目标是 促进学习者从视听形式呈现的材料中主动建立起一个一致的心理表征,促进学习者在对材料信息的认 知加工和处理过程中积极实现对新知识的建构,充分运用所呈现的材料进行有意义的学习。该理论主 张,人们对视觉表征和听觉表征的学习材料拥有视觉和听觉两个各自独立的信息加工通道,听觉信息和 视觉信息材料由不同通道处理和加工,人脑会为每个通道所加工处理的信息创造各自不同的表现形式。 视觉通道处理诸如图像、动画和屏幕文本信息等视觉信息,而听觉通道则处理诸如旁白等听觉信息。该 理论试图赋予听觉加工和视觉加工以同等重要地位,它强调这两个通道是处理信息的基础,所有的认知 都会涉及到听觉和非听觉机制的结合,因而听觉信息和非听觉信息的结合并不矛盾,学习者通过视听结 合的学习方式要比光听的学习方式更能深入学习。它还强调视听编码信息在大脑中的整合,并认为同 时融合运用这两个心理通道比单一通道在信息处理方面更有效率,这能够减少视觉通道或听觉通道的 认知负荷,相关信息由视觉和听觉同时呈现时学习者的学习效果要好于只通过听觉或视觉方式呈现的 信息,动态视听呈现形式是多媒体的优势之一。 该理论主张,学习者会选择性注意经由眼睛、耳朵进入认知处理系统的视听觉信息中的有关内容, 从呈现的听觉信息中,学习者主要选择重要的词语语音信息等进行言语表征,从而侧重构建命题表征或 言语库;从呈现的视觉信息中,学习者主要选择重要的景象信息等进行图像表征,从而侧重构建表象表 征或图像库。工作记忆或短时记忆将选择后的信息表征片段进行组织并构建相应的言语和图像模型, 当学习者选择了一定的图像和语音材料后,就会在其工作记忆中将相关信息进行重新组织,形成一个连 贯的关于言语所描述情境的言语心理模型或图像中所描述情境的图像心理模型,这两个模型均是具有 内在联系的整体结构。学习者在所组织的两种平行的心理模型之间建立对应的映射联结,同时利用言 语心理模型和图像心理模型将新摄入信息与长时记忆中的先验知识或已有知识整合联结起来,这种整 合发生在工作记忆中学习者往往在接收到少量的言语和图像共现信息后就开始整合加工了,经过这样 的整合后,真正的意义上的学习才会发生。对学习者而言,言语(如口语解说或书面文本)和画面结合多 媒体呈现形式的学习效果要优于纯言语呈现的材料,在学习情境中对于一个概念的陈述,言语和影像共
2020年第3期 王怿旦:视频加速对二语字幕影视使用效果的影响 现的效果更好,它比单一语言形式更能吸引学习者的关注,激发学习者的兴趣,也更加有利于学习者的 认识加工,利于在工作记忆中同时激活言语和图片两个处理模型以及两个过程之间的互动,避免一个处 理器闲置而另一个负荷过重,更能促进学习者的有意义学习。1 在字幕影视中,当对应的语言与画面同步呈现时,有助于学习者在工作记忆中同时保持两种材料的 心理表征,也有助于学习者在二者之间建立起心理联系,有助于学习者构建对应的语词与画面之间的认 知关系。整合到一个视屏,就会减少学习者寻找、匹配的过程,降低认知负荷,提高学习效率。可见,多 媒体学习认知理论为字幕影视学习提供了重要理论支撑。 、视频加速—字幕影视学习的有效方式 变速播放或变速处理是时下一种十分流行、广为使用的的音视频处理技术,它是把即将输入的各种 音视频信号,按照使用者的意愿提速或者减速播放,是通过改变单位时间内输出的音视频信息量达到变 速要求。13视频变速播放常见于影视观看者想要定位视频的某一个时间点时,除了直接拖放进度外,还 常用倍速播放来实现以节省时间,当然这种快进对视频内容跳跃较大、失真明显,还有一些视频观看者 或制作者为了达到特定的效果而将视频降速,此外,一些外语学习者特别是初学者希望能减慢语速以提 高自己的理解度和学习效果。当前,许多课程,特别是一些考研辅导课程、资格证书辅导课程等通过在 线或离线视频形式展开,这些网络课程往往耗时长、内容多、讲解速度偏慢,而学习者又迫切希望提高学 习效率,此外还有一些人在听小说、评书或者是观看娱乐视频时觉得情节拖拉、速度太慢,于是就借助了 各种媒体播放器(如 Potplayer、 KMPlayer、VIC、 AVPlayer、 Windows、 DicePlayer、 GomPlayer、Rush Player、^ stroplayer、QQ影音、完美解码等)的加速功能,这些媒体播放器能支持多种格式的音视频,播 放速度控制功能使用简便、易于操作且变速不变调(即在加速时音质一般也不会发生夸张变化),往往同 时支持电脑、手机和平板操作系统,支持网络流媒体,还支持硬件加速,软/硬解码齐全,支持倍速播放范 围一般为0.1倍到16倍速之间。其中,正常速度播放为1倍速,即按照常规速度播放视频文件;加速播 放,即在常规速度的基础上使播放速度加快,其倍速值大于1;降速播放,即在常规速度的基础上使播放 速度减慢,其倍速值小于1;变速视频播放主要通过调用 ActiveX控件实现。1 视频加速,亦称时域压缩,是指视频媒体在保留质量的前提下加快视频的速度,它目前已成为媒体 播放器的一种重要功能,不仅能对本地视频文件实现加速,而且也能对实时流媒体加速。图像视频加速 主要通过改变数据的实际播放期限或间隔来实现,其中因为图像帧播放速率提升或帧间间隔缩小对人 眼视觉影响较小,所以主要加快速率或缩减毎帧播放期限就可以;而音轨信息如果仅仅依靠改变毎帧间 间隔,会导致播放频率变化引起的音调高低变化,从而失去原有音质或自然音效,因而音轨信息加速只 能在数据的播放频率或时间间隔不变的前提下,通过删减一定长度的数据同时保证音视频同步来实现, 从而保留较好音质音调,确保观看者的听觉效果。视频加速后仍然具有较高保真度,实际上基于人们认 知系统的视觉暂留、听觉暂留现象,视频加速时语音语调都正常,只不过语言间停顿被压缩,它允许视频 提高速度时不产生发声不正常,因此,压缩字幕视频和正常节奏的视频非常相似。但是,不是任何倍速 的视频加速播放都能避免因速度的突然变化造成的对播放质量的损害,研究表明,基于目前巳经成熟的 视频信号处理技术(如自适应差分脉冲编码调制等),51.2倍速以内的加速仿真度高,对观看者造成画 面、音轨质量损失不明显,其失真度不易为人眼和人耳感知,观看者往往难以区分正常节奏视频和这些 低级别加速视频,即不知道视频是否压缩了时间,而倍速超过1.2的加速视频观看者会有明显的不平滑 或跳跃感、语音不清晰感。视频加速在视频合成、视频识别和分析等方面有着广泛应用前景,引起了很 多研究者的关注。 126
中国海洋大学学报(社会科学版 2020年5月 四、研究方法 (一)研究问题和实验对象 本研究在字幕视频教学中引进视频加速手段,通过学习者学习成绩和满意度情况调査实证分析了 字幕视频加速对字幕视频学习的效用,以期提高学习者竽幕视频学习的效率。本硏究受试对象为南京 三所公办高校英语专业二年级9个自然班的270名本科生,其中216名受试对象为女性(80%),64名 为男性(20%),受试对象年龄为18至23岁之间,平均年龄20.4岁(SD=3.68)。所有受试对象具有共 同的母语背景,均通过了大学英语四级考试,有9至13年的英语学习经历,受试对象的英语水平处于中 高级,视力或矫正视力正常。所有受试班级随机分配各个实验条件。本实验中的受试对象不存在任何 导致视频理解困难的听障问题,也未曾接受过仼何视频加速型视听材料的体验或训练。实验开始前对 受试对象的统一英语水平测试表明,各班的成绩平均值非常接近,分数段的分布、离散度类似独立样本 T检验P=0.712>0.05,这表明各组受试对象的英语能力无显著差异,总体处于同一水平,研究的有效 性可以得到保证。 (二)实验材料、工具与过程 本实验选择BBC纪录片《生物钟:身体运转的奥秘》,视频格式为AVl,该视频为通俗性科普叙述语 篇,主要探讨关于生物钟是生物体生命活动的内在节律性,是由生物体内的时间构序所决定等方面的问 题。该视频质量较高,为1280×720分辨率高清画质,文件大小为498MB。视频转录约有4233词,受 试对该话题熟悉度一般,弗莱士易读度指数63.4,弗莱士一金凯德难度级数10,总体难度适中。三种不 同播放速度下视频材料各自的总时长、平均语速(词/分钟)如表1所示。 表1三种不同播放速度下字幕视频概况 视频播放时长 平均语速(单词/分钟) 1.0倍速(正常速度) 1.1倍速 23:11 1.2倍速 21:15 本研究的实验工具主要包括背景问卷调查、成绩测试与满意度问卷调查。背景问卷调查共20个问 题,主要收集受试性别、年龄、专业、学习英语年限等个人信息及受试对字幕视频学习和字幕视频加速熟 悉度等信息。视频成绩测试包括40个多项选择题,总分为40分,直接针对视频中的信息展开测试,其 中20个主要涉及词汇理解,20个主要涉及内容理解。每题包括四个选项,受试被要求从中选择最佳答 案,正确答案记“1”分,错误答案记“0”分。受试须在40分钟内完成测试。对试卷的先导测试的克隆巴 赫系数是0.79,超过了0.7可接受水平,这表明其题目设计合理、可信度高。为了收集受试对象对加速 手段的反馈,更好地了解其对视频加速的态度,本研究还展开了满意度调查。学习者满意度调查包括 15个问题,涉及学生对视频加速的舒适度感受、兴趣态度、作用评价等,这些问题被设计来测量学习者 对这种变速干预的满意程度,本部分调查问题采用五级李克特量表每个问题有五个选项,包含从非常 不满意到非常满意五个等级(1=非常不满意,2=不满意,3一不确定,4一满意,5非常满意),最终获得 的总分数反映了参与者的感知享受度或满意度。该满意度调查的克隆巴赫系数为0.81,表明量表具有 较高的可靠性。本实验设计为3(视频播放速度:1倍速即正常速度、1.2倍速、1.3倍速)×3(字幕类型: 全字幕、关键词字幕、无字幕)的受试间设计。开始播放视频之前,每位受试对象都完成了背景调査和英 语水平测试,对各组之间差异进行了有效控制,加速视频测试的准确性得以保证。所有受试组被随机分 配观看视频加速的不同字幕类型视频。鉴于视频加速情况不同,各组持续可能不同(参见表1)。观看 结束后,受试对象需要先完成相关成绩测试然后各组学生在观看完所有其余类型视频后展开满意度调 査。研究所收集的原始数据,将用SPSS18.0进行分析处理 127
2020年第3期 王怿旦:视频加速对二语字幕影视使用效果的影响 五、结果与讨论 在成绩测试方面,数据偏度值为0.13,峰度为2.32,列文方差齐性检验表明,样本的总体方差不存 在显著差异(F=0.19,P=0.82),因变量符合正态分布,且彼此独立,即不存在自相关,数据适合标准推 断统计分析。所有测试数据被输入到一个有3(播放速度)×3(字幕模式)的组间因素方差分析,结果表 明测试成绩之间有存在统计学意义。表2给出了平均得分和标准差。单独分析视频速度的影响时,同 一字幕模式的各组结果表明视频速度不存在显著的主效应(6.1>F>2.2,P>0.56,0.12>偏q>0. 04),不同组之间的平均值和标准差表现出轻微变化。结果还表明,字幕模式×视频速度之间不存在显 著的交互作用(F=1.12,P=0.34,偏矿=0.01)。成绩段的分布方面,同一字幕模式的各组结果非常接 近。这表明,在九个实验组中,视频速度与字幕模式之间不存在互动效应,也就是说,基于不同视频速度 的学习之间在最终学习成绩上不存在差异。皮尔逊相关系数检验也表明,视频速度和学习成绩不存在 显著关联(P=0.12>0.05)。虽然实验中未发现视频速度存在显著主效应,但视频观看测试中发现字 幕模式存在显著的主效应,F=5.12,P=0.016,偏=0.01。从表2实验成绩中可以看出,受试对象在 处理字幕视频时显著优于无字幕,而关键词字幕又优于全字幕,无字幕组的平均分比全字幕组低3-4 分,而全字幕组又比关键词字幕组低4-5分,配对样本T检验表明,字幕模式的主效应差异也极其显 著(T值=4.38,P值=0.02<0.05;T=5.66,P=0.01<0.05),效应量较大(φ值=0.62>0.50;西值 0.66>0.50),三者在统计学上存在显著差异 表2不同播放速度与字幕类型下受试对象的成绩 字幕类型 无字幕 全字幕 关键词字幕 视频加速 标准差平均值标准差平均值标准差 1.0倍速 6.132 1.1倍速 25,38 5,852 6,468 1.2倍速 5.326 28.56 5.983 6,654 在学习者满意度方面,对加速组学习者满意度量表调查的15个问题,针对学习者满意度提供了 个整体的综合分析。所有组的满意度平均评级均比较高,分别为是4.21、4.36和4.15,其中数据的偏 度系数为-1.02,峰度系数为2.88,列文方差齐性检验表明样本的总体方差不存在差异(F=4.23,P= 0.88),实验数据可用于相关分析。这些数据被输入视频速度×字幕模式的双因子实验分析,视频速度 与字幕模式分别为组间因素,学习者满意度则为因变量。表3呈现了每个条件下平均值和标准差。结 果表明,视频速度与字幕模式均不存在主效应,这些数据不存在显著差异,即在不同视频速度或字幕模 式下,未发现满意度显著差异,P>0.68,0.08>偏η>0.01,也未发现视频的速度和字幕模式之间存在 显著的交互作用F=2.56,P=0.42,偏η3>0.02。这意味着,随着视频速度逐渐增加或字幕模式的变 化,满意度总体不变。但同时,标准差较大(SD>3)意味着受试对象的个体成绩间存在相当大变化,个 体间满意度的差别较大。实验数据表明,总体而言,绝大多数受试对象对视频加速这种方式较为满意、 有兴趣,意识到了字幕加速对减少视频观看时间、提高信息处理速度的重要意义 表3受试对象对不同播放速度与字幕类型的满意度 字幕类型 无字幕 关键词字幕 视频加速 平均值标准差平均值 标准差 标准差 1.0倍速 1.1倍速 67.15 17.98 68.12 1.2倍速 18.003 66.98 17,986 19.365