浙大城市学院：虚实融合的机械制图实验教学系统设计与实现

Creative Education Studies创新教育研究，2022,10(2)，319-327 Hans汉斯 Published Online February 2022 in Hans.http://www.hanspub.org/journal/ces https:/doi.org/10.12677/ces.2022.102056 虚实融合的机械制图实验教学系统设计与实现 张天宇，张俊，韦江帆 浙大城市学院工程学院，浙江杭州 收稿日期：2022年1月4日：录用日期：2022年2月15日：发布日期：2022年2月22日 摘要 增强现实技术凭借其交互性、沉浸性将人与虚拟环境无缝融合，在高校各专业的实践教学环节中应用越 来越广泛。利用增强现实开发引幸Vuforia.和虚拟技术开发平台Jnity:3D,以工程图学典型图例为基础开 发了一套应用于工程图学的实践教学辅助系统。使用者通过智能手机扫描二维图样，在屏幕上实时呈现 三维模型并进行结构分析和交互式操作，辅助散师完成学生读图能力的强化，促进虚拟技术与工程图学 教学的深度融合，激发学生学习兴趣，提高课程质量和教学的生动性。 关键词 Unity3D,教学辅助系统，增强现实，机械制图 Design and Realization of the Experimental Teaching System of Mechanical Graphics Based on Combining Virtual and Reality Tianyu Zhang,Jun Zhang',Jiangfan Wei School of Engineering,Zhejiang University City College,Hangzhou Zhejiang Received:Jan.4h,2022;accepted:Feb.15th,2022;published:Feb.22,2022 Abstract Augmented reality technology,by virtue of its interaction and immersion,seamlessly integrates human and virtual environment,and has been applied more and more widely in practical teaching of various majors in colleges and universities.Using Vuforia,an augmented reality development engine,and Unity3D,a virtual technology development platform,a set of practical teaching assis- tant system applied to engineering graphics was developed based on typical illustrations of engi- 通讯作者。 文章引用：张天宇，张俊，韦江帆.虚实融合的机械制图实验教学系统设计与实现.创新教育研究，2022,10(2 319-327.D0:10.12677/ce5.2022.102056

Creative Education Studies 创新教育研究, 2022, 10(2), 319-327 Published Online February 2022 in Hans. http://www.hanspub.org/journal/ces https://doi.org/10.12677/ces.2022.102056 文章引用: 张天宇, 张俊, 韦江帆. 虚实融合的机械制图实验教学系统设计与实现[J]. 创新教育研究, 2022, 10(2): 319-327. DOI: 10.12677/ces.2022.102056 虚实融合的机械制图实验教学系统设计与实现 张天宇，张 俊* ，韦江帆 浙大城市学院工程学院，浙江 杭州 收稿日期：2022年1月4日；录用日期：2022年2月15日；发布日期：2022年2月22日 摘 要 增强现实技术凭借其交互性、沉浸性将人与虚拟环境无缝融合，在高校各专业的实践教学环节中应用越 来越广泛。利用增强现实开发引擎Vuforia和虚拟技术开发平台Unity3D，以工程图学典型图例为基础开 发了一套应用于工程图学的实践教学辅助系统。使用者通过智能手机扫描二维图样，在屏幕上实时呈现 三维模型并进行结构分析和交互式操作，辅助教师完成学生读图能力的强化，促进虚拟技术与工程图学 教学的深度融合，激发学生学习兴趣，提高课程质量和教学的生动性。 关键词 Unity3D，教学辅助系统，增强现实，机械制图 Design and Realization of the Experimental Teaching System of Mechanical Graphics Based on Combining Virtual and Reality Tianyu Zhang, Jun Zhang*, Jiangfan Wei School of Engineering, Zhejiang University City College, Hangzhou Zhejiang Received: Jan. 4th, 2022; accepted: Feb. 15th, 2022; published: Feb. 22nd, 2022 Abstract Augmented reality technology, by virtue of its interaction and immersion, seamlessly integrates human and virtual environment, and has been applied more and more widely in practical teaching of various majors in colleges and universities. Using Vuforia, an augmented reality development engine, and Unity3D, a virtual technology development platform, a set of practical teaching assis￾tant system applied to engineering graphics was developed based on typical illustrations of engi- * 通讯作者

张天宇等 neering graphics.Users can scan 2D patterns to present 3D models in real time on the mobile phone screen,and complete structural analysis and interactive operations.This system can assist teachers to strengthen students'ability about reading graphic,accelerate the fusion about virtual technology and engineering graphics teaching,stimulate interest in learning and develop the quality and vitality of education. Keywords Unity3D,Teaching Aid System,Augmented Reality,Mechanical Graphics Copyright2022 by author(s)and Hans Publishers Inc. This work is licensed under the Creative Commons Attribution International License(CC BY 4.0). http://creativecommons.org/licenses/by/4.0/ ⊙。 Open Access 1.引言 增强现实(Augmented Reality),简称AR,是一种借助三维显示技术、交互技术、多种传感技术、计 算机视觉技术以及多媒体技术把计算机生成的二维或三维的虚拟信息融合到用户所要体验的真实环境的 一种新技术。与虚拟现实相反，增强现实是对真实世界的加强，将合成的感觉信息融合进用户对真实世 界的感知中，实现人与虚拟环境的无缝融合[1]。 国内外将增强现实技术运用于教育教学等方面已经做了一定程度的研究。马莉等构建了虚实结合的 增强现实外语教学环境，提出了增强现实在外语教学中的具体实践方法。陈泽婵等基于Uty3D,利用 自主研发的增强现实跟踪注册程序搭建了移动增强现实光学实验平台，为本系统增强现实功能的实现提 供了一种方法参考[2]。赵阳等基于增强现实开发了虚实结合的汽车发动机仿真装配系统3]。王雨等基于 Uity3D,利用增强现实引擎的标志物识别功能，开发了参数化的曲柄滑块运动机构，为本系统开发模式 提供了方案借鉴4]。NAFISAT等将增强现实应用于地理课堂，得出了增强现实有助于提高学生学习成绩 的结论5]。OH等提出基于增强现实的船舶设计图纸可视化系统，通过识别二维船舶图纸展现三维船舶 模型，帮助人们进行设计沟通，大大提高了设计效率[6]。 随着计算机技术和信息技术的发展，采用虚拟现实(VR)和增强现实(AR)等新技术应用于教学，逐渐 成为高校教学改革的一个重要方向。工程图学是工科学生必修的专业基础课，旨在培养学生绘图读图能 力。在传统的教学实践中，主要以实体零件展示、三维软件建模和多媒体视频播放的形式加强学生的读图 能力。本文基于AR技术，利用增强现实引擎Vuforia和系统开发平台Unity,开发了一种工程图学教学辅 助系统。该系统可以让学生在课堂上借助智能手机便捷地查看三视图的立体模型，提高了教学效率、课程 质量和教学生动性，促进虚拟技术与工程图学教育深度融合，同时锻炼了学生的自学能力和实践能力。 2.系统框架和功能设计 基于增强现实技术，开发具有沉浸性交互性的工程图学教学辅助系统。使用者利用智能手机的摄像 头扫描二维图纸，能够虚实结合的展示模型，并能够以等多种方式对模型进行交互操作。具体功能模块 如图1所示。 其中，本系统具备的具体功能有： ①快速识别图样并生成三维模型：②可以用滑动屏幕、旋转手机的方式对模型进行缩放旋转操作： ③能够展示零件剖面图：④能够显示零件信息：⑤登录及退出功能。 D0:10.12677/ces.2022.102056 320 创新教有研究

张天宇 等 DOI: 10.12677/ces.2022.102056 320 创新教育研究 neering graphics. Users can scan 2D patterns to present 3D models in real time on the mobile phone screen, and complete structural analysis and interactive operations. This system can assist teachers to strengthen students’ ability about reading graphic, accelerate the fusion about virtual technology and engineering graphics teaching, stimulate interest in learning and develop the quality and vitality of education. Keywords Unity3D, Teaching Aid System, Augmented Reality, Mechanical Graphics Copyright © 2022 by author(s) and Hans Publishers Inc. This work is licensed under the Creative Commons Attribution International License (CC BY 4.0). http://creativecommons.org/licenses/by/4.0/ 1. 引言 增强现实(Augmented Reality)，简称 AR，是一种借助三维显示技术、交互技术、多种传感技术、计 算机视觉技术以及多媒体技术把计算机生成的二维或三维的虚拟信息融合到用户所要体验的真实环境的 一种新技术。与虚拟现实相反，增强现实是对真实世界的加强，将合成的感觉信息融合进用户对真实世 界的感知中，实现人与虚拟环境的无缝融合[1]。 国内外将增强现实技术运用于教育教学等方面已经做了一定程度的研究。马莉等构建了虚实结合的 增强现实外语教学环境，提出了增强现实在外语教学中的具体实践方法。陈泽婵等基于 Unity3D，利用 自主研发的增强现实跟踪注册程序搭建了移动增强现实光学实验平台，为本系统增强现实功能的实现提 供了一种方法参考[2]。赵阳等基于增强现实开发了虚实结合的汽车发动机仿真装配系统[3]。王雨等基于 Unity3D，利用增强现实引擎的标志物识别功能，开发了参数化的曲柄滑块运动机构，为本系统开发模式 提供了方案借鉴[4]。NAFISAT 等将增强现实应用于地理课堂，得出了增强现实有助于提高学生学习成绩 的结论[5]。OH 等提出基于增强现实的船舶设计图纸可视化系统，通过识别二维船舶图纸展现三维船舶 模型，帮助人们进行设计沟通，大大提高了设计效率[6]。 随着计算机技术和信息技术的发展，采用虚拟现实(VR)和增强现实(AR)等新技术应用于教学，逐渐 成为高校教学改革的一个重要方向。工程图学是工科学生必修的专业基础课，旨在培养学生绘图读图能 力。在传统的教学实践中，主要以实体零件展示、三维软件建模和多媒体视频播放的形式加强学生的读图 能力。本文基于 AR 技术，利用增强现实引擎 Vuforia 和系统开发平台 Unity，开发了一种工程图学教学辅 助系统。该系统可以让学生在课堂上借助智能手机便捷地查看三视图的立体模型，提高了教学效率、课程 质量和教学生动性，促进虚拟技术与工程图学教育深度融合，同时锻炼了学生的自学能力和实践能力。 2. 系统框架和功能设计 基于增强现实技术，开发具有沉浸性交互性的工程图学教学辅助系统。使用者利用智能手机的摄像 头扫描二维图纸，能够虚实结合的展示模型，并能够以等多种方式对模型进行交互操作。具体功能模块 如图 1 所示。 其中，本系统具备的具体功能有： ① 快速识别图样并生成三维模型；② 可以用滑动屏幕、旋转手机的方式对模型进行缩放旋转操作； ③ 能够展示零件剖面图；④ 能够显示零件信息；⑤ 登录及退出功能。 Open Access

张天宇等 工程图学教学辅助系统 登录界面 识别生成模型 退出 模型缩放旋转 模型信息 模型剖切 Figure 1.Framework of system function 图1.系统功能框架 在课前预习阶段，使用本系统可提前查看相关课程模型三维立体视图及剖视图，方便相关知识点的 理解。 在课堂教学阶段，可实时查看课程重难点相关的模型信息及各视图，提高教学效率和教学质量，提 升学生学习兴趣，加深学生对知识点的理解。 在课后复习阶段，将二维图样和三维模型再次联系起来，通过虚实结合复习加深记忆，提高课程复 习效果。 3.开发平台选择 系统开发平台选用专业的AR、VR开发软件Uity3D,其拥有良好的跨平台性和兼容性。为将本系 统应用于Android手机平台，选择Android NDK作为Android和Unity3D之间的数据通信。增强现实引 擎选用Vuforia,无缝对接Unity3D开发环境。三维建模软件选择Solidworks,模型优化软件选用3 dsMAX。 具体开发平台和工具及其功能如表1所示。 Table 1.Development platform and tools 表1.开发平台及工具 开发平台及工具 功能 Unity3D 系统开发平台 Vuforia 增强现实引擎 Solidworks 建立模型 3dsMax 优化模型 C# 脚本编写语言 Android NDK 数据通信 4.系统开发和实现 4.1.开发流程 本系统主要在Unity3D中进行开发。首先通过Solidworks建立模型，通过3 dsMAX优化后导入 Unity3D。其次将预先采集二维图样导入增强现实引擎Vuforia以package的形式与Unity3D对接。最后 在Unity3D中搭建增强现实环境并用C#脚本完善交互功能，在Android平台发布系统。具体开发流程如 图2所示。 D0:10.12677/ces.2022.102056 321 创新教有研究

张天宇 等 DOI: 10.12677/ces.2022.102056 321 创新教育研究 Figure 1. Framework of system function 图 1. 系统功能框架 在课前预习阶段，使用本系统可提前查看相关课程模型三维立体视图及剖视图，方便相关知识点的 理解。 在课堂教学阶段，可实时查看课程重难点相关的模型信息及各视图，提高教学效率和教学质量，提 升学生学习兴趣，加深学生对知识点的理解。 在课后复习阶段，将二维图样和三维模型再次联系起来，通过虚实结合复习加深记忆，提高课程复 习效果。 3. 开发平台选择 系统开发平台选用专业的 AR、VR 开发软件 Unity3D，其拥有良好的跨平台性和兼容性。为将本系 统应用于 Android 手机平台，选择 Android NDK 作为 Android 和 Unity3D 之间的数据通信。增强现实引 擎选用Vuforia，无缝对接Unity3D开发环境。三维建模软件选择Solidworks，模型优化软件选用3dsMAX。 具体开发平台和工具及其功能如表 1 所示。 Table 1. Development platform and tools 表 1. 开发平台及工具 开发平台及工具 功能 Unity3D 系统开发平台 Vuforia 增强现实引擎 Solidworks 建立模型 3dsMax 优化模型 C# 脚本编写语言 Android NDK 数据通信 4. 系统开发和实现 4.1. 开发流程 本系统主要在 Unity3D 中进行开发。首先通过 Solidworks 建立模型，通过 3dsMAX 优化后导入 Unity3D。其次将预先采集二维图样导入增强现实引擎 Vuforia 以 package 的形式与 Unity3D 对接。最后 在 Unity3D 中搭建增强现实环境并用 C#脚本完善交互功能，在 Android 平台发布系统。具体开发流程如 图 2 所示

张天宇等 二维图样 例题分析 教学资源> 工 三维模型 图 视频讲解 学 Android智能手机 硬件支持> 教 辅 助 →软件平台二 系 Vuforia增强现实 功能支持 Figure 2.System development process 图2.系统开发流程 4.2.增强现实功能的实现 4.2.1.增强现实功能运行框架 增强现实运行框架如下：首先，通过摄像头获取一张照片，进行灰度化等预处理和特征点提取：其 次，将图片的特征数据与数据库中的数据信息进对比，如果判断为匹配成功，将从数据库中提取对应的 三维模型：最后，计算三维模型大小和角度，虚实结合的显示在手机屏幕上。具体框架如图3所示。 信息处理模块 数据库模块 摄像头采集图像 数据库 图像预处理 二维图样数据库 三维模型数据库 Vuforiat特征点提取 特征点标签 模型标签 香 匹配 计算模型大小和角度 三维模型注册 虚实结合显实 Figure 3.Framework of augmented reality operation 图3.增强现实运行框架 4.2.2.三维模型构建和二维图样采集 为了实现增强现实功能，需要预先构建三维模型和采集二维图样。 三维模型使用Solidworks建模软件建立，并以STEP格式导入3 dsMAX优化，减少构建曲面的三角 面个数，最后以.MAX或.FBX格式导入Unity3D。 二维图样采集使用手机摄像头拍摄采集。为了保证提取较多特征点，需要保证图像尺寸及分辨率合适。 4.2.3.数据库搭建及三维注册 如图3所示，完成三维模型的构建及二维图样的采集后，需要建立相应二维图样数据库，而后将二 维图样数据库与三维模型相关联从而完成三维模型的注册。访问Vuforia官网可在线建立多图样数据库， 如图4所示。 D0:10.12677/ces.2022.102056 322 创新教有研究

张天宇 等 DOI: 10.12677/ces.2022.102056 322 创新教育研究 Figure 2. System development process 图 2. 系统开发流程 4.2. 增强现实功能的实现 4.2.1. 增强现实功能运行框架 增强现实运行框架如下：首先，通过摄像头获取一张照片，进行灰度化等预处理和特征点提取；其 次，将图片的特征数据与数据库中的数据信息进对比，如果判断为匹配成功，将从数据库中提取对应的 三维模型；最后，计算三维模型大小和角度，虚实结合的显示在手机屏幕上。具体框架如图 3 所示。 Figure 3. Framework of augmented reality operation 图 3. 增强现实运行框架 4.2.2. 三维模型构建和二维图样采集 为了实现增强现实功能，需要预先构建三维模型和采集二维图样。 三维模型使用 Solidworks 建模软件建立，并以 STEP 格式导入 3dsMAX 优化，减少构建曲面的三角 面个数，最后以.MAX 或.FBX 格式导入 Unity3D。 二维图样采集使用手机摄像头拍摄采集。为了保证提取较多特征点，需要保证图像尺寸及分辨率合适。 4.2.3. 数据库搭建及三维注册 如图 3 所示，完成三维模型的构建及二维图样的采集后，需要建立相应二维图样数据库，而后将二 维图样数据库与三维模型相关联从而完成三维模型的注册。访问 Vuforia 官网可在线建立多图样数据库， 如图 4 所示

张天宇等 Ada Targ DuwnloadDorabtA Terget Namme Rtrg① Status Dare Modifed e■2 Single Image n2020202-56 u园 Single image 女南金年 un2效202022：4 图阳 Single Imige 女t立 Activ M20202022:53 g】G划 Single image 女★有行 Acove n20,20202249 国g5 Single image 女★古有 Active m2020202245 Figure 4.Two-dimensional pattern database 图4.二维图样数据库 三维模型注册技术是通过摄像头对实际场景中标识物的位姿进行感知，从而建立虚拟与现实环境坐 标系之间的映射关系。本实例运用Vuforia增强现实软件开发包实现特征点的标识与提取，其通过对二维 图样的识别，标记出用于识别的特征点。提取的特征点如图5所示。 Figure 5.Feature point extraction 图5.特征点提取 4.2.4.增强现实场景搭建 完成数据库的创建后，下载数据库以package的形式导入Unity3D。在层级页面创建AR Camera,并 添加数据库的使用许可。最后，在层级页面创建ImageTarget,并将对应的三维模型挂载其下，调整模型 大小、坐标、角度即可实现增强现实功能。具体流程和效果图如图6所示。 从Vuforia官网下载 以package形式 在Unity.3D层级页面 对ARcamera 创建好的数据库 导入Jnity:3D 创建ARcamera 挂找数据库使用许可 调整大小坐标角度 在ImageTarget 在ImageTarget 在Unity.3D层级页面 完成创建 下挂载对应的模型 选择需要识别的图月 创建ImageTarget Figure 6.Process for setting up augmented reality scenarios 图6.增强现实场景搭建流程 4.2.5.自动对焦功能实现 作为增强现实功能引擎，Vuforia会自动完成信息处理模块的功能。实际测试中发现系统存在摄像头 采集到的画面模糊，影响识别速度和精度。经过分析发现摄像头焦距始终固定。通过C#语言编写了脚本 D0:10.12677/ces.2022.102056 323 创新教有研究

张天宇 等 DOI: 10.12677/ces.2022.102056 323 创新教育研究 Figure 4. Two-dimensional pattern database 图 4. 二维图样数据库 三维模型注册技术是通过摄像头对实际场景中标识物的位姿进行感知，从而建立虚拟与现实环境坐 标系之间的映射关系。本实例运用 Vuforia 增强现实软件开发包实现特征点的标识与提取，其通过对二维 图样的识别，标记出用于识别的特征点。提取的特征点如图 5 所示。 Figure 5. Feature point extraction 图 5. 特征点提取 4.2.4. 增强现实场景搭建 完成数据库的创建后，下载数据库以 package 的形式导入 Unity3D。在层级页面创建 AR Camera，并 添加数据库的使用许可。最后，在层级页面创建 ImageTarget，并将对应的三维模型挂载其下，调整模型 大小、坐标、角度即可实现增强现实功能。具体流程和效果图如图 6 所示。 Figure 6. Process for setting up augmented reality scenarios 图 6. 增强现实场景搭建流程 4.2.5. 自动对焦功能实现 作为增强现实功能引擎，Vuforia 会自动完成信息处理模块的功能。实际测试中发现系统存在摄像头 采集到的画面模糊，影响识别速度和精度。经过分析发现摄像头焦距始终固定。通过 C#语言编写了脚本