研究生课程教学大纲 课程代码《任务载荷数据融合理论与应用》教学大纲 课程 课程中 1008117001 任务载荷数据融合理论及应用 学时 40 编号 文名称 口学位课 课程 课程英 √非学位课 Task Payloads Data Fusion Theory and 学分 2 性质 口其他 文名称 Application 开课 √春 适用学科 航空宇航科学与技术、控制科学 适用 √硕士 时间口秋 (类别) 与工程 学生 口博士 先修课程 矩阵理论 开课单位 航空航天学院 大纲撰写人 孙彬 大纲审稿人 李波 制（修）定时间 2021.6 一、教学目标 本课程为航空字航科学与技术及其相关学科的专业选修课程。任务载荷数据融合根据需 要综合处理多源通道的信息，有效地提高信息利用率及系统自动化程度。尤其在航天航空多 种运载平台上，对各种传感器所获得的大量数据进行融合，以获得比单一数据源更为准确 和可靠的决策。 课程落实“立德树人”的根本任务，将思政元素贯穿课程内容和教学环节：面向“以学 生为中心”，基于实际项目任务，采用“线上自学、集中面授、研讨交流”的方式。通过系 统学习数据融合领域的理论及前沿应用，使学生了解无人机任务载荷的类型、性能，掌握不 同传感器数据融合的方法论，理解其中蕴含的辩证唯物主义分析方法。通过课程的学习，希 望具备数据融合及相关交叉学科的研发和应用的能力，有效激发学生学习兴趣和潜能，增强 创新精神、实践能力和社会责任感。 二、教学内容与要求 总课时40学时，其中理论课时27学时，实践课时9学时，课程研讨4学时。其中13 章为共性基础理论，讲授和研讨数据融合的基本概念和原理、数据增强和配准预处理：49 章为由浅入深递进式讲解不同的融合算法、典型应用及评价方法。 课程将思政元素及专题研讨贯穿其中。★标记为课程思政元素，●标记为研讨主题，实 际实施过程中根据学生的掌握程度进行适度的动态调整
研究生课程教学大纲 1 课程代码《任务载荷数据融合理论与应用》教学大纲 课程 编号 1008117001 课程中 文名称 任务载荷数据融合理论及应用 学时 40 课程 性质 □学位课 √非学位课 □其他 课程英 文名称 Task Payloads Data Fusion Theory and Application 学分 2 开课 时间 √春 □秋 适用学科 (类别) 航空宇航科学与技术、控制科学 与工程 适用 学生 √硕士 □博士 先修课程 矩阵理论 开课单位 航空航天学院 大纲撰写人 孙彬 大纲审稿人 李波 制(修)定时间 2021.6 一、教学目标 本课程为航空宇航科学与技术及其相关学科的专业选修课程。任务载荷数据融合根据需 要综合处理多源通道的信息，有效地提高信息利用率及系统自动化程度。尤其在航天航空多 种运载平台上，对各种传感器所获得的大量数据进行融合，以获得比单一数据源更为准确 和可靠的决策。 课程落实“立德树人”的根本任务，将思政元素贯穿课程内容和教学环节；面向“以学 生为中心”，基于实际项目任务，采用“线上自学、集中面授、研讨交流”的方式。通过系 统学习数据融合领域的理论及前沿应用，使学生了解无人机任务载荷的类型、性能，掌握不 同传感器数据融合的方法论，理解其中蕴含的辩证唯物主义分析方法。通过课程的学习，希 望具备数据融合及相关交叉学科的研发和应用的能力，有效激发学生学习兴趣和潜能，增强 创新精神、实践能力和社会责任感。 二、教学内容与要求 总课时 40 学时，其中理论课时 27 学时，实践课时 9 学时，课程研讨 4 学时。其中 1-3 章为共性基础理论，讲授和研讨数据融合的基本概念和原理、数据增强和配准预处理；4-9 章为由浅入深递进式讲解不同的融合算法、典型应用及评价方法。 课程将思政元素及专题研讨贯穿其中。★标记为课程思政元素，●标记为研讨主题，实 际实施过程中根据学生的掌握程度进行适度的动态调整
研究生课程教学大纲 表1学时分配 参考学时 章 内容 (线上+面授+研讨) 1 绪论 0+2+1 2 任务载荷及数据分析 0+2+1 3 任务载荷数据预处理 1+1+1 4 基于成分分解的数据融合 1+1+1 基于金字塔变换的数据融合 1+1+1 6 基于小波变换的数据融合 1+1+1 基于多尺度几何变换的数据融合 1+1+1 基于稀疏表示的数据融合 0+2+1 9 基于深度学习的数据融合 3(线上直播) 10 数据融合应用实践 9(分组研讨实践) 11 课程设计交流汇报 4(项目汇报交流) 12 总学时 40 第一章：绪论(3学时) 1.1研究背景及意义(0.5学时) 1.2研究现状(0.5学时) 1.3分类(1学时) 1.4融合意义及学术研讨(1学时) 本章教学要求：通过本章课程的学习，要求学生熟练掌握数据融合的定义和概念，了解 国内外数据融合领域的前沿技术、发展方向：掌握数据融合不同分类方法：掌握数据层、 特征层、决策层融合的基本流程。 教学重点：(1)数据融合的分类方法，(2)不同层次数据融合的特点。 教学难点：(1)数据级融合原理，(2)特征级融合原理，(3)决策级融合原理。 ★利用线上平台发布研讨主题，结合授课内容讲解的“融合”概念和分类，鼓励学生重 温中国传统文化中的成语或寓言故事，深化对于“融合”内涵的理解。 ●研讨：按选课人数分组（一般以5人/组）查阅红外与可见光融合方面的高水平前沿
研究生课程教学大纲 2 表 1 学时分配 章 内 容 参考学时 （线上+面授+研讨） 1 绪论 0+2+1 2 任务载荷及数据分析 0+2+1 3 任务载荷数据预处理 1+1+1 4 基于成分分解的数据融合 1+1+1 5 基于金字塔变换的数据融合 1+1+1 6 基于小波变换的数据融合 1+1+1 7 基于多尺度几何变换的数据融合 1+1+1 8 基于稀疏表示的数据融合 0+2+1 9 基于深度学习的数据融合 3（线上直播） 10 数据融合应用实践 9（分组研讨实践） 11 课程设计交流汇报 4（项目汇报交流） 12 总学时 40 第一章：绪论（3 学时） 1.1 研究背景及意义（0.5 学时） 1.2 研究现状（0.5 学时） 1.3 分类（1 学时） 1.4 融合意义及学术研讨（1 学时） 本章教学要求：通过本章课程的学习，要求学生熟练掌握数据融合的定义和概念，了解 国内外数据融合领域的前沿技术、发展方向；掌握数据融合不同分类方法；掌握数据层、 特征层、决策层融合的基本流程。 教学重点: （1）数据融合的分类方法，（2）不同层次数据融合的特点。 教学难点: （1）数据级融合原理，（2）特征级融合原理，（3）决策级融合原理。 ★利用线上平台发布研讨主题，结合授课内容讲解的“融合”概念和分类，鼓励学生重 温中国传统文化中的成语或寓言故事，深化对于“融合”内涵的理解。 ●研讨：按选课人数分组（一般以 5 人/组）查阅红外与可见光融合方面的高水平前沿
研究生课程教学大纲 文献一篇，阅读并整理中英文术语缩略表，分组利用思维导图完成对现状的分析。 该阶段重点考察学生调研和阅读文献，快速掌握项目需求及背景的能力。 第二章任务载荷及数据分析(3学时) 2.1飞行器平台及任务载荷(1学时) 2.2传感器探测原理(0.5学时) 2.3融合客观评价(0.5学时) 2.4任务载荷专题研讨(1学时) 教学要求：通过本章课程的学习，要求学生掌握不同载荷平台的范围、目的和用途：掌 握不同类型传感器的探测原理及特点：了解典型数据库的特点。 教学重点：(1)载荷平台的用途：(2)主动式探测原理：(3)被动式探测原理。 教学难点：(1)探测原理：(2)传感器分辨率。 ★讲解红外传感器探测原理时，利用信息化工具推送微视频，分享科学家赫谢尔通过严 谨的科学实验发现“不可见”红外线的过程。 ●研讨：针对红外和可见光融合的项目需求，按照分组方式，搜集归纳典型数据集，分 组汇总数据集的来源、数据特点以及应用场景，提交完整规范的数据集分析报告。 该阶段考核学生数据采集以及数据分析的能力。 第三章任务载荷数据预处理(3学时) 3.1基于点运算的数据增强(1学时) 3.2基于区域运算的数据增强(1学时) 3.3空间滤波专题研讨(1学时) 教学要求：通过本章课程的学习，要求学生掌握数据预处理的基本流程：掌握空域去噪 算法：掌握变换域去噪算法：掌握数据一致性概念：了解特征提取的概念和基本流程。 教学重点：(1)直方图概念及操作：(2)滤波的概念：(3)特征提取方法；(4)空间坐 标系变换原理：(5)数据配准的流程 教学难点：(1)滤波器的设计：(2)特征提取的原理：(3)匹配过程中优化算法。 ★分享电影“夺冠”中信号传输导致的图像噪声，回顾八十年代日常生活中经常碰到的 电视信号中的“噪声”，体悟科技创新和技术发展给生活带来的改变。通过视频中杂乱 无章、随机分布的噪声，引出噪声类型及图像增强去噪的方法讲解。 3
研究生课程教学大纲 3 文献一篇，阅读并整理中英文术语缩略表，分组利用思维导图完成对现状的分析。 该阶段重点考察学生调研和阅读文献，快速掌握项目需求及背景的能力。 第二章 任务载荷及数据分析（3 学时） 2.1 飞行器平台及任务载荷（1 学时） 2.2 传感器探测原理（0.5 学时） 2.3 融合客观评价（0.5 学时） 2.4 任务载荷专题研讨（1 学时） 教学要求：通过本章课程的学习，要求学生掌握不同载荷平台的范围、目的和用途；掌 握不同类型传感器的探测原理及特点；了解典型数据库的特点。 教学重点：（1）载荷平台的用途；（2）主动式探测原理；（3）被动式探测原理。 教学难点：（1）探测原理；（2）传感器分辨率。 ★讲解红外传感器探测原理时，利用信息化工具推送微视频，分享科学家赫谢尔通过严 谨的科学实验发现“不可见”红外线的过程。 ●研讨：针对红外和可见光融合的项目需求，按照分组方式，搜集归纳典型数据集，分 组汇总数据集的来源、数据特点以及应用场景，提交完整规范的数据集分析报告。 该阶段考核学生数据采集以及数据分析的能力。 第三章 任务载荷数据预处理（3 学时） 3.1 基于点运算的数据增强（1 学时） 3.2 基于区域运算的数据增强（1 学时） 3.3 空间滤波专题研讨（1 学时） 教学要求：通过本章课程的学习，要求学生掌握数据预处理的基本流程；掌握空域去噪 算法；掌握变换域去噪算法；掌握数据一致性概念；了解特征提取的概念和基本流程。 教学重点：（1）直方图概念及操作；（2）滤波的概念；（3）特征提取方法；（4）空间坐 标系变换原理；（5）数据配准的流程 教学难点：（1）滤波器的设计；（2）特征提取的原理；（3）匹配过程中优化算法。 ★分享电影“夺冠”中信号传输导致的图像噪声，回顾八十年代日常生活中经常碰到的 电视信号中的“噪声”，体悟科技创新和技术发展给生活带来的改变。通过视频中杂乱 无章、随机分布的噪声，引出噪声类型及图像增强去噪的方法讲解
研究生课程教学大纲 ●研讨：卷积属于典型的区域运算，结合人工智能前沿领域深度学习中的卷积操作，分 组方式讨论预处理中的卷积与深度学习中的卷积的联系和区别。 第四章基于成分分解的数据融合(3学时) 4.1全色图和多光谱数据融合(0.25学时) 4.1基于Brovey变换的遥感数据融合(0.25学时) 4.2基于HSI空间的遥感数据融合(0.5学时) 4.3基于PCA分解的遥感数据融合(1学时) 4.4基于PCA分解的数据融合专题研讨(1学时) 教学要求：通过本章课程的学习，掌握颜色归一化融合算法：要求学生掌握基于H$I颜 色空间的数据融合：掌握PCA的基本原理：掌握融合规则的分类方法和基本原理。 教学重点：(I)HSI数据融合的基本原理和流程：(2)Brovey算法的原理；(3)基于 PCA分解的融合原理：(4)掌握基于点、窗口、区域的融合规则。 教学难点：(1)PCA分解原理：(2)显著性的概念和设计原理：(3)匹配度的概念和设 计原理。 ★分享“高分七号卫星北京大兴国际机场多光谱融合”效果以及“高分卫星紧急驰援四 川凉山森林火灾”应用案例，引导学生自主学习并分享“高分系列”卫星的发展历程和 应用现状，展示我国在任务载荷方面的突出成就，鼓励同学们树立空天报国的理想和信 念。 ●研讨：按照分组方式，以PCA线性变换理解多波段融合时的维度概念，以及匹配度 的设计理念、协方差和相关矩阵在融合应用中的区别，分析不同算法的适用范围。 该阶段考核学生理解算法中核心思想、典型变换算法的理解能力。 第五章基于金字塔分解的数据融合(3学时) 5.1金字塔变化(1.5学时) 5.1.1高斯金字塔(0.5学时) 5.1.2拉普拉斯金字塔(0.5学时) 5.1.3比率金字塔(0.25学时) 5.1.4对比度金字塔(0.25学时) 5.2基于金字塔变换的融合规则(0.5学时)
研究生课程教学大纲 4 ●研讨：卷积属于典型的区域运算，结合人工智能前沿领域深度学习中的卷积操作，分 组方式讨论预处理中的卷积与深度学习中的卷积的联系和区别。 第四章 基于成分分解的数据融合（3 学时） 4.1 全色图和多光谱数据融合（0.25 学时） 4.1 基于 Brovey 变换的遥感数据融合（0.25 学时） 4.2 基于 HSI 空间的遥感数据融合（0.5 学时） 4.3 基于 PCA 分解的遥感数据融合（1 学时） 4.4 基于 PCA 分解的数据融合专题研讨（1 学时） 教学要求：通过本章课程的学习，掌握颜色归一化融合算法；要求学生掌握基于 HSI 颜 色空间的数据融合；掌握 PCA 的基本原理；掌握融合规则的分类方法和基本原理。 教学重点：（1）HSI 数据融合的基本原理和流程；（2）Brovey 算法的原理；（3）基于 PCA 分解的融合原理；（4）掌握基于点、窗口、区域的融合规则。 教学难点：（1）PCA 分解原理；（2）显著性的概念和设计原理；（3）匹配度的概念和设 计原理。 ★分享“高分七号卫星北京大兴国际机场多光谱融合”效果以及“高分卫星紧急驰援四 川凉山森林火灾”应用案例，引导学生自主学习并分享“高分系列”卫星的发展历程和 应用现状，展示我国在任务载荷方面的突出成就，鼓励同学们树立空天报国的理想和信 念。 ●研讨：按照分组方式，以 PCA 线性变换理解多波段融合时的维度概念，以及匹配度 的设计理念、协方差和相关矩阵在融合应用中的区别，分析不同算法的适用范围。 该阶段考核学生理解算法中核心思想、典型变换算法的理解能力。 第五章 基于金字塔分解的数据融合（3 学时） 5.1 金字塔变化（1.5 学时） 5.1.1 高斯金字塔（0.5 学时） 5.1.2 拉普拉斯金字塔（0.5 学时） 5.1.3 比率金字塔（0.25 学时） 5.1.4 对比度金字塔（0.25 学时） 5.2 基于金字塔变换的融合规则（0.5 学时）
研究生课程教学大纲 5.3二维高斯金字塔分解专题研讨(1学时) 教学要求：通过本章课程的学习，要求学生掌握高斯金字塔分解过程：掌握基于金字塔 分解的数据融合算法框架。 教学重点：(1)高斯金字塔变换：(2)拉普拉斯金字塔变换：(3)基于金字塔分解的融 合规则。 教学难点：(1)高斯金字塔核函数约束条件：(2)插值原理：(3)分解和重构过程：(4) 融合规则设计。 ★《题西林壁》是宋代文学家苏轼的诗作“横看成岭侧成峰，远近看山总不同。不识庐 山真面目，只缘身在此山中。”分享和讨论其中蕴含的哲学思想，以及与多视角图像融 合的关系，提升文化自信。 ●研讨：按照分组方式，研讨高斯金字塔分解过程，详解一维到二维滤波的实现原理。 第六章基于小波变换的数据融合(3学时) 6.1小波变换基础(0.5学时) 6.2小波变换系数特性(0.5学时) 6.3小波系数统计模型(0.5学时) 6.4基于小波变换统计模型的融合算法(0.5) 6.5二维小波分解及系数融合专题研讨(1学时) 教学要求：通过本章课程的学习，要求学生掌握多尺度融合的基本原理和框架；掌握小 波变换系数统计特性分析：掌握离散小波分解的低频、高频融合规则：掌握基于统计模 型的融合规则。 教学重点：(1)二维小波分解过程：(2)小波分解系数统计特性分析。 教学难点：(1)二维小波变换方向选择性：(2)基于小波系数统计特性的融合规则。 ★讲解小波变换时，引用毛泽东《矛盾论矛盾的特殊性》中“只见树木不见森林”，引 导学生学习并灵活运用矛盾分析方法分析小波变换融合算法中蕴含的全局与局部之间的关 系。 ●研讨：按照分组方式，利用思维导图整理小波变换的发展历程，利用思维导图整理小 波变换的发展历程，分析二维小波变换系数的统计特性。 5
研究生课程教学大纲 5 5.3 二维高斯金字塔分解专题研讨（1 学时） 教学要求: 通过本章课程的学习，要求学生掌握高斯金字塔分解过程；掌握基于金字塔 分解的数据融合算法框架。 教学重点: （1）高斯金字塔变换；（2）拉普拉斯金字塔变换；（3）基于金字塔分解的融 合规则。 教学难点: （1）高斯金字塔核函数约束条件；（2）插值原理；（3）分解和重构过程；（4） 融合规则设计。 ★《题西林壁》是宋代文学家苏轼的诗作“横看成岭侧成峰，远近看山总不同。不识庐 山真面目，只缘身在此山中。”分享和讨论其中蕴含的哲学思想，以及与多视角图像融 合的关系，提升文化自信。 ●研讨：按照分组方式，研讨高斯金字塔分解过程，详解一维到二维滤波的实现原理。 第六章 基于小波变换的数据融合（3 学时） 6.1 小波变换基础（0.5 学时） 6.2 小波变换系数特性（0.5 学时） 6.3 小波系数统计模型（0.5 学时） 6.4 基于小波变换统计模型的融合算法（0.5） 6.5 二维小波分解及系数融合专题研讨（1 学时） 教学要求：通过本章课程的学习，要求学生掌握多尺度融合的基本原理和框架；掌握小 波变换系数统计特性分析；掌握离散小波分解的低频、高频融合规则；掌握基于统计模 型的融合规则。 教学重点：（1）二维小波分解过程；（2）小波分解系数统计特性分析。 教学难点：（1）二维小波变换方向选择性；（2）基于小波系数统计特性的融合规则。 ★讲解小波变换时，引用毛泽东《矛盾论·矛盾的特殊性》中“只见树木不见森林”，引 导学生学习并灵活运用矛盾分析方法分析小波变换融合算法中蕴含的全局与局部之间的关 系。 ●研讨：按照分组方式，利用思维导图整理小波变换的发展历程，利用思维导图整理小 波变换的发展历程，分析二维小波变换系数的统计特性