11 3.3 Pandas、Numpy实验 4 大规模数据处理实验 4.1 电商大数据采集与处理 4.2 煤炭大数据采集与处理 4.3 教育大数据采集与处理 5 推荐系统数据采集与处理 5.1 推荐系统数据介绍 5.2 推荐系统数据处理 五、先修课要求及教学方法建议 1.先修课要求：大数据导论、Python、概率论、线性代数、高等数学等 2.教学方法建议：无 六、考核方式 必修课：见考试大纲 选修课要求如下： 1.考核目标：应与课程目标一致 2.考核方式与考核要求 考试、考查及具体方式（如为考试，说明闭卷或开卷考试即可；如为考查， 明确“提交论文、调查报告、实验报告、读书报告”等形式。 3.填写《首都师范大学考试（考查）分析表》，与学生考试试卷或考查的论 文、调查报告、实验报告、读书报告等一并保存五年。（从考试当日开始计算） 七、教材、参考文献与其他教学资源 参考教材：大数据采集与处理 第1版，张雪萍 著，电子工业出版社，2021-09 八、备注 各院系应有教学大纲修订的制度。上课前须按规定完成修订，并经院系专业 负责人、教学院长批准并报教务处备案后公布大纲。教学须按教学大纲实施，不 允许任课教师随意修订教学大纲和离开大纲要求实施教学。 教学日历须按教学大纲编制，任课教师可以在总学时不变的前提下根据具体 情况适当调整某些章节的教学时数；可以调整参考资料（不能调整教材）；在教 学大纲或考试大纲规定的范围内确定考试方式、试卷结构、成绩评定方式。 考核方式 考核要求 比重(%) 对应的课程目标 实验报告 平时 100% L01、L02、L03、L04、L05
12 《大数据技术基础》教学大纲 一、课程信息 二、课程内容简介 本课介绍大数据基础知识、数据分析的基本流程和大数据在各个行业的应 用情况；涵盖了编程语言、分析算法、计算框架、数据可视化等众多内容。本课 程的特色主要包括：（1）本课程讲授大数据分析的基本原理、相关技术和典型 应用案例，使学生掌握大数据应用系统的构造方法和过程，培养大数据思维意识， 掌握数据分析的基本技术和方法。（2）本课程以大数据处理流程为线索，分别 介绍数据采集、数据清洗加工、数据分析、开源大数据计算平台、数据可视化等 内容。对常用的大数据编程语言Python进行入门级介绍。（3）课程中介绍了大 量的大数据应用案例，这些案例来自于不同的行业和领域，为学生提供不同学科 专业多方面的参考。 三、课程目标 L01：加深学生对大数据数据相关技术（例如利用编程语言进行数据处理、 分析算法、计算框架、数据可视化）的认识与理解 L02：培养学生利用采集大数据的能力 L03：培养学生认识并熟练操作大数据处理并行框架的能力 L04：培养学生的编程能力 课程名称 (中文)大数据技术基础 (英文)Fundamentals of big data technology 课程编码 3290449 课程性质 √必修 ☐选修 课程类型 ☐通识课程 √专业课程 适用专业 大数据管理与应用专业 开课部门 管理学院 课程负责人 郝博文 学时学分 学分：2 总学时：32 理论：20 实验：4 实践：8 授课语言 中文 先修课程 大数据导论、Python、概率论 课程目标 支撑毕业要求指标点 支撑程度 支撑培养目标指标点 支撑程度 LO1 基础知识 H、M 强化数据科学与管理 学理论基础 H、M LO2 基础知识、专业知识 H、M 培养学生数据分析、 数据建模和数据挖掘 H、M
13 四、教学内容、要求及进度安排 第1章 大数据概述（4 课时） 1.1 大数据简介 1.2 大数据平台应具备的能力 1.3 大数据平台架构 1.4 Hadoop生态系统 1.5 大数据应用 第2章 大数据存储——分布式文件系统及NoSQL数据库（4 课时） 2.1 分布式文件系统 2.2 NoSQL数据库 2.3 列族数据库 2.4 键值数据库 2.5 文档数据库 2.6 图数据库 第3章大数据处理——MapReduce处理框架（4 课时） 3.1 MapReduce的发展背景 3.2 MapReduce框架 3.3 MapReduce的编程模型 3.4 MapReduce的集群调度 第4章 大数据处理——分布式内存处理框架Spark（4 课时） 4.1 Spark间接 4.2 Spark框架 4.3 RDD概念理解 4.4 RDD操作 4.5 Scala语言 4.6 Spark SQL简介 4.7 MLlib简介 第5章 大数据处理——实时处理框架（4 课时） 5.1 实时处理架构 5.2 Storm框架 5.3 Flume分布式日志收集 5.4 Kafka分布式消息队列 的能力 L03 国情与国际知识、专业知 识 H、M 培养学生数据分析、 数据建模和数据挖掘 的能力 H、M L04 基础知识、专业知识 H、M 培养学生数据分析、 数据建模和数据挖掘 的能力 H、M
14 5.5 Spark Streaming框架 5.6 Flink框架 第6章 大数据查询——分布式数据查询（4 课时） 6.1 分布式数据查询简介 6.2 Hive分布式数据仓库 6.3 Druid时序数据仓储 6.4 Druid分布式实时查询 第7章大数据分析——Kylinf分布式多维数据分析（4 课时） 7.1 使用Apache Kylin的原因 7.2 Kylin学习的前奏 7.3 Kylin工作原理 7.4 Kylin架构 7.5 Kylin快速入门 7.6 增量构建 7.7 查询和可视化 7.8 Cube优化 第8章 数据可视化（4 课时） 8.1 数据可视化定义及分类 8.2 数据可视化基础 8.3 信息可视化分类 8.4 在商业智能中的数据可视化应用 8.5 数据可视化的实践 五、先修课要求及教学方法建议 1.先修课要求：大数据导论、Python、概率论、线性代数、高等数学等 2.教学方法建议：无 六、考核方式 必修课：见考试大纲 选修课要求如下： 1.考核目标：应与课程目标一致 2.考核方式与考核要求 考试、考查及具体方式（如为考试，说明闭卷或开卷考试即可；如为考查， 明确“提交论文、调查报告、实验报告、读书报告”等形式。 考核方式 考核要求 比重(%) 对应的课程目标 闭卷考试 平时+期末 平时（40%） 期末（60%） L01、L02、L03、L04、L05
15 3.填写《首都师范大学考试（考查）分析表》，与学生考试试卷或考查的论 文、调查报告、实验报告、读书报告等一并保存五年。（从考试当日开始计算） 七、教材、参考文献与其他教学资源 参考教材：大数据采集与处理 第1版，张雪萍 著，电子工业出版社，2021-09 八、备注 各院系应有教学大纲修订的制度。上课前须按规定完成修订，并经院系专业 负责人、教学院长批准并报教务处备案后公布大纲。教学须按教学大纲实施，不 允许任课教师随意修订教学大纲和离开大纲要求实施教学。 教学日历须按教学大纲编制，任课教师可以在总学时不变的前提下根据具体 情况适当调整某些章节的教学时数；可以调整参考资料（不能调整教材）；在教 学大纲或考试大纲规定的范围内确定考试方式、试卷结构、成绩评定方式。 《大数据技术基础实训》教学大纲 一、课程信息 二、课程内容简介 本课为大数据技术基础的实验课程。主要内容为利用Python语言进行处理数 据、读取存写数据、数据转换、数据可视化、实现简单机器学习算法等。 三、课程目标 L01：加深学生对大数据数据相关技术（例如利用编程语言进行数据处理、 分析算法、计算框架、数据可视化）的认识与理解 L02：培养学生利用采集大数据的能力 L03：培养学生认识并熟练操作大数据处理并行框架的能力 课程名称 (中文)大数据技术基础 (英文)Big data technology basic training 课程编码 3290450 课程性质 √必修 ☐选修 课程类型 ☐通识课程 √专业课程 适用专业 大数据管理与应用专业 开课部门 管理学院 课程负责人 郝博文 学时学分 学分：0 总学时：16 理论：0 实验：8 实践：8 授课语言 中文 先修课程 大数据导论、Python、概率论