《大数据管理》课程大纲一、课程名称：大数据管理二、课程性质：选修、理论+实践课三、学时与学分：40学时（理论学时：28，实验学时：12），2.5学分四、课程先导课：数据结构、C语言、大数据导论等五、课程简介“大数据管理”是一门同时包含理论方法和工程技术知识的综合性专业选修课程，在计算机学科课程系列中属于中后期课程，以数据结构等课程知识为基础讲述数据工程领域的大数据管理理论与技术。课程首先综述数据管理系统的发展，分析发展大数据管理系统的必要性，并依据数据建模和系统设计两个维度展开。在数据模型方面，主要涵盖关系数据模型与SQL、键值对数据模型、文档模型及其查询语言、图模型及相关的类SQL查询语言。在系统设计方面，涵盖典型大数据系统的系统结构、数据存储与组织、索引技术、分布式查询处理、分布式事务、故障恢复及系统保护等内容。课程引导学生探寻大数据管理的发展趋势：掌握相关的主要方法与技术，培养学生面对大数据背景下的复杂工程问题的分析和解决问题的能力。六、课程目标通过对于目前大数据的理论与工程技术的现状综述分析，让学生对于大数据管理的主流方法与技术、发展方向形成客观全面的认识，具备调研和系统分析问题的能力。通过对关系模型、半结构化文档数据模型、键值对模型和图数据模型等典型数据模型及其科学方法的学习，培养学生依据工程科学、计算机科学对大数据复杂工程问题的理解、描述和分析能力。通过典型的大数据系统的系统架构、数据组织与存储策略、查询处理优化、分布式事务处理、故障恢复与系统保护机制等多个方面主流方法的学习，让学生对大数据管理的主要技术有较为全面和深刻的认识，并能结合阅读、分析与实践，具备初步的设计与开发能力课程的具体目标包括：目标1：能够从数据建模的角度识别、判断和分析复杂大数据应用需求中数据管理方面存在的科学问题，能综合考虑现有的关系模型、文档模型、键值对模型、图数据模型等典型数据模型对复杂大数据工程应用的数据管理核心问题进行抽象描述和分析；对于大数据管理的时代背景、典型方法与技术、主流系统及其架构有较为全面的认识，形成针对复杂工程问题的初步设计与解决能力
《大数据管理》课程大纲 一、课程名称：大数据管理 二、课程性质：选修、理论+实践课 三、学时与学分：40 学时（理论学时：28，实验学时：12），2.5 学分 四、课程先导课：数据结构、C 语言、大数据导论等 五、课程简介 “大数据管理”是一门同时包含理论方法和工程技术知识的综合性专业选修 课程，在计算机学科课程系列中属于中后期课程，以数据结构等课程知识为基础， 讲述数据工程领域的大数据管理理论与技术。课程首先综述数据管理系统的发展， 分析发展大数据管理系统的必要性，并依据数据建模和系统设计两个维度展开。 在数据模型方面，主要涵盖关系数据模型与 SQL、键值对数据模型、文档模型 及其查询语言、图模型及相关的类 SQL 查询语言。在系统设计方面，涵盖典型 大数据系统的系统结构、数据存储与组织、索引技术、分布式查询处理、分布式 事务、故障恢复及系统保护等内容。课程引导学生探寻大数据管理的发展趋势， 掌握相关的主要方法与技术，培养学生面对大数据背景下的复杂工程问题的分析 和解决问题的能力。 六、课程目标 通过对于目前大数据的理论与工程技术的现状综述分析，让学生对于大数据 管理的主流方法与技术、发展方向形成客观全面的认识，具备调研和系统分析问 题的能力。通过对关系模型、半结构化文档数据模型、键值对模型和图数据模型 等典型数据模型及其科学方法的学习，培养学生依据工程科学、计算机科学对大 数据复杂工程问题的理解、描述和分析能力。通过典型的大数据系统的系统架构、 数据组织与存储策略、查询处理优化、分布式事务处理、故障恢复与系统保护机 制等多个方面主流方法的学习，让学生对大数据管理的主要技术有较为全面和深 刻的认识，并能结合阅读、分析与实践，具备初步的设计与开发能力。 课程的具体目标包括： 目标 1：能够从数据建模的角度识别、判断和分析复杂大数据应用需求中数 据管理方面存在的科学问题，能综合考虑现有的关系模型、文档模型、键值对模 型、图数据模型等典型数据模型对复杂大数据工程应用的数据管理核心问题进行 抽象描述和分析；对于大数据管理的时代背景、典型方法与技术、主流系统及其 架构有较为全面的认识，形成针对复杂工程问题的初步设计与解决能力
目标2：对于大数据管理的时代背景、典型方法与技术、数据模型及其查询语言、主流系统有较为基本的认识，能够把握技术发展的特点和方向，对于新技术具备调研、综述、比较、分析能力；目标3：理解现有代表性大数据系统的系统架构、组织与存储、查询处理优化、分布式事务管理、故障恢复的典型方法，并能结合阅读与调研，进一步掌握技术的发展趋势，形成针对复杂工程问题的初步设计与解决能力。七、课程目标对毕业要求的支撑关系对应课程支撑的毕业要求一级指标点支撑的毕业要求二级指标点目标2.1能综合运用数学、自然科学、目标1，工程科学以及计算机科学的基本原理，识别、判断和表达计算目标2机复杂工程问题的关键环节，具有问题抽象能力12.2具备自主学习能力，能通过目标3多种途径拓展自己的知识和能力，包括理解能力，归纳总结的能力和提出问题的能力等八、教学设计及对课程目标的支持第一章数据管理系统概述主要知识点包括：数据管理系统的发展历史：大数据管理系统的特征：大数据管理系统的组成。1.教学目标1）了解数据管理技术的发展历史2）理解数据库、数据仓库、大数据管理系统之间的区别与联系；3）理解大数据管理系统的数据特征、系统特征和应用特征；4）了解大数据管理系统的组成。本章教学支持的课程目标为目标1、目标2。2.教学重点1)大数据管理系统的特征大数据管理系统从数据特征、系统特征、应用特征三个方面与传统的数据库系统或者数据仓库系统有着较大的改变，通过多个角度全面理解大数据管理系统的需求和相关技术的发展。2)大数据管理系统的组成
目标 2：对于大数据管理的时代背景、典型方法与技术、数据模型及其查询 语言、主流系统有较为基本的认识，能够把握技术发展的特点和方向，对于新技 术具备调研、综述、比较、分析能力； 目标 3：理解现有代表性大数据系统的系统架构、组织与存储、查询处理优 化、分布式事务管理、故障恢复的典型方法，并能结合阅读与调研，进一步掌握 技术的发展趋势，形成针对复杂工程问题的初步设计与解决能力。 七、课程目标对毕业要求的支撑关系 支撑的毕业要求一级指标点 支撑的毕业要求二级指标点 对应课程 目标 2.1 能综合运用数学、自然科学、 工程科学以及计算机科学的基 本原理，识别、判断和表达计算 机复杂工程问题的关键环节，具 有问题抽象能力 目标 1， 目标 2 12.2 具备自主学习能力，能通过 多种途径拓展自己的知识和能 力，包括理解能力，归纳总结的 能力和提出问题的能力等 目标 3 八、教学设计及对课程目标的支持 第一章 数据管理系统概述 主要知识点包括：数据管理系统的发展历史；大数据管理系统的特征；大数 据管理系统的组成。 1.教学目标 1）了解数据管理技术的发展历史； 2）理解数据库、数据仓库、大数据管理系统之间的区别与联系； 3）理解大数据管理系统的数据特征、系统特征和应用特征； 4）了解大数据管理系统的组成。 本章教学支持的课程目标为目标 1、目标 2。 2.教学重点 1)大数据管理系统的特征 大数据管理系统从数据特征、系统特征、应用特征三个方面与传统的数据库 系统或者数据仓库系统有着较大的改变，通过多个角度全面理解大数据管理系统 的需求和相关技术的发展。 2)大数据管理系统的组成
大数据管理系统的组成包括多引擎系统结构、混合负载系统架构、分布式系统架构等典型特征。3.教学难点1)大数据管理系统的系统特征目前不大数据管理系统技术还在快速进化中，还没有成型，需要在结合现有相关工作理解系统的开放性、量质融合、以知识管理为中心的系统特征。2)理解大数据管理系统目前的核心技术需求和发展趋势现阶段还处于大数据应用的初期，现有系统的重点还在于能做什么，而无暇顾及做得如何，因此要切实理解管理的成分还不够多，效率的问题还没有师风突出。4.教学环节设计围绕教学重点和教学难点，综合应用课堂讨论、作业、课外阅读等教学形式。1)课堂讨论围绕不同数据特征、系统核心技术发展、应用需求、系统架构特征等内容展开。2)作业围绕大数据管理的特征和系统组成等内容布置。3)课外阅读阅读大数据的产生及现有代表性系统的相关学术论文。第二章关系数据模型与SQL主要知识点包括：关系数据库概述；关系数据库标准语言SQL；SQLonHadoop；NoSQL数据库：代表性的关系数据库。1.教学目标1）了解关系数据库的基本概念、操作与实现技术：2）把握SQL基本语法和扩展语法的特征：3）了解SQLonHadoop的典型应用案例；4）了解NoSQL数据库的特点和代表性系统：5）了解代表性的关系、MPP、NewSQL数据库。本章教学支持的课程目标为目标1、目标2。2.教学重点1）SQL基本语法和扩展语法的特征SQL基本语法面向关系型结构化数据，支持嵌套的复杂语法结构：SQL扩展主要面向JSON、R语言集成、Hadoop等大数据下的多种数据形式和应用环境通过学习SQL的发展了解数据管理在操作处理层面的发展过程
大数据管理系统的组成包括多引擎系统结构、混合负载系统架构、分布式系 统架构等典型特征。 3.教学难点 1)大数据管理系统的系统特征 目前不大数据管理系统技术还在快速进化中，还没有成型，需要在结合现有 相关工作理解系统的开放性、量质融合、以知识管理为中心的系统特征。 2)理解大数据管理系统目前的核心技术需求和发展趋势 现阶段还处于大数据应用的初期，现有系统的重点还在于能做什么，而无暇 顾及做得如何，因此要切实理解管理的成分还不够多，效率的问题还没有师风突 出。 4.教学环节设计 围绕教学重点和教学难点，综合应用课堂讨论、 作业、课外阅读等教学形 式。 1)课堂讨论 围绕不同数据特征、系统核心技术发展、应用需求、系统架构特征等内容展 开。 2)作业 围绕大数据管理的特征和系统组成等内容布置。 3)课外阅读 阅读大数据的产生及现有代表性系统的相关学术论文。 第二章 关系数据模型与 SQL 主要知识点包括：关系数据库概述；关系数据库标准语言 SQL；SQL on Hadoop； NoSQL 数据库；代表性的关系数据库。 1.教学目标 1）了解关系数据库的基本概念、操作与实现技术； 2）把握 SQL 基本语法和扩展语法的特征； 3）了解 SQL on Hadoop 的典型应用案例； 4）了解 NoSQL 数据库的特点和代表性系统； 5）了解代表性的关系、MPP、NewSQL 数据库。 本章教学支持的课程目标为目标 1、目标 2。 2.教学重点 1) SQL 基本语法和扩展语法的特征 SQL 基本语法面向关系型结构化数据，支持嵌套的复杂语法结构；SQL 扩展 主要面向 JSON、R 语言集成、Hadoop 等大数据下的多种数据形式和应用环境， 通过学习 SQL 的发展了解数据管理在操作处理层面的发展过程
2）NoSQL数据库大数据管理系统目前的典型系统多为NoSQL数据库，包括键值对、列存储、文档、图数据库等多种形式。3.教学难点1）理解SQL面向大数据的扩展大数据背景下数据的结构化特征往往被弱化，学习JSON等若结构数据下的SQL，需要从关系数据模型角度理解SQL的内部动作，还需结合若结构化数据的数据特征灵活分析数据处理的新内涵。2）理解NoSQL数据库的系统变革NoSQL数据库并非排斥SQL数据库，而是更加广泛的notonlySQL，现有典型系统往往是在传统SQL数据库基础上，放弃一些大数据环境下的一致性需求，但对于存储、分布式、可用性等技术则提出了更适合大规模机群的新方法和技术。4.教学环节设计围绕教学重点和教学难点，综合应用课堂讨论、作业、课外阅读等教学形式。1)课堂讨论围绕不同NoSQL和NewSQL数据库的数据组织、系统架构、数据管理功能特点等等内容展开。2)作业围绕NoSQL典型系统的特征和系统架构等内容布置。3)课外阅读阅读NoSQL数据库的产生及现有典型系统代表性技术的相关学术论文。第三章键值对数据模型主要知识点包括：键值对模型基本概念；键值对模型应用现状；Dynamo、Redis、RAMCloud、BigTable等典型键值对数据库的数据结构和数据操作方法。1.教学目标1）了解键值对模型的典型应用背景和实例2）了解当前典型的键值对模型的应用现状和功能特色；3）理解Dynamo数据库如何通过键值对模型管理数据：4）理解Redis数据库如何通过键值对模型管理数据：5）理解RAMCloud数据库如何通过键值对模型管理数据6）理解BigTable数据库如何通过键值对模型管理数据。本章教学支持的课程目标为目标1、目标2。2.教学重点1)Redis系统的键值对数据操作方法
2) NoSQL 数据库 大数据管理系统目前的典型系统多为 NoSQL 数据库，包括键值对、列存储、 文档、图数据库等多种形式。 3.教学难点 1) 理解 SQL 面向大数据的扩展 大数据背景下数据的结构化特征往往被弱化，学习 JSON 等若结构数据下的 SQL，需要从关系数据模型角度理解 SQL 的内部动作，还需结合若结构化数据的 数据特征灵活分析数据处理的新内涵。 2) 理解 NoSQL 数据库的系统变革 NoSQL 数据库并非排斥 SQL 数据库，而是更加广泛的 not only SQL，现有典 型系统往往是在传统 SQL 数据库基础上，放弃一些大数据环境下的一致性需求， 但对于存储、分布式、可用性等技术则提出了更适合大规模机群的新方法和技术。 4.教学环节设计 围绕教学重点和教学难点，综合应用课堂讨论、 作业、课外阅读等教学形 式。 1)课堂讨论 围绕不同 NoSQL 和 NewSQL 数据库的数据组织、系统架构、数据管理功能特 点等等内容展开。 2)作业 围绕 NoSQL 典型系统的特征和系统架构等内容布置。 3)课外阅读 阅读 NoSQL 数据库的产生及现有典型系统代表性技术的相关学术论文。 第三章 键值对数据模型 主要知识点包括：键值对模型基本概念；键值对模型应用现状；Dynamo、Redis、 RAMCloud、BigTable 等典型键值对数据库的数据结构和数据操作方法。 1.教学目标 1）了解键值对模型的典型应用背景和实例； 2）了解当前典型的键值对模型的应用现状和功能特色； 3）理解 Dynamo 数据库如何通过键值对模型管理数据； 4）理解 Redis 数据库如何通过键值对模型管理数据； 5）理解 RAMCloud 数据库如何通过键值对模型管理数据； 6）理解 BigTable 数据库如何通过键值对模型管理数据。 本章教学支持的课程目标为目标 1、目标 2。 2.教学重点 1)Redis 系统的键值对数据操作方法
Redis系统不仅仅停留在对键值对数据的基本操作，还支持哈希、列表、集合、有序集合等数据结构，支持数据持久化。2)BigTable系统键值对数据操作方法BigTable为了解决搜索引擎的数据采集和搜索需求，在键值对的基本思想下，通过列族、时间戳、行区间等技术，对大规模的网页信息实现了灵活高效的管理。3.教学难点1)理解Redis系统在键值对思想基础上如何细化数据类型键值对数据模型宏观上是对于数据结构的更加抽象的管理，目的是便于组织大规模、多结构化数据，但是高效的组织和良好的访问性能还是需要细致的内部实现机制，引入科学的数据操作方法。2)理解BigTable系统的键值对数据组织策略如何支持大数据的分布式管理BigTable在宏观上仍然保留了关系数据库的table的模式思想，但仅是在列族这个层面，而列族内部则通过灵活的列定义和时间戳实现了更加灵活的管理，有了列族和行区间的设计思想，才能更好的实现对于列存储的支持。4.教学环节设计围绕教学重点和教学难点，综合应用课堂讨论、作业、课外阅读等教学形式。1)课堂讨论围绕Dynamo、Redis和BigTable的键值对数据操作新技术展开。2)作业围绕键值对数据管理系统的典型数据结构等内容布置。3)课外阅读阅读大数据背景下使用键值对数据模型的代表性系统关于数据操纵方面的相关学术论文。第四章文档模型与查询语言主要知识点包括：文档数据及其模型概述；XML和JSON为代表的文档结构；文档查询语言（DOM接口及其应用实例；XQuery及其应用实例；FLWOR；XPath及应用实例：JSONAPI及应用实例）：文档数据库举例（eXistDB和MongDB）。1.教学目标1）了解文档数据库的无结构、隐式结构、半结构特点；②)掌握XML数据的结构组成及基本描述方法；3)掌握JSON数据的特点及其主要语法元素；4)理解xQuery语言的特点和基本使用方法：5）了解JSONAPI的基本使用方法；6）了解eXistDB文档数据库的基本结构、数据模型和查询语言：
Redis 系统不仅仅停留在对键值对数据的基本操作，还支持哈希、列表、集 合、有序集合等数据结构，支持数据持久化。 2)BigTable 系统键值对数据操作方法 BigTable 为了解决搜索引擎的数据采集和搜索需求，在键值对的基本思想下， 通过列族、时间戳、行区间等技术，对大规模的网页信息实现了灵活高效的管理。 3.教学难点 1)理解 Redis 系统在键值对思想基础上如何细化数据类型 键值对数据模型宏观上是对于数据结构的更加抽象的管理，目的是便于组织 大规模、多结构化数据，但是高效的组织和良好的访问性能还是需要细致的内部 实现机制，引入科学的数据操作方法。 2)理解 BigTable 系统的键值对数据组织策略如何支持大数据的分布式管理 BigTable 在宏观上仍然保留了关系数据库的 table 的模式思想，但仅是在 列族这个层面，而列族内部则通过灵活的列定义和时间戳实现了更加灵活的管理， 有了列族和行区间的设计思想，才能更好的实现对于列存储的支持。 4.教学环节设计 围绕教学重点和教学难点，综合应用课堂讨论、 作业、课外阅读等教学形 式。 1)课堂讨论 围绕 Dynamo、Redis 和 BigTable 的键值对数据操作新技术展开。 2)作业 围绕键值对数据管理系统的典型数据结构等内容布置。 3)课外阅读 阅读大数据背景下使用键值对数据模型的代表性系统关于数据操纵方面的 相关学术论文。 第四章 文档模型与查询语言 主要知识点包括：文档数据及其模型概述；XML 和 JSON 为代表的文档结构； 文档查询语言（DOM 接口及其应用实例；XQuery 及其应用实例；FLWOR；XPath 及应用实例；JSON API 及应用实例）；文档数据库举例（eXistDB 和 MongDB）。 1.教学目标 1)了解文档数据库的无结构、隐式结构、半结构特点； 2)掌握 XML 数据的结构组成及基本描述方法； 3)掌握 JSON 数据的特点及其主要语法元素； 4)理解 XQuery 语言的特点和基本使用方法； 5)了解 JSON API 的基本使用方法； 6)了解 eXistDB 文档数据库的基本结构、数据模型和查询语言；