复旦大学：《高级Web技术》课程教学大纲（戴开宇）

• 6.1 云数据库概述 • 6.2 云数据库产品 • 6.3 云数据库系统架构 • 6.4 Amazon AWS和云数据库 • 6.5 微软云数据库SQL Azure

2.1 操作系统及Windows基本常识 2.2 Windows XP的基本操作 2.3 定制Windows XP的系统环境 2.4 Windows XP实用程序

• 3.1 分布式文件系统 • 3.2 HDFS简介 • 3.3 HDFS相关概念 • 3.4 HDFS体系结构 • 3.5 HDFS存储原理 • 3.6 HDFS数据读写过程 • 3.7 HDFS编程实践

1.课程特色 2.教材介绍 3.内容提要 4.教学大纲 5.配套资源 6.班级介绍

7.1 数据处理与分析的概念 7.1.1 数据分析与数据挖掘 7.1.2数据分析与数据处理 7.1.3大数据处理与分析 7.2机器学习和数据挖掘算法 7.2.1概述 7.2.2 分类 7.2.3聚类 7.2.4 回归分析 7.2.5关联规则 7.2.6协同过滤 7.3 大数据处理与分析技术 7.3.1技术分类 7.3.2 流计算 7.3.3 图计算 7.4大数据处理与分析代表性产品 7.4.1 分布式计算框架MapReduce 7.4.2 数据仓库Hive 7.4.3数据仓库Impala 7.4.4 基于内存的分布式计算框架Spark 7.4.5 TensorFlowOnSpark 7.4.6 流计算框架Storm 7.4.7 流计算框架Flink 7.4.8大数据编程框架Beam 7.4.9查询分析系统Dremel

• 2.1 Scala语言概述 2.1.1 计算机的缘起 2.1.2 编程范式 2.1.3 Scala简介 • 2.2 Scala基础 2.2.1 基本语法 2.2.2 控制结构 2.2.3 数据结构 2.2.4 面向对象编程基础 2.2.5 函数式编程基础 • 2.3 面向对象编程基础 2.3.1 类 2.3.2 对象 2.3.3 继承 2.3.4 特质 2.3.5 模式匹配 • 2.4 函数式编程基础 2.4.1 函数定义和高阶函数 2.4.2 针对集合的操作 2.4.3 函数式编程实例WordCount

1.1 大数据时代 1.2 大数据概念 1.3 大数据的影响 1.4 大数据关键技术 1.5 大数据计算模式 1.6 代表性大数据技术

• 7.1 概述 • 7.2 MapReduce体系结构 • 7.3 MapReduce工作流程 • 7.4 实例分析：WordCount • 7.5 MapReduce的具体应用 • 7.6 MapReduce编程实践

5.1 RDD编程基础 5.1.1 RDD创建 5.1.2 RDD操作 5.1.3 持久化 5.1.4 分区 5.1.5 一个综合实例 5.2 键值对RDD 5.2.1 键值对RDD的创建 5.2.2 常用的键值对RDD转换操作 5.2.3 一个综合实例 5.3 数据读写 5.3.1 文件数据读写 5.3.2 读写HBase数据 5.4 综合案例 5.4.1 案例1：求TOP值 5.4.2 案例2：求最大最小值 5.4.3 案例3：文件排序 5.4.4 案例4：二次排序 5.4.5 案例5：连接操作