您查看的活动已结束

名称

Developer Training   for Spark and Hadoop

第一天

Hadoop 及生态系统介绍 
  •  Apache   Hadoop 概述 •  数据存储和摄取 •  数据处理 •  数据分析和探索 •  其他生态系统工具 •  练习环境及分析应用场景介绍
  Apache Hadoop 文件存储 
  •  传统大规模系统的问题 •  HDFS 体系结构 •  使用 HDFS •  Apache   Hadoop 文件格式
  Apache Hadoop 机群上的数据处理 
  •  YARN 体系结构 •  使用 YARN
  使用 Apache Sqoop 导入关系数据 
  •  Sqoop 简介 •  数据导入 •  导入的文件选项 •  数据导出
  Apache Spark 基础 
  •  什么是 Apache Spark •  使用 Spark Shell •  RDDs( 可恢复的分布式数据集） •  Spark 里的函数式编程

第二天

Spark RDD 
  •  创建 RDD •  其他一般性 RDD 操作
  使用键值对 RDD
  •  键值对 RDD •  MapReduce •  其他键值对 RDD 操作
  编写和运行 Apache Spark 应用 
  •  Spark 应用对比 Spark Shell •  创建 SparkContext •  创建 Spark 应用（Scala 和   Java） •  运行 Spark 应用 •  Spark应用 WebUI
  配置 Apache Spark 应用 
  •  配置 Spark 属性 •  运行日志 
  Apache Spark 的并行处理 
  •  回顾：机群环境里的 Spark •  RDD 分区 •  基于文件 RDD 的分区 •  HDFS 和本地化数据 •  执行并行操作 •  执行阶段及任务
  Spark 持久化 
  •  RDD 演变族谱 •  RDD 持久化简介 •  分布式持久化

第三天

Apache Spark 数据处理的常见模式 
  •  常见 Spark 应用案例 •  迭代式算法 •  机器学习 •  例子：K － Means
  DataFrames 和 Spark SQL 
  •  Apache   Spark SQL 和 SQL Context •  创建 DataFrames •  变更及查询 DataFrames •  保存 DataFrames •  DataFrames 和 RDD •  Spark   SQL 对比 Impala 和Hive-on-Spark •  Spark   2.x 版本上的 Apache Spark SQL
  Apache Kafka 
  •  什么是 Apache Kafka •  Apache   Kafka 概述 •  如何扩展 Apache Kafka •  Apache   Kafka 机群架构 •  Apache   Kafka 命令行工具
  使用 Apache Flume 采集实时数据 
  •  什么是 Apache Flume •  Flume 基本体系结构 •  Flume 源 •  Flume 槽 •  Flume 通道 •  Flume 配置

第四天

集成 Apache Flume 和 Apache Kafka 
  •  概要 •  应用案例 •  配置

Apache Spark Streaming：DStreams 介绍 
  •  Apache Spark Streaming 概述 •  例子：Streaming 访问计数 •  DStreams •  开发 Streaming 应用
  Apache Spark Streaming：批处理 
  •  批处理操作 •  时间分片 •  状态操作 •  滑动窗口操作

Apache Spark Streaming：数据源 
  •  Streaming 数据源概述 •  Apache Flume 和Apache Kafka 数据源 •  例子：使用 Direct 模式连接 Kafka • 数据源