请选择 进入手机版 | 继续访问电脑版

[大数据] Hadoop七天培训视频教程(初中高项目全套教程)

  [复制链接]
查看: 4819 |回复: 160
发表于 2014-12-24 00:55:26 | 显示全部楼层 |阅读模式
本帖最后由 2次方 于 2016-1-27 11:53 编辑

课程介绍:

课程中会贯穿一个电信项目的例子讲个各个知识点。最后会用黑马论坛日志作为项目讲述。本次课程不加入特别综合的大型的hadoop项目。

适用人群:hadoop零基础,或者转行做hadoop的人士。

预期目标:通过该课程的学习,期望达到以下三个目标:

1、对hadoop、zookeeper、hbase、hive、sqoop、flume、pig的理论体系有个系统掌握,对核心知识能够掌握;阅读市面上的各种图书和各种文章不再有困难;
2、能够在linux环境搭建hadoop、hbase等的伪分布和分布模式,进入公司后可以自己搭建环境;
3、能够使用java语言、shell命令行两种方式操作hadoop、zookeeper、hbase、hive、sqoop等,进入公司可以直接上手工作,不需要二次培训。

课程时长:初级班414分钟,中级班408分钟,高级版322分钟,项目实战221分钟。总课时1365分钟,是全国hadoop网络培训课时最长的。

培训效果:本课程已经非常适合零基础入门和提高,能够让仅具有java基础的大学毕业生可以上手工作。


课程安排:

01) Linux基础操作
本节讲解linux基础操作,主要是在命令行下进行文件系统的操作,这是hadoop学习的基础,后面的所有视频都是基于linux操作的。鉴于很多学员没有linux基础,特增加该内容。

02) 搭建伪分布实验环境
本节是最基本的课程,属于入门级别,主要讲述在linux单机上面安装hadoop的伪分布模式,在linux集群上面安装hadoop集群。对于不熟悉linux的同学, 课程中会简单的讲解常用的linux命令。这两种是必须要掌握的。通过现在的教学发现,很多同学并不能正确的配置集群环境。
知识点简单罗列:
Ø Hadoop概念、版本、历史
Ø Hadoop和核心组成介绍及hdfs、mapreduce体系结构
Ø Hadoop的集群结构
Ø Hadoop伪分布的详细安装步骤
Ø 如何通过命令行和浏览器观察hadoop

03) 介绍HDFS体系结构及shell、java操作方式
本节是对hadoop核心之一——hdfs的讲解。hdfs是所有hadoop操作的基础,属于基本的内容。对本节内容的理解直接影响以后所有课程的学习。在本节学习中,我们会讲述hdfs的体系结构,以及使用shell、java不同方式对hdfs的操作。在工作中,这两种方式都非常常用。学会了本节内容,就可以自己开发网盘应用了。在本节学习中,我们不仅对理论和操作进行讲解,也会讲解hdfs的源代码,方便部分学员以后对hadoop源码进行修改。最后,还要讲解hadoop的RPC机制,这是hadoop运行的基础,通过该节学习,我们就可以明白hadoop是怎么明白的了,就不必糊涂了,本节内容特别重要。
知识点简单罗列:
Ø Hdfs体系结构详述
Ø NameNode、DataNode、SecondaryNameNode体系结构
Ø 如果保证namenode的高可靠
Ø Datanode中block的划分原理和存储方式
Ø 如何修改namenode、datanode数据存储位置
Ø 如何使用命令行操纵hdfs
Ø 如何使用java操作hdfs
Ø 介绍rpc机制
Ø 通过查看源码,知晓hadoop是建构在rpc之上的
Ø 通过查看hdfs源码,知晓客户端是如何与Namenode通过rpc通信的

04) 介绍MapReduce体系结构及各种算法(1)
本节开始对hadoop核心之一——mapreduce的讲解。mapreduce是hadoop的核心,是以后各种框架运行的基础,这是必须掌握的。在本次讲解中,掌握mapreduce执行的详细过程,以单词计数为例,讲解mapreduce的详细执行过程。还讲解hadoop的序列化机制和数据类型,并使用自定义类型实现电信日志信息的统计。
知识点简单罗列:
Ø Mapreduce原理
Ø Mapreduce执行的八大步骤
Ø 详细讲述如何使用mapreduce实现单词计数功能
Ø 详细讲述如何覆盖Mapper功能、如何覆盖Reducer功能。在各种hadoop认证中,这是考察重点
Ø 详细讲述hadoop的自定义类型Writable接口
Ø 通过电信上网日志实例讲述如何自定义hadoop类型
Ø 通过源码讲述hadoop是如何读取hdfs文件,并且转化为键值对,供map方法调用的

05) 介绍MapReduce体系结构及各种算法(2)
本节继续讲解mapreduce,会把旧api的用法、计数器、combiner、partitioner、排序算法、分组算法等全部讲解完毕。通过这两次课程学习,学员可以把整个mapreduce的执行细节搞清楚,把各个可扩展点都搞明白。本节内容在目前市面可见的图书、视频中还没有发现如此全面的哪。
知识点简单罗列:
Ø 讲解新旧api的区别,如何使用旧api完成操作
Ø 介绍如何打包成jar,在命令行运行hadoop程序
Ø 介绍hadoop的内置计数器,以及自定义计数器
Ø 介绍了合并(combiner)概念、为什么使用、如何使用、使用时有什么限制条件
Ø 介绍了hadoop内置的分区(partitioner)概念、为什么使用、如何使用
Ø 介绍了hadoop内置的排序算法,以及如何自定义排序规则
Ø 介绍了hadoop内置的分组算法,以及如何自定义分组规则
Ø 介绍了mapreduce的常见应用场景,以及如何实现mapreduce算法

06) 介绍Hadoop集群
hadoop就业主要是两个方向:hadoop工程师和hadoop集群管理员。我们课程主要培养工程师。本节内容是面向集群管理员的,主要讲述集群管理的知识。
知识点简单罗列:
Ø 如何搭建hadoop集群
Ø 如何动态增加hadoop从节点
Ø 如何动态修改hdfs的副本数
Ø 如何使用一些常用管理命令
Ø 如何理解安全模式
Ø 如何查看日志等

07) 介绍zookeeper操作
本节内容与hadoop关系不大,只是在hbase集群安装时才用到。但是,zookeeper在分布式项目中应用较多。
知识点简单罗列:
Ø Zookeeper是什么
Ø 搭建zookeeper集群环境
Ø 如何使用命令行操作zookeeper
Ø 如何使用java操作zookeeper

08) 介绍HBase体系结构及基本操作
hbase是个好东西,在以后工作中会经常遇到,特别是电信、银行、保险等行业。本节讲解hbase的伪分布和集群的安装,讲解基本理论和各种操作。我们通过对hbase原理的讲解,让大家明白为什么hbase会这么适合大数据的实时查询。最后讲解hbase如何设计表结构,这是hbase优化的重点。
知识点简单罗列:
Ø Hbase是什么
Ø Hbase数据模型
Ø Hbase存储模型
Ø Hbase的命令行操作
Ø Hbase的java操作
Ø 如何使用mapreduce向hbase批量导入数据

09) 介绍pig操作
Pig是另一套hadoop处理大数据的方法,底层调用的是mapreduce,但是入门的门槛低,书写自由灵活,书写效率与java代码相比非常高,在企业中有较多应用。本节hadoop讲解pig的理论、操作。
知识点简单罗列:
Ø Pig是什么
Ø Pig的数据类型、操作
Ø 使用pig完成前面的电信上网日志的统计工作

10) 介绍Hive体系结构及基本操作
Hive作为hadoop领域的数据仓库,支持sql功能,类似于mysql操作,非常好用,在企业中应用非常广泛。
知识点简单罗列:
Ø Hive是什么
Ø Hive的体系结构,hive中的表在hdfs中是如何存储的
Ø 讲解如何在linux安装mysql,如何使用mysql作为hive的metastore
Ø 通过实例详细讲述hive的内部表、分区表、外部表、桶表
Ø 介绍视图
Ø 介绍hive的自定义函数

11) 介绍Sqoop操作
sqoop适用于在关系数据库与hdfs之间进行双向数据转换的,在企业中,非常常用。
知识点简单罗列:
Ø Sqoop是什么
Ø 通过实例讲解Sqoop如何把mysql中的数据导入到hdfs中
Ø 通过实例讲解Sqoop如何把hdfs中的数据导出到mysql中
Ø Sqoop如何做成job,方便以后快速执行

12) Flume操作
Flume是cloudera公布的分布式日志收集系统,是用来把各个的服务器中数据收集,统一提交到hdfs或者其他目的地,是hadoop存储数据的来源,企业中非常流行。
知识点简单罗列:
Ø Flume是什么
Ø 详细Flume的体系结构
Ø 讲述如何书写flume的agent配置信息
Ø 讲述flume如何动态监控文件夹中文件变化
Ø 讲述flume如何把数据导入到hdfs中
Ø 通过实例讲解如何通过flume动态监控日志文件变化,然后导入到hdfs中

13) 论坛日志分析项目
该项目的数据来自于黑马程序员(http://edu.csdn.net/)论坛的日志,该项目是为本课程量身定做的,非常适合我们hadoop课程学习。有的同学觉得应该介绍更多项目,其实做过几个项目后,就会发现项目的思路是相同的,只是业务不同而已。大家写过这个项目后,就对hadoop的各个框架在项目中是如何使用的,有个比较清晰的认识,对hadoop与javaEE结合有个比较清晰的认识了

课程目录:

├─hadoop2全套视频
│      1.avi
│      2.avi
│      3.mp4
│      4.mp4
│      hadoop2集群搭建过程.doc
│      HDFS的HA原理.png
│      readme.txt
│      Yarn的由来.png
│      Yarn运行机理.png

├─中级班全套视频
│  ├─中级班-1-MapReduce入门
│  │      z1-1.MR简介
│  │      z1-2.MR例子入门
│  │      培训课程(3).ppt
│  │      新建 Microsoft Excel 工作表.xls
│  │
│  ├─中级班-2-MapReduce的源码简介和自定义类型
│  │      log.txt
│  │      z2-1.job提交的源码分析.mp4
│  │      z2-2.hadoop基本类型.mp4
│  │      z2-3.使用hadoop自定义类型处理手机上网日志.mp4
│  │      z2-4.源码分析输入内容格式化.mp4
│  │      截图02.jpg
│  │      新建文本文档.txt
│  │
│  ├─中级班-3-mapReduce的剩余核心环节讲解
│  │      z3-1.旧api的写法.mp4
│  │      z3-2.命令行运行时指定参数
│  │      z3-3.自定义计数器
│  │      z3-4.mp4
│  │      z3-5.Partitioner编程.mp4
│  │      培训课程(4).ppt
│  │
│  ├─中级班-4-MapReduce的自定义排序和分组
│  │      z4-1.自定义排序算法.mp4
│  │      z4-2.自定义分组比较器.mp4
│  │      z4-3.常见算法.mp4
│  │
│  ├─中级班-5-hadoop的集群安装和安全模式介绍
│  │      z5-1.hadoop的分布模式安装过程1.mp4
│  │      z5-2
│  │      Z5-3安全模式.mp4
│  │      培训课程(5).ppt
│  │      新建文本文档.txt
│  │
│  └─中级班-代码部分
│      │  .classpath
│      │  .project
│      │
│      ├─bin
│      └─src
│          ├─cmd
│          │      WordCountApp.java
│          │
│          ├─combine
│          │      WordCountApp.java
│          │      WordCountApp2.java
│          │
│          ├─counter
│          │      WordCountApp.java
│          │
│          ├─group
│          │      data
│          │      GroupApp.java
│          │
│          ├─mapreduce
│          │      KpiApp.java
│          │      WordCountApp.java
│          │
│          ├─old
│          │      OldAPP.java
│          │
│          ├─org
│          │  └─apache
│          │      └─hadoop
│          │          └─fs
│          │                  FileUtil.java
│          │
│          ├─partition
│          │      KpiApp.java
│          │
│          ├─sort
│          │      data
│          │      SortApp.java
│          │
│          └─suanfa
│                  TopKApp.java

├─初级班全套视频
│  ├─初级班-1-linux使用
│  │      c1-1.avi
│  │      c1-2.mp4
│  │      c1-3.mp4
│  │      课程资料.txt
│  │
│  ├─初级班-2-伪分布模式安装hadoop
│  │      c2-1.mp4
│  │      c2-2
│  │      c2-3
│  │      培训课程.ppt
│  │      课程资料.txt
│  │
│  ├─初级班-3-HDFS的体系结构和操作
│  │      c3-1.mp4
│  │      c3-2
│  │      readme.txt
│  │      培训课程(2).ppt
│  │      新建文本文档.txt
│  │
│  ├─初级班-4-HDFS的java操作方式
│  │      c4-1.mp4
│  │      c4-2.mp4
│  │      c4-3.mp4
│  │      c4-4.mp4
│  │      新建文本文档.txt
│  │      无标题.png
│  │
│  └─初级班-代码部分
│      │  .classpath
│      │  .project
│      │
│      ├─bin
│      └─src
│          ├─hdfs
│          │      App1.java
│          │      App2.java
│          │
│          ├─org
│          │  └─apache
│          │      └─hadoop
│          │          └─fs
│          │                  FileUtil.java
│          │
│          └─rpc
│                  MyBiz.java
│                  MyBizable.java
│                  MyClient.java
│                  MyServer.java

├─项目实战全套视频
│  │  date命令使用文档.txt
│  │  hmbbs.ppt
│  │  HmbbsCleaner.java
│  │  hmbbs_core.sh
│  │  hmbbs_daily.sh
│  │  hmbbs_init.sh
│  │  linux shell.ppt
│  │  Programming Hive.pdf
│  │  readme.txt
│  │  x-1.项目描述
│  │  x-2.shell编程.mp4
│  │  x-3.数据导入和清洗
│  │  x-4.数据统计分析.mp4
│  │
│  └─项目实战-代码部分
│      │  .classpath
│      │  .project
│      │
│      ├─bin
│      └─src
│          ├─hmbbs
│          │      HmbbsCleaner.java
│          │
│          └─org
│              └─apache
│                  └─hadoop
│                      └─fs
│                              FileUtil.java

└─高级班全套视频
    ├─高级班-1-ZooKeeper的集群安装与操作
    │      g1-1.mp4
    │      g1-2.mp4
    │      zk.ppt
    │      新建文本文档.txt
    │
    ├─高级班-2-HBase基础知识
    │      g2-1
    │      g2-2.mp4
    │      g2-3
    │      g2-4.mp4
    │      g2-5.mp4
    │      g2-6.mp4
    │      hbase.ppt
    │      hbase_cluster.txt
    │      新建文本文档.txt
    │
    ├─高级班-3-PIG基础知识
    │      g3.mp4
    │      readme.txt
    │
    ├─高级班-4-HIVE基础知识
    │      g4.mp4
    │      hive.ppt
    │      readme.txt
    │
    ├─高级班-5-SQOOP基础知识
    │      g5-把数据从hdfs导出到mysql中.mp4
    │      g5-把数据从mysql导入到hdfs中
    │      log.txt
    │      readme.txt
    │      sqoop.ppt
    │
    ├─高级班-6-Flume原理和使用
    │      flume.ppt
    │      g6-flume原理、安装和使用.mp4
    │      readme.txt
    │
    └─高级班-代码部分
        │  .classpath
        │  .project
        │
        ├─bin
        └─src
            ├─hbase
            │      BatchImport.java
            │      HBaseApp.java
            │
            ├─hive
            │      App.java
            │
            └─org
                └─apache
                    └─hadoop
                        └─fs
                                FileUtil.java

游客,如果您要查看本资源下载链接请点这里回复
不要你签到,你还灌水!只有扣除你20金币才能消我气!
发表于 2014-12-24 21:55:56 | 显示全部楼层
不知道七天能不能学会啊
发表于 2014-12-25 11:00:26 | 显示全部楼层
下载来看看,谢谢分享~
发表于 2014-12-25 15:06:15 | 显示全部楼层
6541641651
发表于 2014-12-25 15:30:44 | 显示全部楼层
发表于 2014-12-26 11:15:22 | 显示全部楼层
先赚金币,再下资料
发表于 2014-12-26 11:51:27 | 显示全部楼层
多谢分享多谢分享多谢分享多谢分享多谢分享多谢分享多谢分享多谢分享多谢分享多谢分享
发表于 2014-12-27 18:18:18 | 显示全部楼层
本帖最后由 holy198910 于 2014-12-27 18:19 编辑

还得成为会员么
发表于 2014-12-28 14:37:59 | 显示全部楼层
发表于 2014-12-28 18:38:56 | 显示全部楼层
wqrerqerrrrrrrrrrrrrrrrr
收缩
  • QQ:点击这里给我发消息
  • 旺旺:点这里给我发消息
  • 交流群:技术资源共享@