人气：2712870
访问用户量：2943
笔记经验：1309
总积分：1409
级别：普通会员
搜索本笔记
ta的交流分类
ta的全部笔记
浏览(85184)|(104)
&&交流分类：|笔记分类:
私塾在线《深入浅出学&&
系列精品教程
视频课程地址》》》&
整体课程概览
第一部分：Word Count 程序讲解
o编写一个MapReduce 程序的步骤
–编写一个Mapper类
–编写一个Reducer类
–编写一个Driver类（即Job），来将Mapper与Reducer类来进行组合。
java代码：
public class WordMapper extends MapReduceBase implements
Mapper&LongWritable, Text, Text, IntWritable& {
private final static IntWritable one = new IntWritable(1);
private Text word = new Text();
public void map(LongWritable key, Text value,OutputCollector&Text, IntWritable& output, Reporter reporter)
throws IOException {
String line = value.toString();
for(String word : s.split(&\\W+&)){
if(word.length()&0){
output.collect(new Text(word),new IntWritable(1));
java代码：
public class WordReducer extends MapReduceBase implements
Reducer&Text, IntWritable, Text, IntWritable&{
public void reduce(Text key, Iterator&IntWritable& values,OutputCollector&Text, IntWritable& output, Reporter reporter)
throws IOException {
Int sum = 0;
while (values.hasNext()) {
sum += values.next().get()+
output.collect(key, new IntWritable(sum));
第二部分：Mapper API 介绍
o老版Mapper API
org.apache.hadoop.mapred Interface Mapper&K1,V1,K2,V2&
o新版Mapper& API
org.apache.hadoop.mapreduce Class Mapper&KEYIN,VALUEIN,KEYOUT,VALUEOUT&
第三部分：Reducer API 介绍
o老版 Reducer API
org.apache.hadoop.mapred Interface Reducer&K2,V2,K3,V3&
o新版 Reducer API
org.apache.hadoop.mapreduce Class Reducer&KEYIN,VALUEIN,KEYOUT,VALUEOUT&
第四部分：Job运行模式
oMapReduce程序可以以以下三种模式运行
–Local(Standalone) Mode：只有一个 Java 虚拟机在跑，完全没有分布式的成分。且不使用HDFS文件系统，而是使用本机的Linux文件系统。
–Pseudo-distributed Mode：在同一台机器上启动独立数个 JVM 进程，每一个hadoop daemon运行在一个单独的JVM进程中，进行“伪分布式”操作。
–Fully-distributed Mode：真正的可以运行于多台机器上的分布式模式。其中， Standalone mode 使用local filesystem 以及 local MapReducer job runner， Distributed mode 使用HDFS 以及 MapReduce daemons
o对应的配置文件 conf/core-site.xml：
为Hadoop设定默认的文件系统
&&configuration&
& &property&
&&&&&&&& &name&
fs.default.name
&&&&&&&& &value&
&&&&& VALUE&&&&&
&/property&
&/configuration&
Standalone mode: &&&VALUE=file:///
Pseudo-distributed mode: VALUE=hdfs://localhost:9000
Fully-Distributed mode：&& VALUE=hdfs://namenode
o对应的配置文件 conf/mapred-site.xml
&configuration&
&&property&
&&&& &name&
mapred.job.tracker
&& && &value&
&&&&&&&&&& VALUE&&&&&&&&
&&/property&
&/configuration&
Standalone mode: &&&&&&&& VALUE=local
Pseudo-distributed mode: VALUE=localhost:9001
Fully-Distributed mode：&& VALUE=jobtracker:9001
HDFS client使用这个属性来决定NameNode的位置，这样HDFS client就可以连接到该NameNode.
第五部分：集群上运行Word Count
oMapReduce网络用户界面
在项目上，选择[File]=&Export，导出项目为一个jar包
hadoop jar yourjar.jar mainClassName& -conf inputfolder outputfolder
oMapReduce网络用户界面
–Hadoop fs –ls outputfolder
–加入传统的Log输出
–使用Reporter 来做错误源的输出比对
第六部分：Mapreduce 工作流
o如何将问题分解成MapReduce作业&
&–复杂的需求
& o在Word Count 程序中，求出单词出现频率的总和
& o单词中包含大写字母H的则转换为小写
& o在Word Count 程序中，求出单词出现频率的总和与单词的个数
o运行独立的作业
& –假设有Job1，Job2，需要运行
& &o如果作业是线性的
& & & JobClinet.runjob(conf1)
& & & JobClinet.runjob(conf2)
& &o如果更负责的是环形的
& –可以通过Hadoop自带的JobControl来运行
转载请注明出处【&
该帖子包含附件，回复帖子后即可下载附件。
相关笔记推荐
精品视频课程推荐
本视频课程是北京Java私塾原创精品书籍《研磨设计模式》一书的配套学习视频，由《研磨设计模式》的第一作者CC录制
课程目标：全面、系统的掌握GoF设计模式的知识，达到可以在实际项目开发中运用的能力
技术要点：如何实现可配置、如何实现缓存以及缓存的管理、如何实现用缓存来控制多实例的创建、如何实现参数化工厂、 如何实现可扩展工厂、如何实现原型管理器、如何实现Java的静态代理和动态代理、如何实现多线程处理队列请求、 如何实现命令的参数化配置、可撤销的操作、宏命令、队列请求和日志请求、如何实现翻页迭代、如何检测环状结构、 如何实现通用的增删改查、如何模拟工作流来处理流程、如何实现简单又通用的XML读取、如何实现模拟AOP的功能......
本课程专注于数据结构和算法的内容，使用Java来进行代码示例，不空洞的讲解概念和理论，重点放在代码的实现和示例上。
从零开始、全面系统、成体系的讲解数据结构和基本算法，循序渐进的讲述构建软件系统所常见的数据结构和算法。
内容概述：Shiro是目前最热门、最易用、功能超强大的Java权限管理框架，强烈推荐，每个项目都必备的权限管理技术！通过本课程，你将从零开始直到彻底掌握Shiro的相关开发知识，达到可以进行实际项目开发的能力。包括：权限管理基础、Shiro入门、配置、身份认证、授权、Realms、Session管理、和Spring的集成、Web、Cache等众多开发细节技术
技术要点：源码级分析Shiro的授权过程、自定义开发Realm、多个Realms的开发配置、自定义开发AuthenticationStrategy、自定义开发自定义SessionDAO、和Struts2+Spring3的集成（包括修正struts2的bug）、Shiro和SpringMVC+Spring3的集成、包装使用其他的Cache框架、缓存数据同步更新的解决方案等等实际开发中常用的内容
系统、完整的学习Spring Web MVC开发的知识。包括：Spring Web MVC入门；理解DispatcherServlet；注解式控制器开发详解；数据类型转换；数据格式化；数据验证； 拦截器；对Ajax的支持；文件上传下载；表单标签等内容；最后以一个综合的CRUD带翻页的应用示例来综合所学的知识
Hadoop中高级精品课程，帮助学员快速掌握Hadoop HDFS的原理；MapReduce的原理；MapReduce高级编程；Hadoop的IO机制，如序列化、压缩；Hadoop的RPC，RESTFul API等高级特性；彻底理解Hadoop，成为一名合格的云计算开发者。并掌握一些云端基本的运维知识，从而实现开发和运维兼修的高级人才。
浏览(85184)|(104)
&&交流分类：|笔记分类:
学习中。。。课程不错
&讲的很好，学习中
学习中。。。课程不错
讲的很好，学习中
不错的材料
下载下来学习看看
正在找这样的材料，不错
学习中。。
版权所有 Copyright(C) 私塾在线学习网&>&&>&&>&&>&学习hadoop--java零基础学习hadoop手册
学习hadoop--java零基础学习hadoop手册
上传大小：4.46MB
学习hadoop--java零基础学习hadoop手册
嵌到我的页面
<input type="text" value="">
综合评分：0（0位用户评分）
所需积分：0
下载次数：16
审核通过送C币
创建者：id_rin
创建者：qq_
创建者：qq_
课程推荐相关知识库
积分&67580
上传者其他资源上传者专辑
开发技术热门标签
VIP会员动态
您因违反CSDN下载频道规则而被锁定帐户，如有疑问，请联络:!
android服务器底层网络模块的设计方法
所需积分：0
剩余积分：720
您当前C币：0
可兑换下载积分：0
兑换下载分：
兑换失败，您当前C币不够，请先充值C币
消耗C币：0
你当前的下载分为234。
学习hadoop--java零基础学习hadoop手册
会员到期时间：
剩余下载次数：
你还不是VIP会员
开通VIP会员权限，免积分下载
你下载资源过于频繁，请输入验证码
您因违反CSDN下载频道规则而被锁定帐户，如有疑问，请联络:!
若举报审核通过，可奖励20下载分
被举报人：
machen_smiling
举报的资源分：
请选择类型
资源无法下载
资源无法使用
标题与实际内容不符
含有危害国家安全内容
含有反动色情等内容
含广告内容
版权问题，侵犯个人或公司的版权
*详细原因：查看: 1715|回复: 79
炼数成金大数据的Java基础 学习hadoop必备
主题帖子积分
作为一款成熟且用户众多的开发语言，Java在一开始就在Hadoop等NoSQL数据库中得到了优先的支持。大数据分析相比於传统数据分析的优势，在于大数据分析的数据对象更加全面，范围更广，因此分析结果更加准确，因此大数据分析也成为了大量企业的核心业务内容。
对于想用低成本实现云计算平台或海量数据分析平台的用户，Hadoop集群是首选的对象。而Hadoop的开发，主要是基于Java进行的（也能够支持C++），因此学习Hadoop的一个首要条件，就是掌握Java语言编程。本套课正是为了帮助希望学习和掌握Hadoop，同时又没有编程基础的同好掌握使用Hadoop必备的Java基础，以及基本的Java编程能力。
课程内容：
第1课 JDK的安装配置，Java基本知识
第2课 语法基础——数据类型以及基本语法
第3课 Java OO的基本介绍，类、接口、方法以及访问控制
第4课 Java的集合类——数组、Set、List、Map、Queue
第5课 异常处理——Checked Exception、Unchecked Exception，如何通过异常信息捕获错误
第6课 Java的OO特性——类、对象、接口、封装、继承、多态
第7课 Java泛型介绍
第8课 Java的集合类详解
第9课 Java的垃圾回收以及多线程
第10课 Java的文件操作
第11课 序列化和反射
第12课 网络编程
第13课 Ant和Maven
第14课 Eclipse以及Hadoop编程入门
授课对象：
不具备Java编程基础，对Hadoop及其子系统有兴趣的IT人或学习者，希望能够通过本课程的学习掌握Java的基本知识，能够开始Hadoop的基本编程
收获预期：
能够独立完成JDK运行环境以及Eclipse的安装配置，使用Eclipse进行简单Java程序的开发及调试运行，可阅读第三方Java代码并了解程序内容，能够进行简单的Hadoop程序开发。
下载地址：
本主题需向作者支付 200 学分 才能浏览
1：本站所有课程都收集于网络或会员分享，加入学习组可免学分下载所有课程，仅供学习参考，下载后请于24小时内删除，如有侵权，请用机构官方邮箱发邮件至。收到邮件一周内会核实处理。
2：新注册用户1分钟后可发言，回复时不想打字可以用帖子最下面的快捷回复，禁止发表无意义字符、灌水、多次发表者禁言。
3：通过分享课程、每日抽奖可免费获得学分。
4：积攒学分也可免费下载课程。
5：版主QQ: 加好友获取最新课程信息和优惠
主题帖子积分
楼主发贴辛苦了，谢谢楼主分享！我觉得自学之家是注册对了！
主题帖子积分
楼主发贴辛苦了，谢谢楼主分享！我觉得自学之家是注册对了！
主题帖子积分
楼主发帖辛苦，祝愿自学之家越办越好，祝愿各位同仁学有所获！
主题帖子积分
感谢分享，祝自学之家越办越好！
主题帖子积分
楼主发贴辛苦了，谢谢楼主分享！我觉得自学之家是注册对了
主题帖子积分
太谢谢了呀。
主题帖子积分
这东西我收了！谢谢楼主！自学之家真好！
主题帖子积分
学习学习学习
主题帖子积分
正是我想看的& &老板棒棒哒&&
Powered by