您的访问出错了(404错误)
很抱歉，您要访问的页面不存在。
1、请检查您输入的地址是否正确。
进行查找。
3、感谢您使用本站，1秒后自动跳转学习Hadoop必须要懂Linux和Java吗？Hadoop的学习路径是怎样的？ - 知乎111被浏览14737分享邀请回答2添加评论分享收藏感谢收起与世界分享知识、经验和见解-------------
新增文件夹...
新增文件夹
(多个标签用逗号分隔)
最短路径系列之一从零开始学习Hadoop.pdf
Hadoop是最著名使用最广泛的分布式大数据处理框架，它是用Java开发的。&br&
这本书有一个明确的目标：只要有一台能上网的计算机，就可以让读者在最短的时间内，学会 Hadoop的初级开
发。所以，这本书只讲干货，也就是必须要知道的 Hadoop的最核心知识点，包括如何搭建 Hadoop，如何写代码，
如何查API。对于更多细节问题，书后会列一个书目给大家参考，这些书已经
Hadoop是最著名使用最广泛的分布式大数据处理框架，它是用Java开发的。&br&
这本书有一个明确的目标：只要有一台能上网的计算机，就可以让读者在最短的时间内，学会 Hadoop的初级开
发。所以，这本书只讲干货，也就是必须要知道的 Hadoop的最核心知识点，包括如何搭建 Hadoop，如何写代码，
如何查API。对于更多细节问题，书后会列一个书目给大家参考，这些书已经讲得很好了，不需要在这里饶舌浪费时
这本书对读者的预要求很少：懂一点点 Linux，懂一点点 Java “ 编程。 懂一点点 Linux”是指，假如有一台装了
Linux “ 操作系统的计算机，能做到开机，输入密码，进入图形界面，打开命令终端，就可以了。懂一点点Java ” 编程
是指，在Linux上，用记事本写一个Java的HelloWorld程序，然后把它编译出来，执行一下，就可以了。这个预要
“ 求非常低，接近于零，所以这本书叫 从零开始学习Hadoop”。Hadoop是用Java开发的，它通过Streaming方式支持
其他语言，诸如Python，C++，Ruby，但如果想真正理解Hadoop，必须从Java开始，用其他语言以Streaming方式
学Hadoop是一条不归路，这是笔者用一个月时间得来的教训。&&
加载中...!如果长时间没有加载，请刷新页面
下载本文档需要登录，并付出相应积分（）。
文件大小:435.48 KB
所需积分:& 10
相关资讯 　—　
相关讨论话题 　—　
浏览：2492次&& 下载：0次
上传时间： 22:06:03
同类热门文档
65403次浏览 &110次下载
23060次浏览 &58次下载
26155次浏览 &39次下载
11996次浏览 &30次下载
0次浏览 &24次下载
13242次浏览 &19次下载
相关经验 -
& 0人评&4页
& 0人评&10页
& 0人评&0页
& 0人评&4页
& 3人评&6页
OPEN-OPEN, all rights reserved.2544人阅读
大数据之Hadoop（13）
前言& 笔者目前是在做Android开发，又是在一个信息安全的公司。公司的主要是做在虚拟机上运行的产品，又涉猎云计算，心想是要去搞一下云计算。自我感觉移动互联网 + 云计算 + 信息安全会是一个很好的方向，于是投身其中。因为是Java出身，所以自然而然选择了Hadoop。笔者系统环境Linux: &CentOS release 6.5 (Final)JDK: & &java version &1.7.0_75&& & & & OpenJDK Runtime Environment (rhel-2.5.4.0.el6_6-x86_64 u75-b13)& & & & OpenJDK 64-Bit Server VM (build 24.75-b04, mixed mode)SSH: & &OpenSSH_5.3p1, OpenSSL 1.0.1e-fips 11 Feb 2013Hadoop: hadoop-1.2.1环境搭建1.安装JDK& 关于JDK的安装，不是本博客的讨论范围，大家可以自行百度或是Google进行安装。2.配置SSH免密码登录& 在你的机器可以联网的前提下进行如下操作& (1) # yum install openssh-server # 安装SSH& (2) #&yum -y install openssh-clients& & & # 如果你安装SSh完成之后，运行ssh出现系统无法识别ssh的话，需要另外安装openssh-clients& (3) # mkdir -p ~/.ssh # 如果你在安装完SSH后，这些目录都未自动生成，请自行创建& (4) # ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa& & & ssh-keygen 表示生成密钥& & & -t 表示指定生成的密钥类型& & & dsa 是dsa密钥认证的意思，即密钥类型& & & -P 提供密语& & & -f 指定生成的密钥文件& (5) # cat ~/.ssh/id_dsa.pub && ~/.ssh/authorized_keys& & & # 将公钥加到用于认证的公钥文件中，authorized_keys是用于认证的公钥文件& (6) # ssh -version& & & # 验证SSH是否安装完成，正确安装会有类似如下的结果：& & &&& (7)至此基本的配置已经差不多了，不过还是不能够进行免密码登录。最后一步就是要配置两个东西的权限属性：& & &$&chmod 700 ~/.ssh& & &$ chmod 600 ~/.ssh/authorized_keys& & &这两步是必要的，不然你可能就不能免密码登录了。& (8)$ ssh localhost # 验证3.安装并运行Hadoop& (1)下载hadoop-x.x.x& & &解压到指定目录，例如/home/u& (2)修改配置文件的配置信息& & & # vim ~/hadoop-1.2.1/conf/core-site.xml& & &&& & &&# vim ~/hadoop-1.2.1/conf/hdfs-site.xml& & &&& & &&# vim ~/hadoop-1.2.1/conf/mapred-site.xml& & &&& (3) #&~/hadoop-1.2.1/bin/hadoop namenode -format # 格式化文件系统& (4) #&~/hadoop-1.2.1/bin/start-all.sh # 启动所有进程& (5)验证Hadoop是否安装成功& & &进入浏览器，分别输入以下网址进行验证：& & &http://localhost:50030 (MapReduce的Web页面)& & &http://localhost:50070 (HDFS的Web页面)& & &验证示例：& & &MapReduce的Web页面& & && & &HDFS的Web页面& & &遇到的问题1.启动Hadoop时，总是说JAVA_HOME未配置&&& 当我使用教程中的shell命令在hadoop文件夹中执行bin/start-all.sh时，老是报JAVA_HOME is not set.& 可是我在shell里也设置了JAVA_HOME了啊，而且我去查看系统中的JAVA_HOME也是OK的，如下：&&& 这一点让我很是奇怪，如是我找到一篇论坛，里面的情况和我的有一些类似，不过他的一句话让我察觉到自己的搞错了一个地方，那就是上面提示的JAVA_HOME其实是要在配置文件中去设置的。& 运行vim ~/hadoop-1.2.1/conf/hadoop-env.sh，这个目录请根据自己你的路径来写，修改如下：&&2.-bash: bin/hadoop: Permission denied这里如果你是在Linux下直接从网络上下载的话，应该会没什么事情。不过，如果你跟笔者一样，是使用WinSCP上传到Linux上的话，这里可以会有一个小地方需要修改。不然会报这样一个错误：&&& 可以看到这个错误是在我们执行hadoop这个可执行文件时报的错误，那我们就只要对这个文件进行权限的修改就可以了。因为后面的还会用到一些其他的可执行文件，那么这里我就对所有的文件都做了一个可执行权限的修改（当然，这里是因为我们是在学习和测试阶段，为了避免麻烦，偷了个懒。如果要从安全的角度来考虑，这里我们是不能这样做的）。3.Hadoop SafeMode: ON - HDFS unavailable& 当然我们把之前的一些配置信息都搞了的时候，这时可能还会有一个问题，就是我们HDFS的Web页面无法访问。&&& 这个问题其实是我们之前的一些错误配置遗留下来的问题。我们之前说过一个执行文件的权限问题，我们在操作格式化HDFS时，这个正是这个权限的问题在干扰。如是我把之前启动的进程都stop掉。然后重新format就OK了。& 格式化HDFS正确时的提示信息如下：&&
&&相关文章推荐
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：537571次
积分：7570
积分：7570
排名：第2700名
原创：202篇
评论：123条
阅读：20722
文章：14篇
阅读：68877
阅读：10579
文章：12篇
阅读：25950
文章：16篇
阅读：57164现在的位置:
Hadoop学习常用的Linux命令
我们以RHEL6.3为例说明。
Linux的命令后面会有命令选项，有的选项还有选项值。选项的前面有短横线“-”，命令、选项、选项值之间使用空格隔开。有的命令没有选项，会有参数。选项是命令内置的功能，参数是用户提供的符合命令格式的内容。
命令提示符
在桌面上点击鼠标右键，在弹出菜单中选择“Open in Terminal”，
系统会打开终端，类似于Windows下的命令行。Windows的命令行是dos环境，Linux下的命令行是shell环境。我们的所有命令都是在shell下运行的，后面所有章节的命令也是在shell下执行的。
用户刚打开终端时，显示如下的提示符，我们要注意的是中括号里面的内容。
提示符通过符号“@”分为两部分，前面的“root”是当前登录用户。如果你使用itcast登录，那么这里会显示“[itcast@localhost Desktop]”。后面的“localhost Desktop”，被空格分为两部分，前面的“localhost”表示主机名称，是本机的唯一标识；如果我们修改了主机名称，那么该值就会变化；后面的“Desktop”表示shell显示的当前路径。中括号后面的“#”是提示shell类型，我们只关注黑色的光标在哪里就行了。
路径描述符
在Linux中，路径是通过斜线“/”划分的。在一个使用“/”划分的长路径中，开头的如果是“/”，这个斜线是特殊的，称作根路径。根路径使用“/”表示，在路径的开始位置，类似于Windows的“我的电脑”；点号“.”表示当前路径，无论你在哪个位置，点号都表示当前所在的路径；两个点“..”表示上级路径；波浪形“~”表示用户主目录，如果使用root用户登录，那么“~”表示/root；如果使用用户itcast登录，那么“~”表示/home/itcast。
路径跳转命令cd
..”是从当前路径跳到上级路径。
/usr/local”是跳转到根路径下的usr路径下的local路径。
目录和文件操作
目录就是我们看到的文件夹，常见操作包括创建、删除、移动、复制、重命名、查找、查看、修改权限等。
查看命令ls
~”表示跳转到root用户主目录。
通过“pwd”查看路径位置。
执行命令“ls”显示当前用户主目录下有哪些文件和文件夹。在RHEL中，蓝色字体显示的是文件夹，黑色字体显示的是文件，一共有11个文件(夹)。
执行命令“ls
-a”显示的内容比前面的命令显示了更多，包括“.”开头的各种文件夹。在Linux中，“.”开头的文件(夹)表示隐藏文件，仅使用命令“ls”是看不到的，选项“-a”的作用是显示所有文件(夹)，包含隐藏的。
选项“-l”表示以列表形式显示。
执行命令“ls
-al”，显示的文件(夹)数量与前面的命令相同，只是排列方式不一样，每一个文件(夹)显示的内容更加全面。这里“-al”是参数“-a”和“-l”的简写。
注意：命令与选项之间使用空格区分，几个空格无所谓，只要有使用空格区分即可。
创建目录命令mkdir
格式：mkdir
使用命令“mkdir
–p”可以递归创建父目录，也就是说父目录不存在，会先创建父目录，再创建自身目录。在当前环境下，请读者分别执行“mkdir d1/d2/d3/d4”和“mkdir
d1/d2/d3/d4”。
删除目录命令rmdir
格式：rmdir
待删除的目录
紧接着上面的步骤，执行以下命令
可以看到test目录被删除了。
注意：命令rmdir只能删除目录，并且是空目录。如果目录中含有文件(夹)，该命令执行会失败，应该使用rm命令了。
最强大的删除命令rm
待删除的目录或文件
rm不仅可以删除文件，也可以删除目录，即使目录不空。
使用命令“rm
-r”删除test，会出现各种提示，只要不断的输入“y”，按回车。最后成功删除了。可见命令rm可以递归删除目录。如果要避免繁琐的提示信息，使用命令“rm
-rf”，请读者自己测试。
注意：命令“rm
-rf”在递归删除的时候没有任何提示，所以一定要小心误删文件。
创建空白文件命令touch
格式：touch
该命令请读者自行测试，不再演示。
编辑文件vi
vi命令非常复杂，会占用太多篇幅，此处略过，请读者自行查询相关资料。
移动文件(夹)命令mv
源文件(夹)
移动文件(夹)时，命令后面需要跟两个参数，第一个是源文件(夹)路径，第二个是目标路径。文件（夹）会从原路径移动到新的路径，原路径下不再存在了。
该命令与移动命令相同，如果第二个参数是目录，就是移动操作；如果第二个参数是文件，就是重命名操作。
复制文件(夹)命令cp
源文件(夹)
复制文件(夹)时也跟两个参数，第一个是源，第二个表示目的地。
-r”可以递归复制，也就是把源文件夹里面的所有内容一起复制到目的地。如果目的地存在相同名称的文件(夹)，会提示覆盖。
注意：当复制文件并且目的地文件不存在的时候，复制操作有创建文件的作用了。
查看文件内容命令cat
该命令请读者自行测试，不再演示。
查看文件内容命令more
格式：more
请读者自行测试该命令，不再演示。与cat的区别是，当文件内容很多，一屏幕显示不下时，cat会滚屏到文件最后，more显示一屏后停止，用户按空格键，继续滚到下一屏。简单点说，more是分屏显示内容。
命令的百科全书man
命令man是Linux的帮助系统，对于任何命令都可以在man中查到。用法是“man
某个命令”。如果显示帮助内容太多了，会分屏，如果你想退出，请按“q”键。
修改权限命令chmod
当我们执行命令“ls
-l”时，会看到以下输出
现在讲述每一行输出的前10位字符含义。
第一位字符表示文件类型，如果是“d”，表明是文件夹，如果是“-”，表示是普通文件。可以看到“file1”是文件，“test1”是文件夹。
后面的九位字符，表示文件(夹)的权限。把九位字符按照三个一组，划分为三个组。其中，第一组表示文件的用户，用u表示(可以理解为文件的所有人，英文是user)的权限，第二组表示文件的所有者所在组，用g表示(英文是group)的权限，第三组表示除此之外的其他人，用o表示(英文是other)的权限。
每一组都包括三位字符。其中，第一位字符表示读权限，用r表示(英文是read)，第二位字符表示写权限，用w表示(英文是write)，第三位字符表示执行权限，用x表示(英文是execute)。如果拥有该权限，对应位置的字符就使用该字符，如果没有改权限，就使用“-”表示。
命令格式是“chmod
[权限模式]
文件”，表示对某文件执行权限模式。
以下举例说明
解释一下：
命令“chmod
file1”表示对用户增加执行权限；
命令“chmod
file1”表示：对其他人增加写、执行权限；
命令“chmod
file1”表示：对所有人去掉读权限。
另外，每组的三位权限符号也可以使用数字表示，“r、w、x”对应的数字分别是“4、2、1”。如果一个用户对应的权限位是“rw-”，用数字表示就是6(即6=4+2)，看以下示例：
使用数字表达权限更加简洁，以后我们经常会说某个文件有755、644权限，读者应该明白用户、组、其他人分别是什么权限。
主机名命令hostname
格式：hostname
该命令可以查看主机名。
如果使用命令“hostname
新主机名”，意味着修改主机名，但只对本次会话有效，重启机器后失效。
查看ip命令ifconfig
格式：ifconfig
可以查看所有网卡的配置信息。命令“ifconfig
eth0”只查看指定网卡的配置信息；
服务管理命令service
命令“service”用户管理Linux的各种服务，操作包括四种类型start、stop、restart、status。前三种含义非常清晰，第四种表示查看服务当前运行状态。
如命令“service
restart”表示重启网卡设置。
修改密码passwd
格式：passwd
该命令的作用是修改密码。
别名命令alias
格式：alias
别名=“新的命令定义”
该命令的作用是给一个长命令起一个短名字，方便记忆和使用。例如:
解压缩命令tar
命令tar可以压缩也可以解压缩。我们关注解压缩。
我们常见的压缩格式是“*.tar”，指的是使用tar工具打包。更常见的是“*.tar.gz”，指的是使用tar工具打包并且压缩成“gz”格式。
常见的操作命令是“tar
[文件.tar.gz]”。现在解释一下这几个参数：
参数x表示解压操作；
参数z表示使用gzip解压文件；
参数v表示解压过程中显示文件详情；
参数f表示指定文件名，空格之后是一个文件名；
查看文件大小命令du
该命令是查看文件大小。常用方式“du
[文件(夹)]”
查看磁盘容量命令df
查看磁盘容量，常用命令“df
查看进程命令ps
查看进程使用命令“ps”，加上参数“-ef”，查看当前活动的进程。
在显示内容中，我们关系PID和CMD两项，前者表示进程号，后者表示进程名称。
结束进程命令kill
格式：kill
kill命令用来结束进程，我们一般都是强制结束某个进程，命令格式“kill
进程号”。这里的进程号，就是命令ps看到的PID。
读者可以结束CMD是“bash”的进程，试试结果如何。
管道用符号“|”，左右两边都是命令。表示左边命令的输出作为右边命令的输入。如下命令：
解释一下：
/etc/sysconfig/network”表示查看文件内容；
-l”表示统计文件行数；
这两个命令使用管道连接到一起，表示命令“cat”的输出作为命令“wc”的输入，显示2行。
shell的命令默认输入信息是来自于命令行的，默认输出信息也是到命令行的。如果输入不是来自命令行、输出不是到命令行，那就需要重定向。
重定向使用“&&”或者“&”表示。前者表示追加，后者表示覆盖。
使用命令“cat
file1 && file2”可以把file1的文件内容追加到file2的内容后面。注意命令中“&&”的使用，如果改为“&”，则是覆盖操作，并且没有任何提示。
注意：Linux的命令，还有很多，上面的命令只是最常用命令中的一部分。即使上面讲到的命令的用法，也是很少一部分，这些命令和功能是学习本书必备的，更多命令和功能请问百度或者使用强大命令“man”。
EasyQuery的目标是不需要写一行java代码就可以实现非常非常复杂的查询，省时省力，提高效率。
【上篇】【下篇】
您可能还会对这些文章感兴趣！
查看来自外部的引用: 2
您必须才能发表留言！
籍贯山东，落户北京，IT行业。
工作经历：
2014年至今&，自主创业
，传智播客
，超人学院
，亚信科技
教育经历：
，中科院研究生院
，河北大学