Windows下基于Cygwin和Eclipse的Hadoop开发环境完全配置（转载）_Hadoop_ThinkSAAS
Windows下基于Cygwin和Eclipse的Hadoop开发环境完全配置（转载）
Windows下基于Cygwin和Eclipse的Hadoop开发环境完全配置（转载）
我已经按照这个教程完全的完成了一遍，而且成功了。有些小的地方和这篇文章有点区别。后面我会提出来。
网上搜了一些中文的，总是只有一小部分，对于我们这些菜鸟来说，根本没发用，更可恶的是，搜到的内容都是一样的，哎，抄来抄去，估计都没试过到底能不能用就贴上去了。
后来找了一个英文的：非常的全面，一步一步的教，我这翻译一下大致的步骤。
一，准备（没有提供下载地址）
Eclipse Europa 3.3.2
hadoop-0.19.2
Java一定要1.6，Eclipse好像不能用3.4以上，hadoop用0.19.2，原文用0.19.1，现在没的下了。0.20.0不能用，我试过了，没法启动Job Tracker，不知道原因，可能是bug也不定。
二，安装Cygwin
先去下载一个安装文件，完后运行，这只是一个引导的程序，真正的程序要通过它下载才能安装，当要选择下载站点时，输入：。其实选择别的地址也是可以下载的。然后就可以选择要安装的程序，默认的时候没有安装OpenSSH，所以要手动选择，在Net类别下，选上OpenSSH和OpenSSL两项。（important，要耐心等着它下载完毕）
之后，设置环境变量，把
c:c:cygwinusrbin
加入到系统环境变量的Path中。
三，配置SSH
1.打开一个cygwin，输入
ssh-host-config
当询问if privilege separation should be used 时输入 no .
当询问if sshd should be installed as a service 时输入yes .
当询问about the value of CYGWIN environment variable enter 时输入 ntsec .
2.打开 控制面板-》管理-》服务 启动名为 CYGWIN sshd 的那项。
3.打开cygwin，输入
ssh-keygen
当询问要filenames 和 pass phrases 的时候都自己点回车，接受默认的值.命令结束后输入 cd ~/.ssh转到.ssh目录，输入 ls -l应该包含两个文件：id_rsa.pub 和 id_rsa
4.在第三步的窗口（当前目录在.ssh）中输入
cat id_rsa.pub && authorized_keys
完成后输入
ssh localhost （等到完成了这步且显示成功后，如果配置有问题就一定不是ssh的问题）
检查ssh是否配置成功，当提示whether you really want to connect时，输入yes。这样以后再输入ssh localhost的时候都不会再有提示了。
准备工作完了，下篇继续。
接下来开始配置Hadoop了，
一，解压文件
打开一个cygwin，输入以下命令
explorer .
会弹出一个新窗口，把原来下载的hadoop压缩文件放到里面，并解压。个人认为，其实不一定要放到cygwin的用户根目录下，没试过。（我尝试了一下，放的目录没有影响,比如我就直接解压在C的根目录下面的）
二，配置Hadoop
打开解压出来的文件夹，在 hadoop-0.19.2conf 目录下有一个 hadoop-site.xml 文件，打开，在原有的
&configuration&
&/configuration&间插入
&property&
&name&fs.default.name&/name&
&value&hdfs://localhost:9100&/value&
&/property&
&property&
&name&mapred.job.tracker&/name&
&value&localhost:9101&/value&
&/property&
&property&
&name&dfs.replication&/name&
&value&1&/value&
&/property&
（说明：上面3个红色的地方是设定的值，因为是单机运行，所以最后那个值是1。上面的数字可以不是，还有一种流行的设置方法是设置为）
三，格式化Name Node
打开一个cygwin，转到hadoop目录下，如果按照前面的解压，直接用cd hadoop-0.19.2就可以了，接着输入以下命令：
mkdir logs
bin/hadoop namenode -format
（说明：这步非常重要。在format之后会默认生成tmp文件夹。当然，这个tmp也是可以在设置中改的，不过没有必要改，用默认的就可以了。很多时候如果，后面出问题了，把这步redo就能解决问题）
四，安装Eclipse插件
打开解压后的文件夹，把hadoop-0.19.2contribeclipse-plugin下的hadoop-0.19.2-eclipse- plugin.jar文件拷到eclipse 的plugins目录下，重启eclipse，在Window-&Open Perspective-&other，弹出的窗口中应该有一项Map/Reduce项，代表安装成功了。如果没有的话，把eclipse下的 configurationorg.eclipse.update文件夹删了，再重启eclipse。
五，启动Hudoop集群
启动五个cygwin。
在第一中启动NameNode，执行：
cd hadoop-0.19.2
bin/hadoop namenode
在第二个中启动Secondary NameNode，执行：
cd hadoop-0.19.2
bin/hadoop secondarynamenode
第三个中启动job tracker 执行：
cd hadoop-0.19.2
bin/hadoop jobtracker
第四个中启动data node ，执行
cd hadoop-0.19.2
bin/hadoop datanode
最后一个启动 task tracker， 执行：
cd hadoop-0.19.2
bin/hadoop tasktracker
(说明：这个是原文的说法。其实在0.19.2的版本里面已经集成了。可以直接cd hadoop-0.19.2之后，就bin/start-all.sh这样就把上面的5项全部执行了。在linux里面也是这样的，只需要执行这一个文件)
六，在Eclipse中配置环境
启动eclipse，转到Map/Reduce Perspective,在上图的Map/Reduce Locations里，新建一个Location，填入以下值
* Location Name -- localhost
* Map/Reduce Master
o Host -- localhost
o Port -- 9101
* DFS Master
o Check"Use M/R Master Host"
o Port -- 9100
* User name -- 默认
（说明：这个地方的数字和你之前在hadoop-site.xml文件中改的数字一样就行了）
七，上传文件到HDFS
打开一个cygwin，执行
cd hadoop-0.19.1
bin/hadoop fs -mkdir In
bin/hadoop fs -put *.txt In
这时，在eclipse的Project explorer的DFS location中，应该能反应变化，没有的话，reconnect一下
最后，在Eclipse中新建工程。
启动Eclipse，
ProjectExplorer窗口，选择New -& Project..找到Map/Reduce Project，点Next，输入名字。
点击下面的Config Hadoop Install Directiory，输入Hadoop的目录，如：C:cygwinhomeUserhadoop-0.19.2
右键点击新创建的 Hadoop 工程，选择
New-& Other转到Map/Reduce 文件夹, 选择 MapReduceDriver然后点击Next，输入名字，点击Finish。
只要把这个连上了。建工程运行程序什么的，就很简单了。
本文来自CSDN博客，转载请标明出处：
PHP开发框架
开发工具/编程工具
服务器环境
ThinkSAAS商业授权：
ThinkSAAS为用户提供有偿个性定制开发服务
ThinkSAAS将为商业授权用户提供二次开发指导和技术支持
让ThinkSAAS更好，把建议拿来。
开发客服微信34,167浏览 (1 votes, average: 1.00 out of 5) Loading...
酷！左边勾选上复选框，评论里将显示你博客文章！
Upload Files 你可以上传一张或多张图片，这些图片将附在你评论里后使用快捷导航没有帐号？
查看: 2421|回复: 10
hadoop是java写的，为什么windows支持不好？
金牌会员, 积分 1801, 距离下一级还需 1199 积分
论坛徽章:13
学了这么长时间，突然想到一个问题。
应该在最开始就想到的。
就是java编写的hadoop，为什么不能支持windows呢？
其实这问题是不对的，hadoop支持windows，但是很多脚本都是linux下写的，要想windows下跑的好，把这些脚本全部改一遍就行了，或者直接使用cywin。但cywin对脚本支持肯定还是有缺陷的，所以hadoop支持有可能有问题。
奇怪的是怎么没有人来把脚本全部改成windows下的呢？
一来很烦，在windows下写脚本的不多，二来就是大家都不用windows做服务器。
请各位讨论。
论坛徽章:41
他依赖了SSH,所以WIN上不好用呗
金牌会员, 积分 1801, 距离下一级还需 1199 积分
论坛徽章:13
嗯，SSH在windows上需要安装软件支持
金牌会员, 积分 1377, 距离下一级还需 1623 积分
论坛徽章:3
个人认为主要原因是windows没有Linux稳定，若要做服务器，Linux/Unix系统当然是首选了。
金牌会员, 积分 1377, 距离下一级还需 1623 积分
论坛徽章:3
是cygwin吧？
金牌会员, 积分 1011, 距离下一级还需 1989 积分
论坛徽章:3
我想主要是服务器领域主流应该是Linux/Unix吧，所有对Linux支持好些。
Java只是提供了一个java虚拟机运行环境，某些应用方式还是离不开具体的操作系统的。
金牌会员, 积分 1531, 距离下一级还需 1469 积分
论坛徽章:6
不是java ，是linux
金牌会员, 积分 1801, 距离下一级还需 1199 积分
论坛徽章:13
深入学习了hadoop源码，貌似内部没用到jni的东西。
为什么hadoop绑定到linux，主要还是网络协议方法的东西，所以在windows上，完全可以跑出稳定的hadoop.
但windows不适合做服务端也限制了其在windows平台的推进
中级会员, 积分 332, 距离下一级还需 168 积分
论坛徽章:1
不支持windows不是java，而是底层的问题
金牌会员, 积分 2228, 距离下一级还需 772 积分
论坛徽章:12
恩，一开始就标配linux去的，windows也是用模拟类似linux环境来实现
扫一扫加入本版微信群详解如何在Windows上安装与配置Hadoop
　作者: 陆嘉恒　编辑:
　　【IT168 技术】在之前的文章中，我们介绍过，本文将以Windows为平台介绍Hadoop的安装与配置方法。　　相对于Linux，Windows版本的JDK安装过程更容易，你可以在/zh_CN/download/manual.jsp下载到最新版本的JDK。这里再次申明，Hadoop的编译及MapReduce程序的运行，很多地方都需要使用JDK的相关工具，因此只安装JRE是不够的。　　安装过程十分简单，运行即可，程序会自动配置环境变量(在之前的版中还没有这项功能，新版本的JDK中已经可以自动配置环境变量了)。　　一、安装Cygwin　　Cygwin是在Windows平台下模拟Unix环境的一个工具，只有通过它才可以在Windows环境下安装Hadoop。可以通过这个链接下载Cygwin：　　/setup.exe　　&双击运行安装程序，选择install from internet。　　&根据网络状况，选择合适的源下载程序。　　&进入 select packages界面，然后进入Net，勾选openssl及openssh(如下图所示)。▲勾选openssl及openssh　　如果打算在Eclipse上编译Hadoop，还必须安装&Base Category&下的&sed&(如下图所示)。▲勾选sed　　另外建议安装&Editors Category&下的&vim&，以便在Cygwin 上直接修改配置文件。　　二、配置环境变量　　依次点击我的电脑&属性&高级系统设置&环境变量，修改环境变量里的path设置，在其后添加Cygwin的bin目录和Cygwin的usr\bin目录。　　三、安装和启动sshd服务　　点击桌面上的Cygwin图标，启动Cygwin，执行ssh-host-config 命令，当要求输入Yes/No时，选择输入No。当看到&Have fun&时，表示sshd 服务安装成功。　　在桌面上的&我的电脑&图标上右击，点击&管理&菜单，启动CYGWIN sshd 服务。　　四、配置SSH免密码登录　　执行ssh-keygen 命令生成密钥文件。按如下命令生成authorized_keys文件：　　cd ~/..ssh/　　cp id_rsa.pub authorized_keys　　完成上述操作后，执行exit 命令先退出Cygwin 窗口，如果不执行这一步操作，下面的操作可能会遇到错误。　　接下来，重新运行Cygwin，执行ssh localhost 命令，在第一次执行时会有提示，然后输入yes，直接回车即可。　　另外，在Windows上安装Hadoop的过程与Linux一样，这里就不再赘述了。　　作者简介　　陆嘉恒，《Hadoop实战》作者，中国人民大学副教授，新加坡国立大学博士，美国加利福尼亚大学尔湾分校（University of California， Irvine） 博士后。&
大学生分期购物销量榜
IT168企业级