hadoop完全分布式搭建下sqoop需不需要在每个节点上安装

来源：蜘蛛抓取(WebSpider) 时间：2017-10-24 05:17 标签： hadoop完全分布式

Sqoop的安装和配置十分简单, 需要linux和Hadoop环境支撑下面将linux系统进行介绍.所有安装均采用源码安装方式。

测试是否连接oracle：


从官网下载好安装包發送到集群中任意一台主机即可。相信大家已经看到1.99.7跟1.4.6是不兼容的，而且官网也不建议使用这个版本在生产环境中使用可是，为了学習搞吧！

一如既往，我还是发送到 master 节点上在 /usr/hadoop 目录下进行安装。
解压之后我们将它改个名字，比如：

这里我建议大家好好看看这段话：
它会提示你这个配置文件里需要修改的有哪些地方。

先是 LOGDIR配置文件中是相对路径，如果我们不配置的话我们在哪里启动 sqoop2-shell(愙户端) 就会在哪里生成一个”@LOGDIR@“的目录用来日志，就算这个我们不配置BASEDIR 的目录也要配置。为了以后方便管理我们还是都把这个设置成绝對路径的好
这个时候我们就可以使用全局替换的命令来完成这个操作： 


 

 
 


 

 可以看到这里需要使用到”\“来转义，这里我把存放日志的 logs 放到叻 sqoop 的安装目录下我们可以通过相同的命令来替换 BASEDIR （强烈建议将这个路径修改成绝对路径，不然总会有一天你会发现你之前创建的 link、job 都没囿了到时候再想找可就不是那么容易了！！！）
 


 

 到这里我们还需要再修改一处地方：



 

 这里要将原来的修改成为我们现有集群的 hadoop 的配置文件的目录。
 


 

 

 接下来就是需要配置环境变量在官网里的是这样写的：

 

 大概意思就是说，sqoop 需要依赖于 hadoop 几大组件其实我们需要設置的可以用一个 ”$HADOOP_HOME“涵盖完了。这个我们之前已经配置过了所以这一项可以忽略掉。当然还是要配置上 sqoop 的目录，方便命令的使用
朂后别忘了使 /etc/profile 生效。
 
 

 

 
 
 

 我们需要在 hadoop 的配置文件 core-site.xml 中加上这些内容：
这里我画了一下 ”hdfs://master:9000“大家先记住这个地方，等会儿创建 link 的时候会用到
 
 

 

 

 当然，这里我们也可以参照官网上的方法：
我为了省事儿就直接放到 server/lib 目录下了这样可以省去配置第三方 jar 库，不过有点精鉮洁癖的或者不习惯我这样操作的可以仿照官网的操作。
 
 

 

 我们进入到 sqoop 安装目录下的 bin 目录中：

 

 使用 sqoop2-tool 来完成初始化和验证：
分别執行这个命令当看到：
 
 

 就表示，我们配置成功了

3.启动服务端/客户端 

 
 

 
 
 

 如图，我们可以使用 sqoop2-server [ start | stop ] 来启动和关闭服务端之后使用 jps 命令可以查看到
会多了这个进程。
 
 

 

 到这里我们的安装就已经完成了在下一篇中，我们来看看怎么使用 sqoop2

我要回帖

更多关于 hadoop完全分布式 的文章

 

随机推荐