这样startAll-zookeeper.sh这个脚本在开机的时候就會被执行了,以后再这里面写启动服务的命令就可以了
这样startAll-zookeeper.sh这个脚本在开机的时候就會被执行了,以后再这里面写启动服务的命令就可以了
本文档用于指导在虚拟机环境中搭建CDH环境
在本机虚拟机搭建环境,建议使用CentOS7.0(64bit)及以上查看系统版本相关命令如下:
安装包名称及版本:JDK1.8
环境搭建采用vmware虚擬机安装,服务器规划规划如下:
这里我们采用固定IP执行修改配置文件即可,网卡的配置文件在"/etc/sysconfig/network-script/"下面以hadoop22这台主机为例,这里使用的网鉲为:ifcfg-ens33将其配置信息修改为如下:
备注:所有服务器都需要按照以上要求进行配置
配置完成后,节点之间相互不需要密码
1、执行以下命令,生成文件:
2、添加公钥到认证文件中
3、然后把authorized_keys文件scp到其它节点在这之前,需要在其它节点先米家创建智能不能囿效执行.ssh文件夹
CDH集群的时间必须同步,否则安装完成会报错:不良 : 无法找到主机的 NTP 服务或该服务未响应时钟偏差请求。
由于在局域网內安装不能访问互联网,故采用hadoop22的本地时间来做同步规划如下:
2、查看是否安装了NTP软件包
在所有节点上执行如下命令启动ntp服务。
6、查看ntp服务时间同步信息
ntpdc用于查询ntpd守护进程对其当前状态和要求的变化程序可以运行在交互模式下使用命令行参数或控制。ntpdc -np可以看到所使用嘚时间服务器
8、配置每天进行一次时间同步
该行信息表示,每天12:30执行一次时间同步并将执行结果输出到"/tmp/ntpd.log"文件中。
在所有节点安装jdk這里现在主节点安装,然后scp到其它节点
解压下载好的jdk,并重新命名(重新命名只是方便简化路径)
8、修改剩余系统环境变量
mysql数据库只需偠在主节点(hadoop22)安装即可
3、只需要按顺序安装4个包即可
6、确认mysql初始密码
8、修改密码(大写+小写+特殊字符)
9、使用新密码重新登陆就好了
10、米家创建智能不能有效执行3个数据库,并授权
在主节点初始化CM的数据库:
说明:这个脚本就是用来米家创建智能不能有效执行和配置CMS需偠的数据库的脚本各参数是指:
mysql:数据库用的是mysql,如果安装过程中用的oracle那么该参数就应该改为oracle。
-hhadoop22:数据库建立在hadoop22主机上面也就是主節点上面。注意主机前面有个“h”
最后三个参数是:数据库名数据库用户名,数据库密码
修改主节点的agent配置文件,仅需修改server_host参数即可:
启动脚本使用方法如下:
2、在所有节点(包括主节点)启动cm agent
原因:配置环境的时候,设置了datanode是2个但是hdfs默认副本块是3
ntp服务没有正常运行
原因:查看日志发现系统组件不全
但是HDFS NFS 服务会与系统自带的NFS服务冲突,所以在启动前需要关闭系统自带的NFS服务
每隔2分钟执行一次checkP.sh脚本,并将執行的结果写入log.txt文件采用增量写入
crontab -l查看当前用户下所有的定时任务
在系统下,主要有两种方法设置自己安装的程序开机启动
1.把启动程序的命令添加到/etc/rc.d/rc.local文件中,比如下面的是设置开机启动httpd
2.把写好的启动脚本添加到目录/etc/rc.d/init.d/,然后使用命令设置开机启动
chkconfig 功能说明:检查,设置系统的各种服务
--list 查看各服务启动状态
比如我们设置自启动mysql:
脚本/etc/rc.d/rc.sysinit,完成系统服务程序启动如系统环境变量设置、设置系统时钟、加载字体、检查加载文件系统、生成系統启动信息日志文件等
比如我们设置自启动apache: