launcher-oozie 做sqoop导入报错
oozie 做sqoop导入报错
各位大神，在使用oozie 做sqoop导入时候报了一个错误，请问下有没有遇到的，有没有好的意见
Log Length: 5997
log4j:ERROR Could not find value for key log4j.appender.CLA
log4j:ERROR Could not instantiate appender named "CLA".
log4j:WARN No appenders could be found for logger (org.apache.hadoop.yarn.client.RMProxy).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See
for more info.
注: /tmp/sqoop-yarn/compile/9f3c81b0062cecf95c215f9/JC_AJXX.java使用或覆盖了已过时的 API。
注: 有关详细信息, 请使用 -Xlint:deprecation 重新编译。
org.kitesdk.data.DatasetNotFoundException: Unknown dataset URI pattern: dataset:hive:/test/JC_AJXX
all_scheme are [URIPattern{pattern=file:/*path/:namespace/:dataset?absolute=true}, URIPattern{pattern=file:*path/:namespace/:dataset}, URIPattern{pattern=hdfs:/*path/:namespace/:dataset?absolute=true}, URIPattern{pattern=hdfs:*path/:namespace/:dataset}, URIPattern{pattern=webhdfs:/*path/:namespace/:dataset?absolute=true}]
Check that JARs for hive datasets are on the classpath
at org.kitesdk.data.spi.Registration.lookupDatasetUri(Registration.java:108)
at org.kitesdk.data.Datasets.create(Datasets.java:228)
at org.kitesdk.data.Datasets.create(Datasets.java:307)
at org.apache.sqoop.mapreduce.ParquetJob.createDataset(ParquetJob.java:107)
at org.apache.sqoop.mapreduce.ParquetJob.configureImportJob(ParquetJob.java:89)
at org.apache.sqoop.mapreduce.DataDrivenImportJob.configureMapper(DataDrivenImportJob.java:106)
at org.apache.sqoop.mapreduce.ImportJobBase.runImport(ImportJobBase.java:260)
at org.apache.sqoop.manager.SqlManager.importTable(SqlManager.java:668)
at org.apache.sqoop.manager.OracleManager.importTable(OracleManager.java:444)
at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:497)
at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:605)
at org.apache.sqoop.Sqoop.run(Sqoop.java:143)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:179)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:218)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:227)
at org.apache.sqoop.Sqoop.main(Sqoop.java:236)
at org.apache.oozie.action.hadoop.SqoopMain.runSqoopJob(SqoopMain.java:196)
at org.apache.oozie.action.hadoop.SqoopMain.run(SqoopMain.java:176)
at org.apache.oozie.action.hadoop.LauncherMain.run(LauncherMain.java:46)
at org.apache.oozie.action.hadoop.SqoopMain.main(SqoopMain.java:46)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.oozie.action.hadoop.LauncherMapper.map(LauncherMapper.java:228)
at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:54)
at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:453)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:343)
at org.apache.hadoop.mapred.LocalContainerLauncher$EventHandler.runSubtask(LocalContainerLauncher.java:370)
at org.apache.hadoop.mapred.LocalContainerLauncher$EventHandler.runTask(LocalContainerLauncher.java:295)
at org.apache.hadoop.mapred.LocalContainerLauncher$EventHandler.access$200(LocalContainerLauncher.java:181)
at org.apache.hadoop.mapred.LocalContainerLauncher$EventHandler$1.run(LocalContainerLauncher.java:224)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471)
at java.util.concurrent.FutureTask.run(FutureTask.java:262)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:745)
Intercepting System.exit(1)
Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.SqoopMain], exit code [1]
十二月 04, :06 下午 com.google.inject.servlet.InternalServletModule$BackwardsCompatibleServletContextProvider get
警告: You are attempting to use a deprecated API (specifically, attempting to @Inject ServletContext inside an eagerly created singleton. While we allow this for backwards compatibility, be warned that this MAY have unexpected behavior if you have more than one injector (with ServletModule) running in the same JVM. Please consult the Guice documentation at
for more information.
十二月 04, :07 下午 com.sun.jersey.guice.spi.container.GuiceComponentProviderFactory register
信息: Registering org.apache.hadoop.mapreduce.v2.app.webapp.JAXBContextResolver as a provider class
十二月 04, :07 下午 com.sun.jersey.guice.spi.container.GuiceComponentProviderFactory register
信息: Registering org.apache.hadoop.yarn.webapp.GenericExceptionHandler as a provider class
十二月 04, :07 下午 com.sun.jersey.guice.spi.container.GuiceComponentProviderFactory register
信息: Registering org.apache.hadoop.mapreduce.v2.app.webapp.AMWebServices as a root resource class
十二月 04, :07 下午 com.sun.jersey.server.impl.application.WebApplicationImpl _initiate
信息: Initiating Jersey application, version 'Jersey: 1.9 09/02/ AM'
十二月 04, :07 下午 com.sun.jersey.guice.spi.container.GuiceComponentProviderFactory getComponentProvider
信息: Binding org.apache.hadoop.mapreduce.v2.app.webapp.JAXBContextResolver to GuiceManagedComponentProvider with the scope "Singleton"
十二月 04, :07 下午 com.sun.jersey.guice.spi.container.GuiceComponentProviderFactory getComponentProvider
信息: Binding org.apache.hadoop.yarn.webapp.GenericExceptionHandler to GuiceManagedComponentProvider with the scope "Singleton"
十二月 04, :07 下午 com.sun.jersey.guice.spi.container.GuiceComponentProviderFactory getComponentProvider
信息: Binding org.apache.hadoop.mapreduce.v2.app.webapp.AMWebServices to GuiceManagedComponentProvider with the scope "PerRequest"博客分类：
这个问题，搞了整整三天。
都想骂娘了。
由于是尼玛oozie调用mapreduce调用sqoop然后调用hive，关系比较复杂。
所以错误定位搞了好久。
症状描述：
用oozie调用sqoop，将数据表从mysql直接导入到hive的过程中。
全部过程都能执行完毕，数据也导进去了。
但是，那个oozie的job的结果显示是killed的。当然咯，那个action节点的结果也显示是failed的。
问题定位：
最后问题找到了，应该是sqoop的一个bug。
sqoop的org.apache.sqoop.hive.HiveImport类中，
引用了一个com.cloudera.sqoop.util.ExitSecurityException这个类。
而在HiveImport.java的305行：Throwable cause = ite.getCause();
cause返回的是org.apache.sqoop.util.ExitSecurityException这个类。
所以导致306行if判断返回false，实际上应该返回true。
Throwable cause = ite.getCause();
if (cause instanceof ExitSecurityException) {
ExitSecurityException ese = (ExitSecurityException)
int status = ese.getExitStatus();
if (status != 0) {
throw new IOException("Hive CliDriver exited with status=" + status);
throw new IOException("Exception thrown in Hive", ite);
解决方法：
找到HiveImport.java的import部分，
把原来的：com.cloudera.sqoop.util.ExitSecurityException
换成：import org.apache.sqoop.util.ExitSecurityException
即可。
另外，这个修改后的sqoop的jar包，是应该放在workflow执行时指定的hdfs中的lib里的。
使用的版本：
hadoop：1.0.3
oozie：3.1.3
sqoop：1.4.1
hive：0.8.1
我昨天遇到的问题就是这个。。昨天问你的
浏览: 188357 次
来自: 北京
$./configure --prefix=/usr/loca ...
$./configure --prefix=/usr/loca ...
bo_hai 写道楼主的办法解决我了的问题。给你32个兄弟有Q ...
silent1 写道编译ganglia的时候出现此问题，按楼主 ...
楼主的办法解决我了的问题。给你32个
(window.slotbydup=window.slotbydup || []).push({
id: '4773203',
container: s,
size: '200,200',
display: 'inlay-fix' 上传我的文档
 下载
 收藏
该文档贡献者很忙，什么也没留下。
 下载此文档
Module 17 Oozie架构原理
下载积分：260
内容提示：Module 17 Oozie架构原理
文档格式：PDF|
浏览次数：82|
上传日期： 13:30:38|
文档星级：
全文阅读已结束，如果下载本文需要使用
 260 积分
下载此文档
该用户还上传了这些文档
Module 17 Oozie架构原理
关注微信公众号oozie-4.1.0 安装
时间： 14:45:23
&&&& 阅读：1285
&&&& 评论：
&&&& 收藏：0
标签：Oozie安装
默认hadoop，maven，mysql已经安装，我的hadoop是2.5.0
下载oozie安装包：oozie-4.1.0.tar.gz&&& http://mirror./apache/oozie/&&
下载ext-2.2.zip& 该路径有extjs的链接
1.&&&&&&修改源码中的一个bug，在
oozie-4.1.0.tar.gz\oozie-4.1.0\core\src\main\java\org\apache\oozie\executor\jpa目录下的WorkflowJobsGetFromWorkflowParentIdJPAExecutor文件是以jav结尾需修改为java
2.&&&&&&解压
tar -zxvfoozie-4.1.0.tar.gz
3.&&&&&&编辑pom.xml，修改hadoop版本
cdoozie-4.1.0
vimpom.xml
&!—我的jdk版本 --&
&targetJavaVersion&1.7&/targetJavaVersion&
&!—我的jdk版本 --&
&hive.version&0.13.1&/hive.version&
&pig.version&0.12.0&/pig.version&
&pig.classifier&&/pig.classifier&
&sqoop.version&1.4.3&/sqoop.version&
&hbase.version&0.94.2&/hbase.version&
修改 1134行，hadoop版本为2.5.0：&&&&&&&
&&&&&&&&&&& &id&hadoop-2&/id&
&&&&&&&&&&& &activation&
&&&&&&&&&&&&&&&&activeByDefault&false&/activeByDefault&
&&&&&&&&&&& &/activation&
&&&&&&&&&&& &properties&
&&&&&&&&&&&&&&&hadoop.version&2.5.0&/hadoop.version&
&&&&&&&&&&&&&&&hadoop.auth.version&2.5.0&/hadoop.auth.version&
&&&&&&&&&&&&&&&pig.classifier&h2&/pig.classifier&
&&&&&&&&&&&&&&&sqoop.classifier&hadoop200&/sqoop.classifier&
&&&&&&&&&&& &/properties&
&& &/profile&
修改252行：
&&&&&&&&&&& &dependency&
&&&&&&&&&&&&&&&&groupId&org.apache.hadoop&/groupId&
&&&&&&&&&&&&&&&&artifactId&hadoop-minikdc&/artifactId&
&&&&&&&&&&&&&&&&version&2.5.0&/version&
&&&&&&&&&&& &/dependency&
4.&&&&&&执行mvn clean package assembly:single –DskipTests
编译后的包在./oozie-4.0.1/distro/target/oozie-4.1.0-distro.tar.gz
1.&&&&&&解压
Cp oozie-4.1.0-distro.tar.gz /home/hadoop
Cd /home/hadoop
tar xvzf oozie-4.1.0-distro.tar.gz
/home/hadoop/oozie-4.1.0即为oozie的根目录
2.&&&&&&设置环境变量
Vi& /etc/profile
export OOZIE_HOME=/home/hadoop/oozie-4.1.0
export PATH=$PATH:$ OOZIE _HOME/bin
3.&&&&&&引入jar包
在OOZIE_HOME下创建libext文件夹
mkdir libext
将hadoop的所有jar包复制到该目录下
cp &HADOOP_HOME/share/hadoop/*/hadoop-*.jar./libext/
cp &HADOOP_HOME /share/hadoop/*/lib/*.jar./libext/
cp& mysql-connector-java-5.1.29-bin.jarlibext/
删除jasper*.jar, servlet-api.jar, jsp-api.jar，与oozie-4.0.1/oozie-server/lib/下jar包冲突，war包会报：
org.eclipse.pilationResult.getProblems()[Lorg/eclipse/jdt/core/compiler/IProblem
4.&&&&&&&生成war包
bin/oozie-setup.sh prepare-war
会生成OOZIE_HOME/oozie-server/webapps/oozie.war
解压ext-2.2.zip后生成ext-2.2文件夹，将该文件夹打入oozie.war。我的做法是在后面启动服务之后oozie.war包会解压为oozie，让后将ext-2.2直接拖进去。
注：在网上看到用以下命令可以生成oozie.war，并已经将ext-2.2.zip打入了war包之中
./addtowar.sh -inputwar OOZIE_HOME/oozie.war -outputwar OOZIE_HOME/oozie-server/webapps/oozie.war -hadoop 2.3.0 &HADOOP_HOME -extjs /home/oozie/ext-2.2.zip
5.&&&&&&修改配置
vi OOZIE_HOME/ conf/oozie-site.xml
&property&
&&&&name&oozie.service.JPAService.jdbc.driver&/name&
&&&&value&com.mysql.jdbc.Driver&/value&
&&& &description&
&&&&&&& JDBC driver class.
&&& &/description&
&/property&
&property&
&&&&name&oozie.service.JPAService.jdbc.url&/name&
&&&&value&jdbc:mysql://mysql-server:3306/oozie&/value&
&&& &description&
&&&&&&& JDBC URL.
&&& &/description&
&/property&
&property&
&&&&name&oozie.service.JPAService.jdbc.username&/name&
&&& &value&root&/value&
&&& &description&
&&&&&&& DB user name.
&&& &/description&
&/property&
&property&
&&&&name&oozie.service.JPAService.jdbc.password&/name&
&&& &value&mapengbo&/value&
&&& &description&
&&&&&&& DB user password.
&&& &/description&
&/property&
6.&&&&&&创建数据库
创建名为oozie的数据库并赋权
CREATE DATABASE
G R A N T ALL ON oozie.* TO ‘shirdrn‘@‘oozie-server‘IDENTIFIED BY ‘0o21e‘;
FLUSH PRIVILEGES;
生成所需的数据库表，并执行
bin/ooziedb.sh create -sqlfile oozie.sql –run
查看数据库oozie生成了oozie的相关表。
7.&&&&&&启动服务
bin/oozied.sh start
访问控制台& hadoop1为我的主机名
四．配置hadoop的jobhistory和用户
修改HADOOP_HOME/etc/hadoop/mapred-site.xml
和OOZIE_HOME/conf/hadoop-conf/core-site.xml添加如下配置。
&&&&&&&& &property&
&&&&&&&&name&mapreduce.jobhistory.address&/name&
&&&&&&& &value& hadoop1:10020&/value&
&&&& &/property&
&&& &property&
&&&&&&&&name&mapreduce.jobhistory.webapp.address&/name&
&&&&&&& &value& hadoop1:19888&/value&
&&&& &/property&
&&&& &property&
&&&&&&&&name&mapreduce.jobhistory.intermediate-done-dir&/name&
&&&&&&&&value&${hadoop.tmp.dir}/mr/history-tmp&/value&
&&&& &/property&
&&& &property&
&&&&&&& &name&mapreduce.jobhistory.done-dir&/name&
&&&&&&&&value&${hadoop.tmp.dir}/mr/history-done&/value&
&&&& &&&&&& &/property&
需要在hadoop的core-site.xml里面添加如下内容：
&&&&&&&& &property&
& &&&& &&&&&&&& &name&hadoop.proxyuser.root.hosts&/name&
& &&&& &&&&&&&& &value&192.168.0.2&/value&
&&&&&&&& &/property&
&&&&&&&& &property&
& &&&&&&&&&&&&& &name&hadoop.proxyuser.root.groups&/name&
& &&&&&&&&&&&&& &value&*&/value&
&&&&&&&& &/property&
&&&&&&&& root为hadoop的用户，hadoop.proxyuser.root.groups属性配置用户所属组名称,配置完成重启hadoop
启动hadoop历史jobHistory服务
&&&&&&&& HADOOP_HOME/sbin/mr-jobhistory-daemon.shstart historyserver
&&&&&&&& 重启oozie
&&&&&&&& bin/oozied.sh start
五．Client测试
tar –zxvf oozie-client-4.1.0.tar.gz
tar –zxvf oozie-examples.tar.gz
tar –zxvf oozie-sharelib-4.1.0.tar.gz
hdsf dfs -put examples&/user/root/
hdsf dfs -put share&/user/root/
修改OOZIE_HOME/conf/hadoop-conf/core-site.xml文件，添加如下：
&property&
&&&&name&yarn.resourcemanager.address&/name&
&&&&& &value&192.168.0.2:18040&/value&（应与hadoop的配置相同，同下）
&/property&
&property&
&&&&&&name&yarn.resourcemanager.scheduler.address&/name&
&&&&& &value&192.168.0.2:18030&/value&
&/property&
修改oozie.service.HadoopAccessorService.hadoop.configurations 属性，将其值调整为　*=HADOOP_HOME/etc/hadoop
修改OOZIE_HOME/examples/apps/map-reduce/job.properties（yarn中已经没有jobTracker，以下jobTracker填入yarn.resourcemanager.address的值，oozie.wf.application.path即HDFS中oozie示例程序的路径）
&&& nameNode=hdfs://hadoop1:9000
&&& jobTracker=hadoop1:18040
&&& queueName=default
&&& examplesRoot=examples
&&&&&&&& oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/apps/map-reduce
&&& &&&&&&&& outputDir=map-reduce
在OOZIE_HOME/oozie-client-4.0.1/bin中调用oozie脚本，执行工作流
&&&./oozie job -oozie http://localhost:11000/oozie -config OOZIE_HOME/examples/apps/map-reduce/job.properties-run
访问控制台
&&国之画&&&& &&&&chrome插件&&
版权所有 京ICP备号-2
迷上了代码！大数据（4）
oozie环境要求
官网要求的编译环境如下，实际上不需要pig也可以编译成功。jdk和maven必须配置环境变量
- Unix box (tested on Mac OS X and Linux)
- Java JDK 1.7+
- Maven 3.0.1+
- Hadoop 0.20.2+
- Pig 0.7+
编译时默认hadoop版本为1.2.1，使用2.0.0+版本时可以指定编译版本号，我使用的2.6.4，编译命令如下：
nohup bin/mkdistro.sh -DskipTests -Dhadoop.version=2.4.0 &
遇到的问题
测试类编译失败
使用如下命令，跳过测试类的编译
nohup bin/mkdistro.sh -DskipTests -Dhadoop.version=2.4.0 &
但是在Apache Oozie Distro编译时需要Apache Oozie Core的test-jar文件存在，需要修改mkdistro.sh第71行，去掉mvn的clean命令。然后在core目录下执行mvn package -DskipTests来生成test-jar文件。
Apache Oozie Distro编译时tomcat下载失败
修改根目录下pom.xml文件，将109行修改为
src="http://mirrors./apache/tomcat/tomcat-6/v${tomcat.version}/bin/apache-tomcat-${tomcat.version}.tar.gz" dest="downloads/tomcat-${tomcat.version}.tar.gz" verbose="true" skipexisting="true"/&
&&相关文章推荐
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：35784次
排名：千里之外
原创：15篇
评论：10条
(3)(1)(1)(2)(1)(3)(4)
(window.slotbydup = window.slotbydup || []).push({
id: '4740881',
container: s,
size: '200,200',
display: 'inlay-fix'