datastage hadoop中的哪些控件需要设置hash

来源：蜘蛛抓取(WebSpider) 时间：2016-02-18 08:44 标签： datastage hadoop

在重新编译一个异常停止的JOB时报錯编译前JOB因为Hung住无任何的操作，也无法通过正常方式或通过Dire工作停止最后在后台中kill了该进程，并删除了$PH$下的ds运行时文件之后查看JOB的狀态为:"Crashed"；

EVERY查询当前锁信息。注意:如果你的JOB中包含多个Stage并且Stage的操作很复杂，这种情况下可能造成ds产生很多个额外的lock这些lock的Item-ID内容有可能不昰JOB名称，可能像上面的(dstage1&!DS.ADMIN!&)一样这时如果你只释放了带JOB名的那个索依据解决不了该问题，要解决问题你必须还得释放其它的额外锁so 然后尝試重新编译job，如果还是不行

CRASHED在ds中代表很多含义有可能是JOB异常终止，有可能是编译失败有可能是内部错误；这时可以通过重置job来让job回到初始化状态；

完成RESET后，你可以尝试编译或VALIDATE操作如果还是不能解决问题，请重启Engine

发现有很多状态为CLOSE_WAIT的进程，用rmsock检查会发现有些状态为CLOSE_WAIT的進程已经不存在了这些连接已经关闭；

但某些原因导致它发生CLOSE_WAIT，比如客户端出错程序异常退出、客户端与服务端网络连接异常断开

状態为CLOSE_WAIT的进程清除后连接正常了。

6 JOB运行时找不到可执行文件

如果你使用的数据库是11G就把内容改为:

然后保存退出并执行该文件

pools设置为"io"表示该節点有较好的io功能。

有两种方法可以解决这个问题:
1) 将APT_CONFIG_FILE配置文件中的io节点设置为默认的ds pool(pools "")节点但这样做显示的去除了某些较好、有用、可以顯著提高集群性能的资源。
2) 在该JOB中配置参数APT_NO_SORT_INSERTION值为True但是这样做存在一定的风险，比如某些情况下我们并不知道ds什么时候会对数据进行排序如果这样做就等于显示的告诉了它不用自动排序了，这些数据已经排好序了但实际上有些stage之前是需要它自动排序的，比如join、merge导致的後果就是数据会不正确，引发其它类型的错误等

助您发现、充实、集成和管理数據的整个生命周期

  • 当前版本： [销售以商家最新版为准如需其他版本，请来电咨询]

关于本产品的分类与介绍仅供参考具体以商家网站介紹为准。加企业QQ： 咨询该产品

我要回帖

更多关于 datastage hadoop 的文章

 

随机推荐