Kettle 内外循环转换器自己本身怎么实现？

来源：蜘蛛抓取(WebSpider) 时间：2019-11-15 17:09 标签： 内外循环转换器

2、设置i和maxi从0开始，小于max(5)循环5佽。

5.2 js代码弹出框输出当前i的值

6 循环结束后执行其他转化

Kettle是一款国外开源的ETL工具纯编写，可以在Window、、Unix上运行绿色无需安装，数据抽取高效稳定

业务模型： 在关系型中有张很大的数据存储表，被设计成奇偶库存储每个库100張一模一样的表，每张表存储1000W自动切换到下一个表。现需要同步这个数据到中（hdfs）循环抽取这些数据。如果是抽取增量的带上增量字段（每天增量数据存储在哪个表奇数库还是偶数库是不知道的）。

 a sqoop直接从到hive这样有些特殊字符会导致sqoop异常终止。而且这样循环对服务器的数据库大量取数对服务器压力很大，很容易导致服务器瘫痪

 b 使用kettle处理转换过程就没有这样的问题。kettle支持分页取数据一定程度上減轻服务器压力。

在看一下设置循环条件的trans（图片裏一个字写错了大家不要在乎这些细节）：

再看一下循环执行的trans：

最后最重要的看一下job里循环执行的trans的设置：

我要回帖

更多关于 内外循环转换器 的文章

 

随机推荐