工作笔记——kettle

Amazing

Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定。Kettle这个ETL工具集,允许你管理来自不同数据库的数据,通过提供一个图形化的用户环境来描述你想做什么,而不是你想怎么做。
Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制。

ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。ETL一词较常用在数据仓库,但其对象并不限于数据仓库。

在网上找的一个快速入门的例子:
https://jingyan.baidu.com/article/6b97984dcb1e9d1ca3b0bf4f.html

Pentaho biserver 环境变量设置
http://www.tuicool.com/articles/eaueae

需要先安装JRE才可以运行,并设置PATH环境变量,添加JRE的bin地址
http://blog.csdn.net/alex201203/article/details/28238557

1、 如果设置了自动发邮件,那么当电脑开机密码改变后,邮件将无法自动发送,相应的KETTLE发邮件设置要改!
2、 使用DOS命令执行kettle,指定文件后缀时,要使用详细路径,当文件名中有空格时,空格要用双引号引起来。
EG:先到d:\kettle下,然后pan.bat /file:d:\日常工作\规划等\pdi_file\read”“file““text.ktr,如果是job,则将pan.bat换成kitchen.bat,后缀为kjb。
如果需要输入一个变量值,在输入文件路径后空一格,再输入变量。
i. 如果文件名里面有空格,则需要在英文状态下用双引号把空格引用起来。
ii. 文件名最好不要有特殊字符

批处理文件执行Kettle:在记事本中编辑,后缀改为.bat
CD
D:
CD D:\KETTLE
pan.bat /file:D:\日常工作\check""by""city\BI-CHECK""By""City.ktr>>D:\日常工作\check""by""city\LOG.TXT

3、 Kettle调度的时候不需要调整字段的顺序,它可以根据字段名称自动识别。
4、 在一个转换里面,数据库连接默认的都一样,需要修改的话,则是“新建”,否则所有的连接都会改变。
5、 输出到Access:如果接收输出结果的文件不存在,则需要新建文件,那么Create Database和Create Table都要勾选(这两个其实是默认的),The database filename是Access数据库的名称,Target Table是数据库表的表名。

Paste_Image.png
Paste_Image.png

6、 分组
需要先排序,排序的时候要注意字段顺序
7、 通过文件是否存在判断数据是否正确or流程是否正常结束
如BI-stock-check
其中关键点是输出文件Excel设置为在开始时不创建,即勾选Do not create file at start。
8、文件名不可以有%

Kettle运行失败需要注意,可能会有部分数据进入数据库,重新运行时需要先清空目标表。

Kettle导出到Excel2007:在内容标签页获取字段

Paste_Image.png
Paste_Image.png

如果数据库有多个目标模式(scheme),需要指定这个参数

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 200,045评论 5 468
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 84,114评论 2 377
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 147,120评论 0 332
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,902评论 1 272
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,828评论 5 360
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,132评论 1 277
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,590评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,258评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,408评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,335评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,385评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,068评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,660评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,747评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,967评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,406评论 2 346
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,970评论 2 341

推荐阅读更多精彩内容