kettle8调度监控平台(kettle-scheduler)开源

背景

Kettle作为用户规模最多的开源ETL工具,强大简洁的功能深受广大ETL从业者的欢迎。但kettle本身的调度监控功能却非常弱。Pentaho官方都建议采用crontab(Unix平台)和计划任务(Windows平台)来完成调度功能。所以大家在实施kettle作业调度功能的时候,通常采用以下几种方式:使用spoon程序来启动Job,使用crontab或计划任务,自主开发java程序来调用kettle的类库。

项目介绍

Kettle调度监控平台(以下简称KS)是一个自主开发的javaweb程序,专门用来调度和监控由kettle客户端创建的job和transformation。KS整体的框架是由spring+sprin gmvc +beetlsql整合而成,通过调用kettle的API来执行转换和作业,并且使用quartz框架完成调度工作。

此版本基于kettle-8.0.0.0-28版本的API开发的,目前可以基本支持所有的组件,包括大数据组件(hbase、hive、hdfs等)。

项目源码:https://github.com/zhaxiaodong9860/kettle-scheduler(不要忘了给个star哦)

发布版本:https://pan.baidu.com/s/1DX2aCLlOIieHjuNcwn2_-w提取码 提取码: 52r8

kettle8.0工具下载地址:点击下载

部署

1.基础环境

操作系统:windows(linux类似)

预装软件:jdk1.8、mysql、tomcat、kettle8.0

2.将源码中kettle-scheduler.sql导入mysql数据库。

3.将源码编译打包后解压到tomcat下的webapps目录下。

4.配置km\WEB-INF\classes\resource\db.properties

jdbc.driver=com.mysql.jdbc.Driver  //mysql驱动jdbc.url=jdbc:mysql://192.22.107.97:3306/kettle-master?serverTimezone=UTC&characterEncoding=utf8&useUnicode=true&useSSL=false//mysql的jdbc urljdbc.username=root  //mysql用户名jdbc.password=123456  //mysql密码

5.配置km\WEB-INF\classes\resource\ kettle.properties

# Kettle Properties 

#绝对路径,用于初始化kettle环境变量(.kettle/kettle.properties所在路径),指向kettle根目录(例如 D:\data-integration)

kettle.home=D:\\data-integration

#绝对路径kettle下plugins文件

kettle.plugin=E:\\zhaxiaodong\\apache-tomcat-9.0.12\\bin\\plugins

#相对路径,不需要改,暂时没有查出有什么用

kettle.script=Html\\js\\libs\\url

#日志级别

kettle.loglevel=detail

#kettle日志存放路径

kettle.log.file.path=D:\\data-integration\\logs

#保存上传文件转换(.ktr)或作业(.kjb)的路径,此功能未调试,暂时停用,待开发

kettle.file.repository=D:\\data-integration\\test

6.将data-integration目录下的simple-jndi、system和plugins文件夹拷贝到apache-tomcat-9.0.12\bin目录下

7.配置\apache-tomcat-9.0.12\conf\ server.xml

<Connector port="8080" protocol="HTTP/1.1" connectionTimeout="20000" redirectPort="8443" />    //配置端口号

<Host name="localhost"  appBase="webapps" unpackWARs="true" autoDeploy="true">

<Context path="/km" docBase="/km"  reloadable ="true" debug="0" privileged="true"> </Context>

</Host>

8.启动tomcat

Windows:apache-tomcat-9.0.12\bin\startup.bat;

Linux: apache-tomcat-9.0.12\bin\startup.sh;

9.访问http://localhost:8080/km进入系统。

使用说明

登陆

访问http://localhost:8080/km进入登陆界面,用户名admin,密码admin

首页

首页主要是显示监控信息,当一个任务(作业或转换)启动后,这个任务就处于被系统的监控状态下,首页展示了总监控任务数、监控作业数、监控转换数、转换监控记录(仅显示5条)、作业监控记录(仅显示5条)以及7天内作业和转换的监控状况。

资源库管理

管理kettle数据库资源库的信息,可以新增、修改、删除数据库资源库。

任务管理 – 作业管理

管理作业定时任务,可以新增、修改、删除作业定时任务,启动后作业即开始运行。

任务管理 – 转换管理

管理转换定时任务,可以新增、修改、删除转换定时任务,启动后转换即开始运行。

任务管理 – 执行策略

管理执行策略,可以新增、修改、删除执行策略(定时执行策略)。

监控管理 – 作业监控

处于运行的作业会被系统监控,此处显示被监控的作业的监控信息,包括总作业任务数、总执行成功次数、总执行失败次数以及每个作业的成功次数和失败次数。查看详情页面还可以查看每次执行的日志及执行时间,日志还可下载。

监控管理 – 转换监控

处于运行的转换会被系统监控,此处显示被监控的转换的监控信息,包括总转换任务数、总执行成功次数、总执行失败次数以及每个转换的成功次数和失败次数。查看详情页面还可以查看每次执行的日志及执行时间,日志还可下载。

用户管理

此菜单只有admin用户登陆时显示,用户管理用户,admin用户可以新增用户、编辑用户、删除用户。

最后希望大家可以一起维护此项目,如有问题可加入qq群提问 点击链接加入群聊【QQ群:817362677】【kettle-scheduler交流群】:https://jq.qq.com/?_wv=1027&k=59nBFXl

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,524评论 5 460
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,869评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,813评论 0 320
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,210评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,085评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,117评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,533评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,219评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,487评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,582评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,362评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,218评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,589评论 3 299
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,899评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,176评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,503评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,707评论 2 335

推荐阅读更多精彩内容