@TOC
Background
- 大数据平台是基于CDH6.2搭建的,具体可以参考【Centos7.5+CDH 6.2搭建大数据平台】,Flink(1.9.0) 集群是后来集成的,具体可参考【CDH6.2/6.3 集成安装Flink 简明教程】
在
yarn
模式下,Flink 的相关命令和其他模式的所有不同,实验总结记录方便以后查找,相关命令参数不再赘述,若有问题,欢迎叨扰,记录如下:
提交一个任务(或称启动一个Flink集群)
flink run -d -m yarn-cluster -yjm 1024 -ytm 1024 -c com.cloudansys.handle.metircs.kafkasource.Application waterlogging-simulation-forecast-1.0-SNAPSHOT.jar
- 如上图所示,提交成功会返回
application_1594793724312_0017
【容器ID】和1a34822e073f30fd7952622b9d4e5d63
【JobID】,在yarn的Web界面也可以看到正在运行的该容器
触发保存点(保存点需手动触发,检查点会自动触发)
- 【注意】这个命令里的【容器ID】和【JobID】不是上一个的,本来按顺序演示的,结果这条给忘了哈,最后补上的
flink savepoint e005af8188c0697bbc6257e56a7d61f4 hdfs:///user/flink/savepoints -yid application_1594793724312_0013
停止(或称取消)任务并创建保存点
flink stop 1a34822e073f30fd7952622b9d4e5d63 -p hdfs:///user/flink/savepoints -yid application_1594793724312_0017
- 这里用
stop
命令,cancel
命令已过时。需要传入刚才返回的【容器ID】和【JobID】,还有保存点的位置,成功会返回保存点的完整路径,恢复任务要用到这个路径
从保存点恢复任务
flink run -d -m yarn-cluster -s hdfs://sutong01.cloudansys.cn:8020/user/flink/savepoints/savepoint-1a3482-53090949ca2c -c com.cloudansys.handle.metircs.kafkasource.Application waterlogging-simulation-forecast-1.0-SNAPSHOT.jar