近期在无网络环境内网 Window 环境配置 Flink开发环境,很艰苦。由于准备使用Scala,根据官网Flink推荐使用sbt 来进行配置管理,使用Intellij ide来作为开发IDE。之后将Flink sbt的 skeleton 模板跑通。
开发环境情况说明
1.1 相关软件列表及版本说明
项目 | 版本 | 备注 |
---|---|---|
JDK | 1.8+ | 官方 |
Scala | 2.12.8 | 官方 |
Sbt | 1.2.8 | 包管理工具,java对应maven |
IntelliJ IED | 2018.3.5 Community Edition | 开发IDE开源免费版 |
Scala-intelliJ | 2018.3.6 | IDE的scala插件 |
Flink | 1.7.2 | 官方最新 |
local.zip | 外网笔记本相同配置下.ivy2目录下的jar包 | Sbt 使用ivy 管理依赖 jar包 |
Flink-scala-template | Flink官方 sbt-scala项目模板 |
1.2 安装说明
按照1.1中说明,依次安装JDK、Scala、Sbt、IntelliJ IED。
之后安装Intellij IDE scala 插件,File-> settings->Plugins , 设置中直接选择Install Plugin from Disk..
很关键的一步,由于内网环境无法根据依赖下载jar包,变通之策就是通过外网环境相同安装配置,可以work的情况下,去找sbt使用的系统个人根目录下的.ivy2目录下的local包,打包给无网络环境的开发环境使用,需要将local.zip 放到ivy目录下(默认是在系统用户根目录下隐藏文件.ivy2,sbt使用ivy来进行依赖包管理),之后将local内容拷贝到同目录下cache文件夹下(如果没有则请创建)
将Flink-scala-template导入IED中.
运行:在IDE 命令行中输入 sbt run运行项目:会出现让从三个main class选择要运行的,此时选择第三个 wordcount 程序即可。
此时运行成功, 以上完成本次配置。
其他说明
由于配置过程较为复杂,不排除文档中存在描述不够准确的事项,后续继续补充。
此外,进一步的开发会涉及到其他jar包的使用,新jar包如何导入现有环境进行集成配置,有待补充。