代码 结果 可以用stat -c %a来验证结果
IP属地：广东
-
-
Flink Application脚本提交和常见参数(On Yarn)
启动脚本 -D yarn.provided.lib.dirs='hdfs:///tmp/flink-1.16-share' -D yarn.ship-files=ext_ru...
-
Hadoop 3.3.6 - Yarn开启日志聚合背景 yarn的任务结束后, 日志无法查看, Hadoop 3.x之后聚合的目录固定会带上bucket-, 想看看能否通过配置去掉, 通过看源码发现yarn的新版本兼容了两种...
-
Flink1.18 streaming快速demo运行脚本(Flink On yarn) pom.xml 如果想用低版本的flink运行(如1.13.6), 则对应更改依赖的artifactId会多一个后缀标志scala的版...
-
Clickhouse同一条sql执行结果不同描述和解决 环境Distributed + MergeTree, 2分片2副本, 4节点 问题数据插入到ck, 每次查询结果不大一样 步骤 查看所有时钟是否同步, 经排查有一...
-
-
Springboot打包分离lib和config背景 分离lib和config目录, 更新时只需要替换到外面的jar即可, 使用spring-boot-maven-plugin会将所以内容全部打包进去, 如果src/mai...
-
clickhouse分组后对max()值相同的记录做二次合并
背景 想用一条sql来查询某个设备指标的最新时间点的值, 但是最新时间点的值会有多条, 即在2024-06-01 10:00:00会存在多条不同value值的记录, 需要进行...
-
Java调用jar包里的so或dll文件背景 有一个集中放so和dll文件的一个maven项目, 通过pom.xml进行引入到一个spring boot的项目中, 调用方法时报错URI is not hierarc...
-
Java调用go编译后的so或dll文件概述 gojee[https://github.com/nytlabs/gojee]是用go语言编写的json结果提取工具, 其实JsonPath[https://githu...
-
Flink on YARN的第三种部署模式：Application Mode前言 长久以来，在YARN集群中部署Flink作业有两种模式，即Session Mode和Per-Job Mode，而在Flink 1.11版本中，又引入了第三种全新的模式：...
-
开启kerberos后, Flink提交任务失败, hdfs -ls权限报错查看Linux并没有用户 ,执行export HADOOP_USER_NAME=hdfs后结果还是一样,最终发现这里的用户是kerberos list中使用的用户, 更改提交...
-
Flink Akka端口绑定异常Could not start actor system on any port in port range 0
描述 启动Flink任务的时候, 报错Could not deploy Yarn job cluster, 查看yarn logs -applicationId xxx发现B...
-
Hadoop开启kerberos后, Java Api访问Hdfs和Yarn
简述 hdfs和yarn开启了kerberos, 且都开启了Console Http的认证, http认证使用的是Spnego, 使用HttpClient来进行支持, 程序建...
-
java grpc快速入门pom.xml protobuf-maven-plugin里protobuf.version[https://mvnrepository.com/artifact/com.g...
-
java修改音频文件的标签信息, 如作者, 专辑名称等概述 想修改音频文件的标签信息, 尝试用过mp3agic, 会乱码需要改源码且测试过好像无法保存更新后的信息, 最终使用jaudiotagger, 示例修改的MP3文件, f...
-
-
YARN查看离线任务的聚合日志时, 报错bucket-logs-tfile does not exist概要 yarn已经开启了日志聚合, 想通过java的api去拉取已结束的application日志, 在调用时报错找不到文件; 经排查发现yarn.nodemanager.r...