问题描述 我们最近有个项目，需要实时消费订单成单的消息，提炼完数据后把结果写入HDFS，因此checkpointConfiguration 自然而然也采用默认配置写到HDFS...
发简信
IP属地：甘肃
-
Spark Structured Streaming 写checkpoint 到HDFS 抖动的排查 -
JIRA的使用介绍（一）- 概念篇JIRA这个工具接触有好几年了，在多个海外项目上都用过这个工具。去年又在项目上深度使用后就有点爱不释手了，回国后也在找机会推荐给其它项目上用。最近正好有新项目需要用，借这个机...
-
常见的GC回收算法及其含义在探讨Java垃圾回收机制之前，我们首先应该记住一个单词：Stop-the-World。Stop-the-world意味着 JVM由于要执行GC而停止了应用程序的执行，并且这...
-
记一次Flink写入Kafka坑点
最近做了一个将结果数据写入到Kafka的需求，sink部分代码如下： val kafkaProducer: FlinkKafkaProducer011[String] = n...
-
redis 学习（11）-- redis pipelineredis pipeline 什么是流水线（pipeline） 首先来看 redis 执行一次操作所需要的时间： 1 次时间 = 1 次网络时间 + 1次命令时间 执行 n ...
-
spark任务之Task失败监控
需求 spark应用程序中，只要task失败就发送邮件，并携带错误原因。 背景 在spark程序中，task有失败重试机制（根据 spark.task.maxFailures...
-
Flink中的广播流之BroadcastStream
使用场景：在处理数据的时候，有些配置是要实时动态改变的,比如说我要过滤一些关键字，这些关键字呢是在MYSQL里随时配置修改的，那我们在高吞吐计算的Function中动态查询配...
