时间过得真快,马上要33岁了。从生活还是工作上,我感觉都是个偏被动的人。眼瞅着日子一天天过去,自己的状态和几年前差不多,内心急得团团转。 昨天和两个行业前辈聊了不少,说了自己...
时间过得真快,马上要33岁了。从生活还是工作上,我感觉都是个偏被动的人。眼瞅着日子一天天过去,自己的状态和几年前差不多,内心急得团团转。 昨天和两个行业前辈聊了不少,说了自己...
每次做checkpoint不仅会保存数据对象,也会保存对象类对应的序列化器。在减少字段后,指定旧的checkpoint,启动flink,还是先用旧的序列化器将旧对象的二进制流还原成值。
比如:原有类是name,age两个字段,新的类去掉了age,只剩下name。恢复时会将name和age值都反序列化,然后只设置name字段值。由于age已经不存在,就不设置。
Flink POJO类型ValueState演化原理剖析一、起因 最近使用Flink(1.8.1)遇到一个问题,ValueState中数据结构的一个字段类型在开发的时候定义的是int类型,但是实际上应该是long类型。flink虽...
1)单一数据库无法满足性能需求 随着业务的发展,数据量急剧增大,使用单库单表时,数据库压力过大,因此通过分库分表,读写分离的方式,减轻数据库的压力。 2)系统容灾 使用单机数...
目录:一、微服务编排的必要性二:3种常见的微服务编排方式1、Orchestration(编制)2、Choreography(编排)3、API网关三、微服务编排的框架(Orch...
一、什么是蚁群算法 蚁群算法是一种启发式算法,灵感来自于真实世界蚁群的觅食行为,它由Marco Dorigo于1992年在他的博士论文中提出。单只蚂蚁智商有限,但整个蚁群确体...
简书社区内容管理公告 近期简书依照《网络安全法》《互联网信息服务管理办法》《互联网新闻信息服务管理规定》等相关法律法规,对社区内容进行调整,调整期间会出现文章锁定情况,简书运...
关键字:拜占庭、分布式一致性、不可信网络 预估阅读时长:20分钟 相比之前阅读的论文,拜占庭将军问题花费了我更长的时间,在阅读的过程中我在思考:为什么我会读的这么慢?相信肯定...
文/Bruce.Liu1 文章大纲MHA简介1.1. mha组件介绍1.2. 背景和目标MHA原理2.1. MHA工作原理2.2. MHA工具介绍2.3. 当前高可用方案2....
前言:原来的文章不是md形式,写的也比较乱,现在看看 有点不好意思,就重新修正下。 今天群里分享这个图片,又这个图片引起了一系列讨论,我们队jvm的理解都是局限于知其然不知其...
学习了👍
实时计算——聊一聊我所经历的计算框架实时计算 上篇文章大致介绍了离线计算MapReduce和Spark,但是无法满足对实时性要求较高的业务,下面我们来了解一下实时计算。 离线和批量、实时和流式 在聊实时计算之前...
很少写技术博客,一是觉得自己技术有限,怕误人子弟;二是文笔较差,比较排斥写作之类的工作。话说不锻炼,哪会有进步呢,因为陌生而抵触,往往会陷入恶性循环,生活中其他事又何尝不是这...
实时计算 上篇文章大致介绍了离线计算MapReduce和Spark,但是无法满足对实时性要求较高的业务,下面我们来了解一下实时计算。 离线和批量、实时和流式 在聊实时计算之前...
一、概要 Flink 的Stateful Function 2.0 也已经出来一段时间了,不清楚它的用途适用场景。本篇会有Stateful Function的一些相关概念,搬...
一、故事背景 最近负责的业务由于三方配额不够,需要购买配额。问题来了,买多少配额合适?下图是目前的调用关系。由于是关于IOT的业务,其中老的实现是设备直接调用三方接口(安卓设...
前言 最近需要实现一个新需求,用iOS 10出的CallKit实现将APP的通讯录的信息同步到系统中,可以不把人员信息加到通讯录中,实现来电号码识别。这个功能在xx安全卫士、...