Kafka 怎么就能存储更长时间的数据了哪
Kappa架构什么是Kappa架构，直接看下图： 和Lambda架构相比，它去掉了批处理引擎，直接使用流处理引擎，目标是做到流批一体。 Kappa流行的主要原因在于Kafka和Flink的...
发简信
IP属地：山西
-
数据化建设图谱2.0来啦开篇前，我们先介绍一下 达克效应：能力欠缺的人在自己欠考虑的决定的基础上得出错误结论，但是无法正确认识到自身的不足，辨别错误行为。这些能力欠缺者们沉浸在自我营造的虚幻的优势之...
-
基于Flink的实时数据流构建业务详解 处理数据主要包括的是从互联网上采集来的数据,包括常见的新闻、微博、论坛、贴吧、博客、微博、微信等信源，对原始格式进行实时响应处理，以期望满足业务系统使用，这便是当前...
-
Field Collapsing - 字段折叠
字段折叠 issues 不支持scroll 和search after的查询方式 无法返回折叠后的总数目 查询样例 参数解释 from: 这个的from是top hits结果...
-
分享一次词典库构建的流程词典库的含义 在深度学习中，如何在其中融入知识是一个研究非常火热的课题。相比于 Bert, ERNIE中引入全词Mask，达到了 SOTA,这也是引入啦知识 。因此词典库在底...
-
SearchAfter 之 score获取
前言 ES的查询经历 from + size、Scroll、SearchAfter等方式,都是为了逐一解决查询带来的性能问题，目前search after的查分方式最优 使用...
-
关于Mysql(5.6)的一些思考事物级别 MySQL 默认事物级别是可重复读；Oracle默认为读已提交 事务级别的优先级：1：读未提交 2：读已提交 3：可重复读 4：串行化 5：事务隔离的实现-可重复度...
-
update t1,t2
UPDATE crawl_weibo_data t1, lz_temp_channel t2 SET t1.channel_unique_id = t2.channel_un...
-
关于bert的一些思考
不存在词库中的字符编码 选取 ~ 和 ﹌ 两个字符(不在词表中),分别进行编码：bc.encode(['~','﹌'])>array([[-0.07489464, 0.16...
-
python简易写法
要求 input:4abababaabaxzxb3abaxzxbaboutput:210 简易写法：str_seq = [input() for s in range(int...
-
base64解密及解压
在文本数据传输中,为防止编码问题以及信息损失,可以先进行压缩，在进行base64加密；示例如下：>> import zlib>> compressed = zlib.comp...
-
关于Matrix Script的解法以及正则总结
问题参照： https://www.hackerrank.com/challenges/matrix-script/problem 解题思路 将N * M矩阵转转化为具有顺序...
-
python3.x print自定义连接符
print()函数默认是换行的,如何达到不换行的目的哪？请看下面的例子：>> for i in range(5):>> print(i+1,end='')>> 12...
-
python之常用函数
range 函数语法 range(start, stop[, step])参数说明：start: 计数从 start 开始。默认是从 0 开始。例如range（5）等价于ra...
-
ES集群重启最佳实践
线上集群规模 data节点：12单index大小：20GB ~ 40GB副本数：1索引数(按天拆分索引)：600 非安全重启面临的问题 直接kill掉节点，可能导致数据丢失集...
