最近对线上业务进行重构，涉及到ES同步这一块，在重构过程中，为了ES 写入 性能考虑，大量的采取了 bulk的方式，来保证整体的一个同步速率，针对BulkProcessor ...
IP属地：上海
-
ES 操作之批量写-BulkProcessor 原理浅析
-
Git 使用规范及操作流程Git 使用规范 一、user.name 配置 Git 的 user.name 配置一定要使用自己的中文名称。命令行操作方式如下： 二、Commit message 的作用 ...
-
CRM、DMP、CDP，都是什么鬼？有什么区别差异？别说你都懂如果您不想多花人生中宝贵的十分钟，那么不用多考虑了，上CDP吧。如果您感兴趣CRM、DMP、CDP这几个概念，那么往下看。 您必须拥有良好的消费者数据，以推动成功的营销活动、...
-
数仓DWS层设计思想---开始搭建之前的回顾DWS层存在的意义：通过指标体系，分析并整合出通用的、重复使用的派生指标，减少从（DWD、DIM）==>（ADS）重复计算 构建指标体系：原子指标 = 业务过程+度量值+聚合...
-
使Flink SQL Kafka Source支持独立设置并行度前言 社区在Flink 1.12版本通过FLIP-146[https://cwiki.apache.org/confluence/display/FLINK/FLIP-146...
-
滴滴数据仓库指标体系建设实践
桔妹导读：指标体系是什么？如何使用OSM模型和AARRR模型搭建指标体系？如何统一流程、规范化、工具化管理指标体系？本文会对建设的方法论结合滴滴数据指标体系建设实践进行解答分...
-
flink自定义table source一、概述 Flink User-defined Sources & Sinks 官方文档[https://ci.apache.org/projects/flink/flink...
-
Ambari集成组件的方法背景 Ambari是一个强大的大数据集群管理平台。在实际使用中，我们使用的大数据组件不会局限于官网提供的那些。如何在Ambari中集成进去其他组件呢？ Stacks & Se...
-
CephFS 介绍及使用经验分享目录 Ceph架构介绍 NFS介绍 分布式文件系统比较 CephFS介绍 MDS介绍5.1 单活MDS介绍5.2 单活MDS高可用 CephFS遇到的部分问题6.1 客户端缓...
-
Ceph介绍及原理架构分享1. Ceph架构简介及使用场景介绍 1.1 Ceph简介 Ceph是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。 Ceph项目最早起源于Sage就...
-
Caffeine缓存的简单介绍
1、简介 在本文中，我们将了解Caffeine，一个用于Java的高性能缓存库。 缓存和Map之间的一个根本区别是缓存会清理存储的项目。 一个清理策略会决定在某个给定时间哪些...
-
Apache Doris 环境安装部署这里以百度的Doris发行版 Palo-0.14.13版本为例进行演示编译安装部署 1. Doris编译 1.1 docker 镜像下载 这里我们使用的最新镜像 Apache...
-
PXE实现批量无人值守安装CentOS7系统通过传统的方式安装和部署计算机时，都需要人工干预的方式完成安装。如果需要部署大量的类似功能的工作站或服务器，则需要耗费大量的时间。同时传统的安装方式，每台计算机都需要光驱设备...
-
Python - Airflow任务调度系统初识1. 概述 Airflow是airbnb开源的基于DAG(有向无环图)的用Python开发的任务管理系统。最简单的理解就是一个高级版的crontab，它解决了crontab无...
-
maven-shade-plugin 入门指南
1. Why? 通过 maven-shade-plugin 生成一个 uber-jar，它包含所有的依赖 jar 包。 2. Goals GoalDescriptionsha...
