240 投稿
数据同步&数据加载
收录了12篇文章 · 2人关注
  • zab协议的zookeeper领导者选举与数据同步

    1 简介 zab协议是zookeeper atomic broadcast，即原子广播协议。在一个zookeeper分布式集群中，各个进程之间通...

    ImushroomT 0 0
  • 数据亲和架构--数据同步

    数据亲和架构核心要解决数据和程序的绑定问题，那么数据在进程间同步就尤为重要。因为性能的关系，增量同步是首选，全量同步只有在初始化或者出现异常的...

    romandion 0 0
  • 数据同步工具

    mysql ---> es 数据同步工具 数据同步工具介绍 基本介绍一下工具 DataX, 离线导入导出 Sqoop, Sqoop是针对大数据而...

    光小月 1 0
  • Resize,w 360,h 240
    开源数据同步神器——canal

    前言 如今大型的IT系统中，都会使用分布式的方式，同时会有非常多的中间件，如redis、消息队列、大数据存储等，但是实际核心的数据存储依然是存储...

    0.9 IT米粉 2 8
  • Resize,w 360,h 240
    主数据ETL - 03 监听Change Document

    定义应用程序使用边界 不支持实时同步 设计这个ETL的目的是将绝大多数更改的场景纳入这个框架，实时同步有限制（很难抽象出统一的接口）。允许一定的...

    rootbin 0 0
  • Resize,w 360,h 240
    主数据ETL - 02 系统设计

    概览 总体用例图 边写这篇文章，边设计这个系统，当前尚未实现，完成设计后，计划在下一个具体项目上实施。 设计思路 利用SAP的各种技术，在应用程...

    rootbin 0 0
  • 主数据ETL - 01 数据同步场景分析

    背景 这几年经历的项目，大量的需求都是和第三方系统集成，SAP ECC是名副其实的主数据系统。一旦涉及集成，都离不开主数据同步的问题，SAP有M...

    0.1 rootbin 0 1
  • Resize,w 360,h 240
    阿里云开源离线数据同步工具DataX3.0介绍

    一. DataX 3.0概览 ​ DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、...

    1.2 承诺一时的华丽 0 6
  • Resize,w 360,h 240
    传统数据库RDBMS到大数据平台HDFS的数据同步方法

    目前常用的传统RDBMS到HDFS的数据同步工具有三种：Sqoop（Apache），DataX（阿里云开源的离线同步工具），Kettle（pen...

    南山山大王 0 2
  • Zookeeper入门之七-ZK的数据同步

    ZK的数据存储、集群间通信及数据同步 zk中所有数据都是放在内存中的，当然也有snapshot、事务日志。 snapshot： 用于记录zk服务...

    0.3 AlanKim 1 4

专题公告

大数据体系中数据加载与数据同步相关