接下来从三个部分介绍下kafka 0.11及以上版本如何实现事务机制。 第一部分：kafka producer生产records的过程。 第二部分：kafka produce...
发简信
IP属地：北京
-
kafka 0.11 事务机制梳理 -
Netty系列-Bytebuf中pool、unpool、heap、Direct类型结构秒懂上一篇介绍了ByteBuffer和ByteBuf结构，Bytebuf提供接口方法要比ByteBuffer简洁并强大。这篇在ByteBuf基础上学习下主要的ByteBuf，包括...
-
Netty系列-一分钟了解ByteBuffer和ByteBuf结构上一篇文章BIO、NIO扫盲主要介绍了BIO和NIO模型网络结构，并通过简单代码说明BIO和NIO核心功能及使用。NIO通过多路复用选择器Selector解耦server和c...
-
Netty系列-BIO、NIO 扫盲熟悉网络编程的同学可能听过BIO、NIO网络模型。本篇文章作为Netty系列开篇，先从总体介绍下以上两种网络I/O模型。 BIO BIO(Blocking...
-
elasticsearch 常用知识概念在应用系统需要进行文本内容检索时，这时不得不提到全文检索。而全文检索是将一个完整的信息源的全部内容转化为计算机可以识别、处理的信息单元而形成的数据集合。比较有名的全文检索软件...
-
Hadoop yarn运行机制及调度过程知识hadoop主要组件有hdfs、yarn，hdfs是分布式文件系统，主要是进行文件的存储，而yarn是hadoop集群资源管理系统，支持分布式计算模式，下面将介绍yarn的运...
-
MapReduce执行过程及shuffle详解开始学习Hadoop时，经常会听到MapReduce。MapReduce由Map和Reduce两个阶段，每个阶段都是以键-值对作为输入和输出，Map阶段是将数据进行映射处理，...
-
hive 主要sql整理在hive中进行数据处理和查询时，常用又比较生僻sql整理。 group by and having group by通常会和聚合函数一起使用，按照某一个或者多个列对结果进行...
-
hive join操作sql整理
在使用hive进行数据加工处理时，经常要进行两个数据表join关联，接下来具体介绍hive sql中要使用的join。 本实验用到a表和b表，表结构如下： hive> des...
-
数据仓库inmon和kimkimball两大派系之争网上已经有很多关于数据仓库特征的介绍，这里就不再赘述。主要是梳理下数据仓库inmon和kimball两大派系的特点。 kimball数据仓库架构 Kimball架构是一种自下...
-
数据库1NF-3NF范式深入理解关系型数据库设计时为确保数据存储规范化，通常需要按照范式设计数据，接下来主要介绍下1NF-3NF递进式数据库设计，4NF、5NF日常使用较少不包含在本次内容中。 首先总体描述...
-
深度学习入门系列：感知机到神经网络前言 感知机可以表示部分复杂函数，但是在设定权重的工作，确定能符合预期的输入与输出权重需要由人工进行，而神经网络可以自动从数据中学习到合适的权重参数 1、从感知机到神经网络 ...
-
深度学习入门系列：感知机-多层感知机演变1、感知机 感知机接收多个输入信号，输出一个信号，上图是一个接收两个输入信号的感知机的例子。 x1、 x2是输入信号，y是输出信号， w1、 w2是权重（w是weigh...
-
spark streaming 集成kafka0.10 offset是如何管理的源码解析spark streaming+kafka 0.10集成默认spark partition和kafka partition数量是1:1，这样可以使得每个spark pa...
-
