当删除HBase中的数据，HBase会删除存储在HDFS上的数据，而Hadoop的Sequence File是一个顺序读写，批量处理的系统。那HBase怎么就能够查询到该记录...
发简信
IP属地：澳门
-
HBase数据的删除和更新
-
【实战】spark streaming 如何保证消费EOS
前段时间，一直有人问 spark streaming 偏移量问题。什么是偏移量？百度。一个正常或者线上的sparkstreaming执行顺序：1.根据group获取kafka...
-
Spark kafka + streaming自适应topic partitions变化
背景 spark streaming + kafka 有两种方案接收kafka数据-基于receiver的方案和direct方案(no receiver方案)。 基于rece...
-
Spark Streaming中的scheduling delay问题最近由于疫情在家办公，事情比较多（主要在各种沟通和会上），一直没有更新；正好工作中有个case, 用到啦spark streaming， 所以随手记录一下，遇到的问题； 背景...
-
HADOOP集群搭建实战（HA高可靠性模式）一、环境安装 3台服务器的搭建，为了好描述我把服务器的地址分成hadoop1、hadoop2、hadoop3,实际生产环境可以用域名来代替。注意：配置里面尽量用域名，不要用I...
-
Spark Streaming读写Kafka，将offset写入Zookeeper
摘要： Spark Streaming， Kafka，zookeeper Scala调用Kafka API发送数据 使用Scala调用Kafka API向Kafka发送数据，...
-
Elasticsearch 入门: _bulk 批量导入数据
批量导入数据 使用 Elasticsearch Bulk API /_bulk批量 update 步骤： 需求：我希望批量导入一个 movie type 的名词列表到 wor...
-
数仓面试|四个在工作后才知道的SQL密技
SQL是大数据从业者的必备技能，大部分的大数据技术框架也都提供了SQL的解决方案。可以说SQL是一种经久不衰、历久弥新的编程语言。尤其是在数仓领域，使用SQL更是家常便饭。本...
-
阿里巴巴为什么能抗住90秒100亿？看完这篇你就明白了！
作者：huashiou链接：https://segmentfault.com/a/1190000018626163 1、概述 本文以淘宝作为例子，介绍从一百个并发到千万级并发...
