Sentry初识 Sentry是适用于Hadoop生态环境、基于角色的授权管理系统,可以模块化集成到HDFS、Hive、Impala。它是一个策...
0x01 背景 反压概念在流式计算中非常流行,要解决的问题是短时间内业务流量剧增,数据流入速度远高于数据处理速度,会对流处理系统构成巨大负载...
综述 日志和监控开发人员工作中必不可少的两只眼睛,日志是为了快速定位排查故障,监控是为了发现潜在问题并能及时告警,是故障诊断和分析的重要辅助利器...
0x01 前言 上篇文章Spark Streaming和Kafka集成深入浅出介绍了Spark Streaming的基本内容及和kafka的集成...
写在前面 本文主要介绍Spark Streaming基本概念、kafka集成、Offset管理 本文主要介绍Spark Streaming基本概...
前言 上一篇<JStorm介绍>从架构设计、计算模型上对jstorm做了系统化表述,读后会对应用场景、功能实现上有清晰明确的认识,建议没有看过的...
本文主要介绍kafka producer的可靠性,包括ack、batch、重试机制等 消息发布 KafkaProducer的send是异步发...
一、什么是Sqoop Sqoop是一个在结构化数据和Hadoop之间进行批量数据迁移的工具,结构化数据可以是Mysql、Oracle等RDBMS...
导读 redis是一个基于内存的key-value数据库,相对关系型数据库支持的数据结构更丰富,而且操作封装的非常简单易用。redis也支持主从...
文集作者