Sentry初识 Sentry是适用于Hadoop生态环境、基于角色的授权管理系统,可以模块化集成到HDFS、Hive、Impala。它是一个策...
Sentry初识 Sentry是适用于Hadoop生态环境、基于角色的授权管理系统,可以模块化集成到HDFS、Hive、Impala。它是一个策...
前篇主要介绍流式计算相关的核心概念,这篇简要聊聊Flink总体架构、运行环境及其在大数据生态系统中的位置,让大家先对Flink有整体认知,便于后...
在大数据时代,流式计算越来越发挥着巨大的商业价值:业务分析人员能够更及时洞察数据,辅助做出更有效的决策;在万物互联场景中,对海量无限数据集的处理...
0x01 背景 反压概念在流式计算中非常流行,要解决的问题是短时间内业务流量剧增,数据流入速度远高于数据处理速度,会对流处理系统构成巨大负载...
综述 日志和监控开发人员工作中必不可少的两只眼睛,日志是为了快速定位排查故障,监控是为了发现潜在问题并能及时告警,是故障诊断和分析的重要辅助利器...
0x01 前言 上篇文章Spark Streaming和Kafka集成深入浅出介绍了Spark Streaming的基本内容及和kafka的集成...
写在前面 本文主要介绍Spark Streaming基本概念、kafka集成、Offset管理 本文主要介绍Spark Streaming基本概...
前言 上一篇<JStorm介绍>从架构设计、计算模型上对jstorm做了系统化表述,读后会对应用场景、功能实现上有清晰明确的认识,建议没有看过的...
本文主要介绍kafka producer的可靠性,包括ack、batch、重试机制等 消息发布 KafkaProducer的send是异步发...
一、什么是Sqoop Sqoop是一个在结构化数据和Hadoop之间进行批量数据迁移的工具,结构化数据可以是Mysql、Oracle等RDBMS...
专题公告
大数据相关技术。公众号:data之道