前言 本文介绍如何在ubuntu上部署k8s集群，大致可以分为如下几个步骤： 修改ubuntu配置 安装docker 安装kubeadm、kubectl以及kubelet 初...
发简信
IP属地：广东
-
ubuntu 安装 k8s -
K8S的安装(Ubuntu 20.04)前言 本文介绍如何在ubuntu上部署k8s集群，大致可以分为如下几个步骤： 修改ubuntu配置 安装docker 安装kubeadm、kubectl以及kubelet 初...
-
通过代理服务访问 HDFS 集群背景 在 HDFS 使用过程中，有时会需要一个类似代理的机制，即：通过一台或多台代理服务器，来代理某一批机器的 HDFS 访问。需要注意的是，大部分情况下，代理服务器只需要代...
-
KMS 对 HDFS 性能影响测试报告测试环境 测试使用现网机器，各项指标如下，KMS Server 所使用的 JVM 参数均取默认值（KMS Server 并非内存占用型进程，内存、GC 等配置并非必要）。 项...
-
借助 KMS (Hadoop Key Management Server) 实现 HDFS 数据加密原生 KMS 模型 概览 适用场景 将 DataNode 上的数据 block 加密存放，这样即使恶意用户通过某种方式绕过了权限控制，或直接访问了 DataNode，获取了其...
-
高网络时延情况下提升HDFS IO速度背景 有时候，Hadoop 的计算集群和存储集群之间，可能会有非常大的网络延迟（例如异地部署的情况），会影响 HDFS IO 效率。具体而言： 网络时延很高，相对于本地访问，...
-
Observer NN性能测试结果及部署注意事项
背景 Observer NameNode 可以处理客户端的读请求，以此来分担 Active NameNode 的压力，从而整体上提升 NameNode 的处理能力，具体能提升...
-
Ozone 介绍Ozone 是什么 一句话介绍：Ozone 是一个分布式对象存储系统，从属于 Hadoop 生态，支持海量数据存储，具有良好的扩展性。 为什么需要 Ozone Hadoop ...
-
RangerHDFS 部署流程
依赖 依赖项作用备注MySQLRangerAdmin 用来存储规则等数据需要在 RangerAdmin 上部署，RangerAdmin 可以选择 MySQL、PgSql 和 ...
-
在 HDFS 中使用 Ranger介绍 Apache Ranger 提供一个集中式安全管理框架来解决授权和审计问题，它可以对 Hadoop 生态的组件如 HDFS、Yarn、Hive、Hbase 等进行细粒度...
-
使用 FairCallQueue 提升 NameNode RPC 服务质量问题描述 HDFS 集群中，有时会因为 NameNode 的超负荷运行，导致部分用户的请求响应缓慢，甚至得不到响应。 原因分析 这种阻塞情况是由于 Hadoop 的初始设计造...
-
HDFS 机架解析的一个优化
现状 NameNode 通过调用机架解析脚本解析一个 node，并缓存结果。在某些情况下（例如 NN 刚切主之后），NN 的机架解析操作会非常频繁，会持续性地同时拉起几十个机...
-
Ganglia 部署文档概述 Ganglia 是 Hadoop 默认使用的监控系统（Ganglia 官网[http://ganglia.info/])，功能强大，单台机器即可持续监控数百个 Name...
-
一个 Ganglia 不可用问题的定位问题背景 在使用 Ganglia 的过程中，发现以下错误：ganglia 监控进程频繁报出下面的错误，导致现网几乎所有 NN 监控都不可用，严重影响问题定位： 这个错误的意思...
-
HDFS NameNode BlockReportLease 问题
概述 HDFS 在 HDFS-7923 中，引入了 block report lease 这个新的特性，目标是避免集群中 DN 集中进行全量 block report，从而导...
-
使用 NameNode RPC 退避机制改善服务质量问题描述 HDFS 集群中，有时会因为 NameNode 的超负荷运行（一般是有异常任务大量访问 NN），导致其它客户端无法和 NameNode 创建 TCP 连接，最终导致...
-
HDFS客户端无法及时addBlock和关闭文件问题分析背景 现网运行过程中，某些高负载集群的 NN 频繁打印下面的 “block is COMMITTED but not COMPLETE" 日志，且客户端经常会关闭文件失败，导...