240 发简信
IP属地:广东
  • Resize,w 360,h 240
    通过代理服务访问 HDFS 集群

    背景 在 HDFS 使用过程中,有时会需要一个类似代理的机制,即:通过一台或多台代理服务器,来代理某一批机器的 HDFS 访问。需要注意的是,大...

  • Resize,w 360,h 240
    KMS 对 HDFS 性能影响测试报告

    测试环境 测试使用现网机器,各项指标如下,KMS Server 所使用的 JVM 参数均取默认值(KMS Server 并非内存占用型进程,内存...

  • Resize,w 360,h 240
    借助 KMS (Hadoop Key Management Server) 实现 HDFS 数据加密

    原生 KMS 模型 概览 适用场景 将 DataNode 上的数据 block 加密存放,这样即使恶意用户通过某种方式绕过了权限控制,或直接访问...

  • Resize,w 360,h 240
    高网络时延情况下提升HDFS IO速度

    背景 有时候,Hadoop 的计算集群和存储集群之间,可能会有非常大的网络延迟(例如异地部署的情况),会影响 HDFS IO 效率。具体而言: ...

  • Observer NN性能测试结果及部署注意事项

    背景 Observer NameNode 可以处理客户端的读请求,以此来分担 Active NameNode 的压力,从而整体上提升 NameN...

  • Resize,w 360,h 240
    Ozone 介绍

    Ozone 是什么 一句话介绍:Ozone 是一个分布式对象存储系统,从属于 Hadoop 生态,支持海量数据存储,具有良好的扩展性。 为什么需...

  • RangerHDFS 部署流程

    依赖 依赖项作用备注MySQLRangerAdmin 用来存储规则等数据需要在 RangerAdmin 上部署,RangerAdmin 可以选择...

  • Resize,w 360,h 240
    在 HDFS 中使用 Ranger

    介绍 Apache Ranger 提供一个集中式安全管理框架来解决授权和审计问题,它可以对 Hadoop 生态的组件如 HDFS、Yarn、Hi...

  • Resize,w 360,h 240
    使用 FairCallQueue 提升 NameNode RPC 服务质量

    问题描述 HDFS 集群中,有时会因为 NameNode 的超负荷运行,导致部分用户的请求响应缓慢,甚至得不到响应。 原因分析 这种阻塞情况是由...