240 发简信
IP属地:香港
  • Hadoop配置Kerberos互信

    当Hadoop集群开启Kerberos后,跨集群访问需要配置Kerberos cross-realm(跨域访问)。 Kerberos跨域访问原理...

  • Resize,w 360,h 240
    HBase RegionServer动态感知过程

    HBase支持集群动态扩容,都归功于HMaster对HRegionServer的动态感知。本文基于hbase-1.2.0-cdh5.7.2版本进...

  • Resize,w 360,h 240
    HBase 压缩策略DateTieredCompactionPolicy

    HBase是采用Log-Structured Merge Tree的架构,随着Flush阶段的不断触发,生成许多的HFile(默认128M),而...

  • Resize,w 360,h 240
    spark application job自定义日志输出

    前言 spark默认采用log4j作为日志框架,并且采用${SPARK_HOME}/conf/log4j.properties作为默认的日志配置...

  • Resize,w 360,h 240
    开发部署HBase Endpoint Coprocessor

    一、前言 本文示例协处理器实现根据scan条件对指点列进行count、avg。这里推荐HBase技术社区文章,该文非常详细的介绍了如何开发并部署...

  • Resize,w 360,h 240
    python2访问CDH HBase Thrift2

    简介 HBase Thrift Server是hbase基于Apache Thrift开发用来提供对多语言支持的服务。同时保留了thrift和t...

  • Resize,w 360,h 240
    Unable to start NodeManager: no leveldbjni64-1.8 in java.library.path

    近日生产CDH5.7.2集群中的某一台机器在升级glibc和java后,Yarn NodeManager无法正常启动,提示报错如下: 处理该问题...

  • Resize,w 360,h 240
    HBase meta表介绍

    在网上较多的文章都会介绍hbase的两个关键表ROOT表与meta表。其实在hbase0.98之后,hbase就废弃了ROOT表,仅保留meta...

  • Resize,w 360,h 240
    CDH开启HBase Replication

    一、环境准备 1、要求两套集群安装相同的CDH版本,如都为CDH4或者CDH5,不限定小版本2、要求两套集群网络互通,至少保证Master HB...

个人介绍
欢迎邮件沟通:xiaozhang0319@163.com