240 发简信
IP属地:湖北
  • Resize,w 360,h 240
    Hive元数据升级工具源码剖析——HiveSchemaTool

    1 背景 随着公司业务的井喷式发展,数仓元数据也日益庞大,尤其是存在很多设计不合理的大分区表,导致一些元数据表(如PARTITIONS,PART...

  • 记一次Hive任务hang住的问题(2)

    1 背景 线上Hive任务偶尔出现hang住的现象.经排查确认是触发了Hive的bug, 该bug在Hive-10569(https://iss...

  • 记一次端口不释放的问题

    1 背景 一台服务器的端口数是有限的资源,如果端口被大量占用则会存在未知的故障。案例:线上HiveServer2发生故障: 大量任务hang住,...

  • 记一次Hive任务hang住的问题(1)

    1 问题背景 beeline偶尔出现任务进程卡住, 长时间等待无响应的情况.下面尝试进行分析及定位代码位置. 2 分析步骤 2.1 首先定位进程...

  • Resize,w 360,h 240
    git push 时报 Enter passphrase for /Users/Jeff_R/.ssh/id_rsa: 解决办法

    1 背景 原因: 公钥和私钥出现错误.解决方案: 重新配置公钥和私钥. 2 操作步骤 1 根据邮箱重新生成自己的公钥和私钥:下述命令一路回车即可...

  • Resize,w 360,h 240
    教你如何新建一个NB的Maven工程

    通常我们看社区源码或者下载社区代码安装后发现,社区工程通常有bin、conf、lib等目录,从而代码结构十分清晰,如何做到的呢? 首先,来看看我...

  • 基于UGI鉴权的Hive Metastore Client 并发访问方式

    定义一个基类: 定义一个并发测试: 说明: 如果你的hive没有UGI鉴权,可以忽略或去除UGI鉴权部分.

  • Resize,w 360,h 240
    Thrift架构及源码解读

    1 Thrift基本用法 1.1 搭建thrift编译环境 1.1.1 tar包下载 http://www.apache.org/dyn/clo...

  • 实战:自己编译JDK

    在学习深入理解Java虚拟机的过程中,觉得自己编译JDK是很酷的一件事。所以就尝试一下,由于老版本编译的教程数不胜数,也没有挑战性,所以本文挑战...