240 发简信
IP属地:北京
  • 120
    hive 多行同时转列 lateral view explode 和 lateral view posexplode

    最近在写一个需求过程中遇到一个多行同时转列的问题,感受到HQL的强大之处实验数据即sql:

  • redis的RDB和AOF

    RDB持久化 RDB文件是经过压缩的二进制文件,可以通过使用了save和bgsave命令主动地生成RDB文件,两者有以下不同: save命令会阻塞主进程的,直到RDB文件命令...

  • redis对象

    本文对redis的对象进行概述,知识来源于《redis设计与实现》 我们可知,redis的用到的主要的数据结构有简单字符串(SDS)、双端链表、字典、压缩列表、整数集合等等。...

  • 120
    zookeeper概述

    Zookeeper是什么 Zookeeper是一个分布式协调服务的开源框架。主要用来解决分布式集群中应用系统的数据一致性问题。 本质上是一个分布式的小文件存储系统。 提供给客...

  • Impala负载均衡

    Impala主要有三个组件,分别是statestore,catalog和impalad,对于Impalad节点,每⼀个节点都可以接收客户端的查询请求,并且对于连接到该Impa...

  • 120
    Impala架构和查询原理

    题记 本文内容资料来源拉钩教育大数据高薪训练营 Impala与Hive类似不是数据库而是数据分析工具 Impala架构 Impalad ⻆⾊名称为Impala Daemon,...

  • Impala概述

    题记 本文内容资料来源于拉钩教育大数据高薪训练营 impala的概述 Impala是Cloudera提供的⼀款开源的针对HDFS和HBASE中的PB级别数据进⾏交互式实时查询...

  • Flume概述

    题记 本文内容来源于拉钩教育大数据高薪训练营 Flume的定义 Flume由Cloudera公司开发,是一个分布式、高可靠、高可用的海量日志采集、聚合、传输的系统。 Flum...

  • Hue安装部署

    Hue官方网站:https://gethue.com/HUE官方用户手册:https://docs.gethue.com/官方安装文档:https://docs.gethue...

  • 120
    HQL操作之DQL命令

    题记 本文部分资料来源于拉钩大数据高薪训练营 select 语法: SQL语句书写注意事项: SQL语句对大小写不敏感 SQL语句可以写一行(简单SQL)也可以写多行(复杂S...

  • HQL操作之CLI命令

    题记 本文资料来自于拉钩教育大数据高薪训练营 数据库操作 Hive有一个默认的数据库default,在操作HQL时,如果不明确的指定要使用哪个库,则使用默认数据库;Hive的...

  • 120
    YARN

    题记 本文资料来源于拉钩大数据开发高薪训练营。 YARN架构 ResourceManager(rm):处理客户端请求、启动/监控ApplicationMaster、监控Nod...

  • 120
    Shuffle机制

    题记 本文资料来源于拉钩大数据开发高薪训练营。 shuffle机制在MapReduce整个过程中非常重要,试想如果没有shuffle机制,以wordCount为例,相同的ke...

  • 120
    MapReduce原理解析

    题记 本文资料来源于拉钩大数据开发高薪训练营。 MapTask运行机制详解 步骤流程详解: ⾸先,读取数据组件InputFormat(默认TextInputFormat)会通...

  • 120
    HDFS

    题记 本文资料来源于拉钩大数据开发高薪训练营。 HDFS的简介 HDFS (全称:Hadoop Distribute File System,Hadoop 分布式⽂件系统)是...

  • 120
    Hadoop重要组成概述

    题记 本文资料来源于拉钩大数据开发高薪训练营。 Hadoop 由四部分组成 Hadoop HDFS:(hadoop distribute File System)一个高可靠、...

  • hadoop概述

    题记 本文资料来源于拉钩大数据开发高薪训练营。 先说题外话:比较幸运,能在实习的第一份工作能做自己喜欢的大数据,大数据令人着迷,挖掘数据价值的过程无疑精彩。在工作中,通过完成...

  • 120
    Hadoop面试题之yarn

    1、简单介绍yarn? yarn是一个资源管理、任务调度的框架。主要包含三个模块:resourceManger、nodeManger、ApplicationMater。 2、...

  • storm

    Storm 是什么 Apache Storm is a free and open source distributed realtime computation syste...

个人介绍
好好学习,天天向上