240 投稿
大数据架构
收录了11篇文章 · 22人关注
  • Resize,w 360,h 240
    11.Hive压缩，文件格式及优化

    1. 日志文件加载案例： 需求描述：在日志文件目录中，按天建文件夹，并且在每个天文件夹中，每小时有一个日志文件。程序自动每天将这些文件load到...

    0.2 奉先 0 6
  • Resize,w 360,h 240
    10. Sqoop介绍

    1.大数据协作框架： 大数据协作框架是Hadoop 2.x生态系统中几个辅助框架。最为常见的是以下几个： 数据转换工具Sqoop 文件收集库框架...

    奉先 0 2
  • 9. Hive使用

    1.Hive数据导入的六种类型： 以下面两个表来实验： 1.从本地文件系统导入到hive表中： 使用load data语句可以直接导入本地文件到...

    0.2 奉先 0 9
  • Resize,w 360,h 240
    8. Hive基础

    1. Hive基本介绍和基础： Facebook公司最早完成并开源了hive框架，可以将sql语句直接翻译成MapReduce程序。Hive是基...

    1.3 奉先 0 43
  • 7. Hadoop 2.x 中高级特性

    1. HDFS Federation架构介绍： 1. HDFS介绍： HDFS包含两层，分别是Namespace （命名空间）和 Block S...

    奉先 0 2
  • Resize,w 360,h 240
    6. Zookeeper和 集群HA配置

    1. Zookeeper介绍： 1.基本介绍： Zookeeper： 为分布式应用提供分布式协作（协调）服务。使用类似文件系统的树形结构。目的是...

    0.2 奉先 0 10
  • Resize,w 360,h 240
    5.分布式集群环境

    1.虚拟机VMware Tools安装： 安装VMWare Tools非常简单，右键一个虚拟机，选择“安装VMware Tools” （其实，这...

    奉先 0 3
  • Resize,w 360,h 240
    1.CentOS 7 安装

    1. 新建虚拟机 为了学习Hadoop，使用虚拟机来实验Hadoop集群环境。 使用VMWare来安装CentOS 7 操作系统。 （1）新建虚...

    奉先 0 1
  • Resize,w 360,h 240
    2.Hadoop伪分布式环境搭建和基本概念

    1. Hadoop常用组件： 1. hadoop commons ：hadoop基础模块。 2. HDFS：存储数据（读-写），一次写入、多次读...

    奉先 0 2
  • Resize,w 360,h 240
    3.Hadoop 2.x 深度内容

    1. HDFS架构： 1. 架构综述： HDFS是master/slave架构。HDFS集群包含一个namenode和多个datanode；na...

    奉先 1 1

专题公告

学习积累路程