参考了一些前辈的文章，重现了自己的操作过程： 下载oracle数据库进入oracle的官网，找 检查安装环境看看自己的机器是什么样子 安装依赖 创建必要的用户和组出于安全和方...
发简信
IP属地：北京
-
centos6.7minimal下oracle11gr2静默安装 -
centos6.7minimal安装配置
为了搭建一个hadoop集群，准备在vmware装上几台虚拟机。 centos6.7minimal安装和配置按照正常虚拟机安装顺序，选择minimal安装。但是安装完成后用i...
-
查看服务器信息和网卡绑定
查看机器信息有如下一些常用命令： ifcfg-bondlinux系统上有不止一个网卡，我们可以充分利用这些网卡，同时对外提供一个统一的网络地址，以使得增大网络的吞吐量，也提供...
-
Hadoop集群的搭建
hdfs集群：负责文件读写/namenode、datanode yarn集群：负责为mapreduce分配运算硬件资源/resource manager 环境的配置（mini...
-
Hadoop生态圈初识hadooop提供的功能：利用服务器集群，根据用户自定义的业务逻辑（利用hadoop的api），对海量数据进行分布式处理指的是一套开源软件平台，通常也指一个更广泛的概念-ha...
-
关于变量的作用域
pstree以树状图显示进程间的关系 export出来的变量只有当前进程和子进程里面有，父进程里没有，source会把脚本中的变量放到当前shell中 export A=1 ...
-
zookeeper简介
zookeeper是分布式程序。作用是分布式协调服务。有奇数台，有半数以上节点存活就能够提供服务。 zookeeper是分布式场景里的第三方，主要功能是保管数据，提供监听，要...
-
hadoop高可用（HA）机制hdfs工作机制 这里对于namenode和secondarynamenode。客户端文件过来先写入日志edits，再写入内存中的FsNamesystem。fsimage是F...
-
hadoop HA（high available）集群搭建这篇文章重现了我自己用七台centos6.7mnimal虚拟机搭建一个ha hadoop集群的过程。（之前配置虚拟机和搭建hadoop集群的文章：虚拟机的配置和Hadoop集...
-
国内镜像yum源配置
1 进入yum源配置目录cd /etc/yum.repos.d2 备份系统自带的yum源mv CentOS-Base.repo CentOS-Base.repo.bak下载1...
-
centos中将已有目录挂载到新添加的硬盘
mbr，gpt分区的区别：MBR的意思是“主引导记录”，是IBM公司早年间提出的。它是存在于磁盘驱动器开始部分的一个特殊的启动扇区。这个扇区包含了已安装的操作系统系统信息，并...
-
HIVE简介与安装基于hadoop的数据仓库工具，封装了mapreduce，大大简化了开发过程（简单来说，就是把sql变成了mapreduce程序）。!!!这里说的是hive-1.2.1，在2...
-
HIVE语句
DDL(data definition) CREATE、ALTER、DROP…… 创建表 修改表 显示命令 操作： 内部表和外部表的区别：外部表drop的时候，把元数据中的记...
-
hive自定义函数和transform
hive自定义函数（udf：user-defined function） 例1：对于以下数据 1、开发一个java类，继承UDF(聚合函数继承UDAF)并重载evaluate...
-
hive级联累计
根据访问次数统计表，得到累计访问总计 建表，load数据 求每个用户的月总金额 把表自己inner join 生成累计值 分组查询求月累计值。为什么要max（salary）?...
-
flume数据采集简介 flume官网里面有user guide。作用：日志采集、聚合、传输核心组件：Agentagent内部组件：source，sink，channel（缓存） 这些组件可以...
-
azkaban工作流调度一个完整的数据分析系统通常由大量的任务单元组成：shell脚本程序，java程序，mapreduce程序，hive脚本等。各任务单元之间存在时间先后和依赖关系，所以需要工作流...
-
hai
