发简信
IP属地：上海
-
【大数据学习】第十一篇-MapReduce简介MapReduce定义 MapReduce是一个分布式计算的框架，是用户开发机遇hadoop的数据分析应用的核心框架。 MapReduce的优缺...
-
【大数据学习】第十篇-DataNode工作机制
DataNode工作机制 DataNode启动后，首先向NameNode节点注册信息 成功后，开始定时执行数据校验和同步，将自身的数据块列表信息...
-
【大数据学习】第九篇-NameNode工作机制1. NameNode与Secondary NameNode 简述 NameNode负责管理编辑日志（edits文件）和记录镜像（fsimage...
-
【Mac大数据开发】第八篇-HDFS读写机制详解1. 写数据机制 Hadoop写入数据的机制和流程如下图所示简述：客户端与namenode创建连接，namenode返回可以存放副本的datan...
-
【Mac大数据开发】第七篇-HDFS的开发环境和JavaAPI1. 开发环境配置 添加Hadoop环境变量 注：网上相关教程要求本地也安装hadoop，添加环境变量，然后才能使用Java客户端。没有看过官方...
-
【Mac大数据开发】第六篇-HDFS简介
1. 概念 HDFS是一个分布式文件系统，Hadoop distributed file system。通过树形结构定位文件，由多台服务组合实现...
-
【Mac大数据开发】第五篇-分布式集群和免密登陆1. 集群配置 此前使用的是伪分布式的单机模式，本篇使用分布式的集群配置。配置方案如下： 修改对应的配置文件即可。同时更改hadoop的/etc...
-
【Mac大数据开发】第四篇-Hadoop安装和配置(伪分布式集群)1. Hadoop的安装 下载Hadoop安装包，通过scp（或其他指令方式）发送到虚拟机上，并进行解压安装。修改环境变量 使用hadoop命令...
-
【Mac大数据开发】第三篇-Hadoop概论1.Hadoop起源 Lucene的一个子项目 思想源于Google的三篇论文GFS - HDFS 分布式文件系统Map-Reduce - MR...