MapReduce定义 MapReduce是一个分布式计算的框架，是用户开发机遇hadoop的数据分析应用的核心框架。 MapReduce的优缺...
投稿
收录了11篇文章 · 6人关注
-
【大数据学习】第十一篇-MapReduce简介 -
【大数据学习】第十篇-DataNode工作机制
DataNode工作机制 DataNode启动后，首先向NameNode节点注册信息 成功后，开始定时执行数据校验和同步，将自身的数据块列表信息...
-
【大数据学习】第九篇-NameNode工作机制1. NameNode与Secondary NameNode 简述 NameNode负责管理编辑日志（edits文件）和记录镜像（fsimage...
-
【Mac大数据开发】第八篇-HDFS读写机制详解1. 写数据机制 Hadoop写入数据的机制和流程如下图所示简述：客户端与namenode创建连接，namenode返回可以存放副本的datan...
-
【Mac大数据开发】第七篇-HDFS的开发环境和JavaAPI1. 开发环境配置 添加Hadoop环境变量 注：网上相关教程要求本地也安装hadoop，添加环境变量，然后才能使用Java客户端。没有看过官方...
-
【Mac大数据开发】第六篇-HDFS简介
1. 概念 HDFS是一个分布式文件系统，Hadoop distributed file system。通过树形结构定位文件，由多台服务组合实现...
-
【Mac大数据开发】第五篇-分布式集群和免密登陆1. 集群配置 此前使用的是伪分布式的单机模式，本篇使用分布式的集群配置。配置方案如下： 修改对应的配置文件即可。同时更改hadoop的/etc...
-
【Mac大数据开发】第四篇-Hadoop安装和配置(伪分布式集群)1. Hadoop的安装 下载Hadoop安装包，通过scp（或其他指令方式）发送到虚拟机上，并进行解压安装。修改环境变量 使用hadoop命令...
-
【Mac大数据开发】第三篇-Hadoop概论1.Hadoop起源 Lucene的一个子项目 思想源于Google的三篇论文GFS - HDFS 分布式文件系统Map-Reduce - MR...
-
【Mac大数据开发】第一篇-Mac环境虚拟机安装与配置[TOC] 1.虚拟机选择 虚拟机软件有多种，如VMware、Parallels Desktop、VirtualBox等。在Windows环境下...
专题公告
使用Mac环境学习大数据
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/1791613/3.jpg', '推荐专题《Mac学习大数据》（ 分享自 @简书 ）','https://jianshuapi.com/c/e0c97939663c?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','页面编码gb2312|utf-8默认gb2312'));){kind=link}