这篇文的起因来自NEXT主办的keynote,主讲是墨刀的张元一。听完照着笔记梳理了下这次演讲的逻辑,基本可以给0基础的产品科普下技术常识。但邀请程序员来科普有两大问题:一是...

IP属地:湖南
这篇文的起因来自NEXT主办的keynote,主讲是墨刀的张元一。听完照着笔记梳理了下这次演讲的逻辑,基本可以给0基础的产品科普下技术常识。但邀请程序员来科普有两大问题:一是...
最近工作上忙于业务,相同的事情周而复始难免会止步不前,感觉已临近迷失,需要重新补充下能量。但正如人人都说过的,产品经理知识是一个复杂而博大且没有专门教材的学科,所以花了点时间...
Spark整体架构: 在分布式环境下,Spark集群采用的是主从结构。在一个Spark程序中,有一个节点负责中央协调,调度各个分布式工作节点,这个中央协调节点被称为驱动器(D...
一、Spark在任何情况下均比MapReduce高效吗? 请举例。 不是任何情况下都很高效,数据量非常大的时候MapReduce要比Spark快。比如:WordCount计算...
一、spark加载hadoop本地库的时候出现不能加载的情况,这是什么原因导致的呢? 我64位机器,当时hadoop启动的时候出现不能加载本地类库的这个问题是因为hadoop...
一、spark-shell在namenode的stand-by节点执行会报sparkContext出错,然后到active的namenode的机器起spark-shell就可...
WHAT: Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL ),这是一种可以存储、查询和分析存储在 Hadoop...
** WHAT** YARN:集群资源管理系统 Structure: ResourceManager:整个集群只有一个,负责集群资源的统一管理和调度处理客户端请求启动/监控A...