通过阅读本文,可以让你快速了解数仓如何分层,合理,实用。笔者坚持原创,根据实践总结,希望对新手有所帮助。 分层案例 1.电信通讯stage层 ->bdl层 ->analysi...
IP属地:天津
通过阅读本文,可以让你快速了解数仓如何分层,合理,实用。笔者坚持原创,根据实践总结,希望对新手有所帮助。 分层案例 1.电信通讯stage层 ->bdl层 ->analysi...
心血来潮,写篇文章记录下个人大数据方面的经历。 0X01 背景 在2016年初,开始接触大数据,那时候对大数据完全一篇空白。在此之前做了4年多的JAVA,主要负责互联网电商订...
参考:Hive: 基于 Hadoop 的数据仓库工具hive体系结构和执行流程 1、Hive产生背景 MapReduce编程的不便性 HDFS上的文件缺少Schema(表名,...
前言 写这篇文章的目的: 总结所学的 JVM 知识 帮助想了解 JVM 的朋友,知无不言,言无不尽 本篇文章将会介绍一下内容: 什么是 JVM JVM 用来做什么事情 JVM...
HeapSort 转载自:链接:https://www.jianshu.com/p/719b0de606a7 作者:Geek5Nan 侵删 主要内容概述 什么是二叉堆...
hive的库、表等数据实际是hdfs系统中的目录和文件,让开发者可以通过sql语句, 像操作关系数据库一样操作文件内容, 比如执行查询,统计,插入等操作。一直很好奇hive是...
前言: 一、背景介绍 二、大数据介绍 正文: 一、大数据相关的工作介绍 二、大数据工程师的技能要求 三、大数据学习规划 四、持续学习资源推荐(书籍,博客,网站) 五、项目案例...
hive性能优化 一、Map阶段的优化: (控制hive任务中的map数,确定合适的map数,以及每个map处理合适的数据量)。 map个数影响因子: input目录中文件总...