最近很多人都想学习大数据开发,但是却不知道如何开始学习,今天专门整理了一份针对大数据初学者的大数据开发学习路线。 下面分十个章节来说明大数据开发要学习的内容: 这里还是要推荐...
最近很多人都想学习大数据开发,但是却不知道如何开始学习,今天专门整理了一份针对大数据初学者的大数据开发学习路线。 下面分十个章节来说明大数据开发要学习的内容: 这里还是要推荐...
虽然一直在接触这些专业的名词,但是一直理解的不深刻,所以今天特地查了一些官方解释和很多优秀的博客文章,将关于这些方面的理解记了下来,先将这些简称做一个解释: 1、DB(Dat...
一、概述 本篇文章主要介绍如何使用SparkStreaming + flume + Kafka 实现实时数据的计算,并且使用高德地图API实现热力图的展示。 背景知识: 在有...
18年,在做年度复盘时,回顾了自己过去一年的产品工作,发现了几个共性的问题,其中有一个就是:需求场景考虑不全面,开发过程中还会有需求变更。很不巧,开发GG们最讨厌的就是需求频...
高并发系统各不相同。比如每秒百万并发的中间件系统、每日百亿请求的网关系统、瞬时每秒几十万请求的秒杀大促系统。 他们在应对高并发的时候,因为系统各自特点的不同,所以应对架构都是...
1、NullPointerException 空指针异常,操作一个 null 对象的方法或属性时会抛出这个异常。具体看这篇文章:Java 避免空指针的 5 个案例。 2、Ou...
Java Socket编程 对于Java Socket编程而言,有两个概念,一个是ServerSocket,一个是Socket。服务端和客户端之间通过Socket建立连接,之...
1.单例模式 每个类只能创建一个实例对象 JavaSingleton模式主要作用是保证在Java应用程序中,一个类Class只有一个实例存在。使用Singleton的好处还在...
引言:之前大四的时候觉得大数据很火,就尝试搭建了一个单节点的hadoop玩过,最近工作慢慢有点空闲就开始搭建3节点的大数据平台,现在整个大数据的生态圈已经完善了很多了,花了一...
由于最近学习大数据开发,spark作为分布式内存计算框架,当前十分火热,因此作为首选学习技术之一。Spark官方提供了三种集群部署方案: Standalone, Mesos,...
个人主页:http://www.linbingdong.com 简介 本文主要记录如何安装配置Hive on Spark,在执行以下步骤之前,请先确保已经安装Hadoop集群...
最近在学习大数据技术,朋友叫我直接学习Spark,英雄不问出处,菜鸟不问对错,于是我就开始了Spark学习。 为什么要在Docker上搭建Spark集群 Spark本身提供L...
Hive on Mapreduce Hive的原理大家可以参考这篇大数据时代的技术hive:hive介绍,实际的一些操作可以看这篇笔记:新手的Hive指南,至于还有兴趣看Hi...
1、应尽量避免在 where 子句中使用!=或<>操作符,否则将引擎放弃使用索引而进行全表扫描。 2、对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 ord...