SSL(Secure Sockets Layer (SSL) and Transport Layer Security (TLS))被设计为加强Web安全传输(HTTP/HT...
SSL(Secure Sockets Layer (SSL) and Transport Layer Security (TLS))被设计为加强Web安全传输(HTTP/HT...
学到死都学不完,新技术又层出不穷
大数据平台技术栈技术栈全貌 下面自底向上介绍各个层的主要项目。 1 采集层和传输层 Sqoop 在hadoop和关系型数据库之间转换数据。 Flume Flume是一个分布式的高可用的数据收...
前言Hadoop2.0之前,NameNode是单个集群的故障点,NameNode作为集群首脑,存放着集群中所有的元数据,一旦节点出错,将导致整个集群不可用。为了解决这个问题,...
I/O是任何一个程序设计者都无法忽略的存在,很多高级编程语言都在尝试使用巧妙的设计屏蔽I/O的实际存在,减小它对程序的影响,但是要真正的理解并更好运用这些语言,还是要搞清楚I...
前言 最近有些朋友在面试阿里,加上 Java-Interview 项目的原因也有小伙伴和我讨论,近期也在负责部门的招聘,这让我想起年初那段长达三个月的奇葩面试经历🤣。 本来没...
本文基于Spark 1.3.1,Standalone模式 一个Spark Application分为stage级别和task级别的调度,stage级别的调度已经用[DAGSc...
今天注册了账号,因为有三年来有太多太多的话憋在心里,怕自己有一天突然走了就说不出来了。里面的每一句话都是我的亲身真实经历 我是一名93年的女孩,与白血病已斗争三年半了,从化疗...
自冯诺依曼开启大计算机时代以来,经过近一个世纪的蓬勃发展,已然成为一个人才众多的群体:IT江湖。 依附市场规律,江湖上悄然兴起数十宗门,其中以AI,大数据近期最为热门。 每个...
一、分布式的两大场景 数据存储的分布式 服务的分布式 二、数据存储的分布式 比如海量数据,单机存储不下,需要多机,以集群的方式存储,即为数据的分布式存储,数据存储的分布式一般...
Spark提供的所有计算,不管是批处理,Spark SQL,Spark Streaming还是Spark ML,它们底层都是通过RDD计算。所以这里就以RDD方式简单上手。首...
micro-batches Processing & Continuous Processing Structured Streaming 在Apache Spark 2.0...
开发工具 scala 2.11.8 jdk8 intellij idea 2017(scala plugin) maven(3.3.9) 导入源码(多种方式): 安装git...