1.1 Scala概述 1.1.1 什么是Scala? Martin Odersky在2001年开始开发ScalaSca(scalable)La(language) 设计目标...
1.1 Scala概述 1.1.1 什么是Scala? Martin Odersky在2001年开始开发ScalaSca(scalable)La(language) 设计目标...
环境安装和配置 应用环境配置 创建应用 migrations迁移文件集合 admin.py:项目的后台 apps.py:应用设置 models.py:模型(数据库) view...
19.1 什么是scrapy Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架,我 们只需要实现少量的代码,就能够快速的抓取 Scrapy 使用了Twist...
5.1 定义Map 数组是包含一组元素的集合,映射是包含一组键值对应元素的集合。 构造不可变映射val Z=Map(a1->b1, a2->b2, a3->b3)val Z=...
Scala高阶技巧高阶函数Scala作为一门“函数式编程语言”,函数是一个值,能被传递和操作模式匹配match表达式的高级应用,样例类类型参数通过类型参数构建类和函数、方法,...
7.1 Scala面向对象的概念 类(class)类是对象的模板,通过构造类,能够使用new关键字声明一系列同结构的对象 对象(object)除了使用类构造对象模板,可以使用...
8.1 对象 单例对象 伴生对象 扩展类和特质构造一个扩展了指定类和特质的类的对象,同时拥有对象定义中给出的所有特性 apply方法 8.1.1 单例对象 object语法定...
9.1 继承-2 保护 构造 9.1.1 保护 当一个类不希望被继承、拓展时,可在类声明前加上final保留字final class year{...} 当一个类的某些成员不...
10.1 什么是Apache Spark Spark是针对大规模数据处理的高效通用引擎 用Scala编写运行在JVM上的函数式编程语言 Spark Shell交互式-进行数据...
1.1 组网配置 建议的Cloudera组网配置如下图,主要包含数据网络和管理网络。 1.2 数据网络 数据网络是用于数据访问的节点之间的私有集群数据互连,比如在集群内的节点...
版本: CENTOS7.2 CDH5.10 Kudu1.2 2.1 概述 本文CENTOS7.2操作系统部署CDH企业版的过程。Cloudera企业级数据中心的安装主要分为4...
版本: CENTOS7.2 CDH5.10 Kudu1.2 3.1 Kudu安装 CDH从5.10开始,打包集成Kudu1.2,并且Cloudera正式提供支持。这个版本开始...
4.1 问题概述 CDH中默认不支持Lzo压缩编码,需要下载额外的Parcel包,才能让Hadoop相关组件如HDFS,Hive,Spark支持Lzo编码。 首先在没做额外配...
5.1 问题 默认Hive中创建有中文注释的表时,无论是在Hive CLI还是Hue中该注释显示都会是乱码。如使用以下建表语句: 在Hive CLI中查看如下:在Hue中显示...
6.1 实验环境介绍 Windows Server2008 R2(windows的内核版本是6.1,与windows 7相同)下安装Kerberos Client及FireF...
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供...
8.1 实验内容环境介绍 将Cloudera Manager在Kerberos环境下迁移至新的CM节点。迁移Cloudera Manager节点迁移MySQL元数据库迁移Ke...
9.1将原CM节点数据迁移至新节点 9.1.1备份原CM节点数据 主要备份CM的监控数据和管理信息,数据目录包括: 9.1.2 修改CM的数据库配置信息 修改新CM的数据库配...
10.1 实验内容环境介绍 基于CDH使用parcels安装且未配置安全(AD/LDAP, Kerberos, Data Encryption)的集群 测试环境:操作系统版本...
专注数据分析,专注算法模型,不空谈,只给可操作的策略! 行情分析 说明:星级为1-5星,越多说明越具备投资价值,可作为定投依据 A股 上证、创业板、深证、中小板继续维持1颗星...