前言 在安装后hadoop之后，接下来需要安装的就是Spark。 scala-2.11.7下载与安装 具体步骤参见上一篇博文 Spark下载 为了方便，我直接是进入到了/us...
发简信
IP属地：加州
-
spark-2.2.0安装和部署——集群学习日记 -
Ubuntu分区方案(菜鸟方案、常用方案和进阶方案)
菜鸟方案 “/”与swap两个分区就可以应付绝大多数的应用 常用方案 分为3个区 1. 挂载点/；主分区；安装系统和软件；大小为30G；分区格式为ext4； 2. 挂载点/h...
-
psql基础语句及数据库导出
连接数据库 # psql [数据库名] 查看表 # \dt 查看表的所有字段 # \dt [表名] 列出所有数据库 # \l 退出psql # \q 查询 # select ...
-
十步完全理解 SQL
摘自【十步完全理解 SQL】 很多程序员视 SQL 为洪水猛兽。SQL 是一种为数不多的声明性语言，它的运行方式完全不同于我们所熟知的命令行语言、面向对象的程序语言、甚至是函...
-
Nginx从听说到学会
第一章 Nginx简介 Nginx是什么 没有听过Nginx？那么一定听过它的“同行”Apache吧！Nginx同Apache一样都是一种WEB服务器。基于REST架构...
-
Kafka入门经典教程Kafka入门经典教程-Kafka-about云开发 http://www.aboutyun.com/thread-12882-1-1.html 1.Kafka独特设计在什...
-
列存储格式Parquet浅析Parquet调研报告 1. 概述 1.1 简介 Apache Parquet是Hadoop生态圈中一种新型列式存储格式，它可以兼容Hadoop生态圈中大多数计算框架(Had...
-
Spark与Apache Parquet七十年代时，有一长辈连练铁砂掌，功夫成了之后，可以掌断五砖，凌空碎砖，威风得不得了。时至八十年代，只能掌断三砖。到九十年代只能一砖一砖的断了。他说，一直以为功力退步了，后来才...
-
笔记：新手的Spark指南macOS Sierra 10.12.4 Spark 1.6.2 Python 2.7 转载请注明出处：http://blog.csdn.net/MrLevo520/arti...
-
spark 学习笔记
Spark学习笔记 Data Source->Kafka->Spark Streaming->Parquet->Spark SQL(SparkSQL可以结合ML、GraphX...
-
Superset搭建及其简单使用背景 老板一直反馈说我们给不了他想要的, 关键每次他想要的都不一样, 每实现一个新功能, 他就想要一堆相关的信息, 我要将这些信息都给他做成网页, 用图表展示出来, 各种维度...
-
Spark基本概念快速入门Spark集群 一组计算机的集合，每个计算机节点作为独立的计算资源，又可以虚拟出多个具备计算能力的虚拟机，这些虚拟机是集群中的计算单元。Spark的核心模块专注于调度和管理虚...
-
如何对MongoDB 3.2.7进行用户权限管理配置
上次写了一篇在CentOS7上源码安装MongoDB 3.2.7，完成了MongoDB 3.2.7的安装，但需要应用到实际生产环境中，安全问题是必须要处理的。本篇主要介绍如何...
-
mongodb分片初探为什么要分片 增加单台服务器可用的磁盘空间 减轻单台服务器的负载 处理单个mongod无法承受的吞吐量 分片原理 mongos路由 配置服务器 shard分片 如何分片 机器...
-
启动报错：ERROR: child process failed, exited with error number 1
启动报错：ERROR: child process failed, exited with error number 1 原因：上次mongodb未正常关闭 解决方法： 重新...
-
mongoDB 学习笔记纯干货（mongoose、增删改查、聚合、索引、连接、备份与恢复、监控等等）最后更新时间：2017-07-13 11:10:49 原始文章链接：http://www.lovebxm.com/2017/07/13/mongodb_primer/ Mon...
-
MongoDB权限设置
本文阅读对象： MongoDB权限设置不熟悉者 MongoDB开发者 其他对MongoDB感兴趣的开发者 对技术感兴趣的吃瓜群众 MongoDB是一个基于分布式文件存储的数据...
-
基于AWS S3协议搭建个人云存储服务
相信风靡全球的亚马逊 AWS S3 的存储云服务大家已经耳熟能详了，如何自己搭建一个私有的S3存储云服务呢？ Minio 提供对象存储服务，兼容了 AWS S3 存储协议，用...
