写在前面 本来是可以将数据存储在 容器内部 的。但是存在容器内部，一旦容器被删除掉或者容器毁坏（我亲身经历的痛，当时我们的大数据平台就是运行在docker容器内，有次停电后，...
发简信
IP属地：重庆
-
Docker 容器数据 持久化（系统学习Docker05）
-
JVM Run-Time Data Areas & 参数相关
jvm定义了各个运行时数据区： 运行时数据区： <=== 是一个规范，内存结构是一个实现1）部分运行时数据区域是在 jvm 创建时创建 销毁时销毁2）部分运行时数据区域是每...
-
基于Spark的电影推荐系统（推荐系统~7）
第四部分-推荐系统-实时推荐 本模块基于第4节得到的模型，开始为用户做实时推荐，推荐用户最有可能喜爱的5部电影。 说明几点 1.数据来源是 testData 测试集的数据。这...
-
基于Spark的电影推荐系统（推荐系统~1）
第四部分-推荐系统-项目介绍 行业背景： 快速：Apache Spark以内存计算为核心通用 ：一站式解决各个问题，ADHOC SQL查询，流计算，数据挖掘，图计算完整的生态...
-
Debezium SQL Server Source Connector+Kafka+Spark+MySQL 实时数据处理
写在前面 前段时间在实时获取SQLServer数据库变化时候，整个过程可谓是坎坷。然后就想在这里记录一下。 本文的技术栈： Debezium SQL Server Sourc...
-
Python 爬虫监控女神的QQ空间新的说说,实现秒赞,并发送说说内容到你的邮箱
这个文章主要是在前一篇文章上新增了说说秒赞的功能 前一篇文章可以了解一下 那么,这次主要功能就是 监控女神的 QQ空间,一旦女神发布新的说说,马上点赞,你的邮箱马上就会收到说...
-
windows下虚拟环境virtualenv的简单操作
使用豆瓣源安装(推荐) 【推荐】python3.X安装和pip安装方法 pip install -i https://pypi.douban.com/simple XXX 1...
-
阿里云服务器配置过程
一:重装系统我这里选择的是CentOS7.2 1.设置JDK环境 2.更换使用配置163源 首先备份/etc/yum.repos.d/CentOS-Base.repomv ...
-
在Docker中启动Cloudera
写在前面 记录一下，一个简单的cloudera处理平台的构建过程和一些基本组件的使用 前置说明 需要一台安装有Docker的机器docker常用命令： 启动cloudera ...
-
Gitlab+Gitlab-CI+Docker实现持续集成(CI)与持续部署(CD)
写在前面 记录一下，一个自动化开发部署项目的构建过程与简单使用，实现真正的DevOps gitlab Server安装(>=4g内存) 步骤一：安装依赖 yum -y ins...
-
Hive安装与简单使用并集成SparkSQL
Hive环境搭建 hive下载：http://archive-primary.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0.tar....
-
Hbase安装与简单使用
Hbase安装 wget http://archive-primary.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.7.0.tar.g...
-
Nginx=>Flume=>Kafka 流程总结
nginx=>flume=>kafka 编写flume 日志收集文件 nginx日志access.log====>flume 关于Kafka的部署 Step 1: Start...
-
Storm入门,看这篇就够了
部分一：Srorm 简介 1.1 Storm是实时的数据流，Hadoop是批量离线数据 起源背景 Twitter 开源的一个类似于Hadoop的实时数据处理框架 Storm是...
-
基于Spark的电影推荐系统（实战简介）
## 写在前面 一直不知道这个专栏该如何开始写，思来想去，还是暂时把自己对这个项目的一些想法 和大家分享 的形式来展现。有什么问题，欢迎大家一起留言讨论。 这个项目的源代码是...
-
Debezium SQL Server Source Connector+Kafka+Spark+MySQL 实时数据处理
## 写在前面 前段时间在实时获取SQLServer数据库变化时候，整个过程可谓是坎坷。然后就想在这里记录一下。 本文的技术栈： [Debezium SQL Server S...