接到一个有趣的作业，就是分析豆瓣用户关注的小组，通过小组标签给这个用户画像。任务主要有这几部分：1.通过爬取的数据，利用Spark Graphx对这些数据构图2.将这个图进行...
发简信
IP属地：北京
-
Spark Graphx分析豆瓣用户及小组 -
spark graphx 图计算写在前面 态度决定高度！让优秀成为一种习惯！ 世界上没有什么事儿是加一次班解决不了的，如果有，就加两次！（- - -茂强） 什么是一个图 一个网络Network 一个树Tre...
-
基于用户画像的实时异步化视频推荐系统前言 这个月做的事情还是蛮多的。上线了一个百台规模的ES集群，还设计开发了一套实时推荐系统。 标题有点长，其实是为了突出该推荐系统的三个亮点，一个是实时，一个是基于用户画像去...
-
Kafka Zero-Copy 使用分析
之前有听过Zero-Copy 技术，而Kafka是典型的使用者。网上找了找，竟然没有找到合适的介绍文章。正好这段时间正在阅读Kafka的相关代码，于是有了这篇内容。这篇文章会...
-
某互联网大厂kafka最佳实践
前言： 上手kafka已有2年的时间，我们的数据处理量也从最初的300g/day发展到今天的T量级在这个过程中也踩了不少坑，在这里分享出来和大家共勉。 一、硬件考量 1.1、...
-
Kafka 客户端TimeoutException问题之坑
各种TimeoutException问题 会抛出org.apache.kafka.common.errors.TimeoutException:message可能为各种： B...
-
kerberos体系下的应用(yarn,spark on yarn)kerberos 介绍 阅读本文之前建议先预读下面这篇博客kerberos认证原理---讲的非常细致，易懂 Kerberos实际上一个基于Ticket的认证方式。Client...
-
http to https升级记
最近准备搞一个小程序玩玩，到配置服务器域名的时候发现只支持https协议，迫于无奈，我不得不再次跳出自己的思维舒适区，发起了一次http向https的冲击在这方面我也了解的不...
-
Kafka学习之路kafka当前的版本是0.10.1新增加的新特性还是很多的，使用0.8.×的同学，可以多关注下了。原文地址：http://www.cnblogs.com/huxi2b/p/6...
