7篇文章 · 1839字 · 1人关注
运行spark下的MovieLensALS 准备: 将代码粘贴到idea中,会出现两个问题:scopt,可以在github中找到这个包,但需要自...
Spark-Streaming: 分析tomcat的日志 要求统计TOP 100的 IP 通过spark streaming得到(ip, ip_...
spark sql 通过Spark SQL 查询hive中的数据 要求提供操作截图 切换数据库,选择指定的表; 操作 3.编写sql 写一个简单...
hive 相关 搭建hadoop和hive,mysql的环境,过程截图 1.hadoop install 2.mysql install 3....
Spark 运行架构 解决原始数据乱码的问题 使用atom可以检查出文件的编码格式为gb2312 使用iconv可以直接转码,遇到错误忽略掉即可...
统计地区人数 提取出第四个字段,然后是一个wordcount程序; 具体代码 3.中文字符需要特别处理的问题,我没遇到 按手机号码(第3个字段)...
spark安装与部署 spark概述 spark平台结构spark统一栈 spark官网 spark的安装,配置,部署 下载配置jdk, sca...
文集作者