光阴似箭，岁月如梭。机器学习时间也将近大半年了，一直在思考为什么要学习这玩意。高数和线代一直是多少人的噩梦，讳莫如深的算法，加上spark、scala等各种复杂框架折磨你，仔...
发简信
IP属地：广东
-
-
@Life_0ecc 大数据平台数据清洗以后来的呀
大数据之点聚合算法
聚合点算法实现 在地图上查询结果通常以标记点的形式展现，但是如果标记点较多，不仅会大大增加客户端的渲染时间，让客户端变得很卡，而且会让人产生密集恐惧症（图1）。为了解决这一问...
-
-
从数据中提取有用特征
几乎所有的机器学习模型都是与用向量表示的数值特征打交道。因此，需要将原始数据转换为数值。 数值特征：这些特征通常为实数或整数，比如年龄 类别特征：它们的取值只能是可能状态集合...
-
ML Pipelines
pipelines中文意思是计算机流水线作业，通过pipelines的api可以很方便的实现数据工作流：数据源->特征转换->数据建模->数据预言 pipeline常用组件 ...
-
从贝叶斯定理到最大似然估计
昨天看到这样一道题，一机器在良好状态生产合格产品几率是 90%，在故障状态生产合格产品几率是 30%，机器良好的概率是 75%。若一日第一件产品是合格品，那么此日机器良好的概...
-
-
Spark中进行聚合时的特殊场景
在对数据进行统计分析时，如果对指标进行聚合运算，而待查询的字段中还包含了维度，则原则上我们还需要按照维度字段进行分组。倘若这个聚合运算为sum函数，分组之后就相当于分类汇总了...
-
spark sql快速入门
常用的sql查询引擎 hive，impala，hive on spark，presto（京东），drill（支持hdfs，hive），phoenix（hbase） 存储格式 ...
-
Hadoop分布式集群搭建
规划 配机器名称 配机器名称和ip地址的映射 ssh免秘钥 主节点要能ssh免秘钥到其它机器，需要将主机的id_rsa.pub 拷贝到其它节点 jdk安装 配置主从关系，并分发文件
