一. 运维 1. Master挂掉,standby重启也失效 Master默认使用512M内存，当集群中运行的任务特别多时，就会挂掉，原因是master会读取每个task的e...
发简信
IP属地：河北
-
Spark排错与优化
-
pySpark 机器学习库ml入门
在spark中提供了两个机器学习库mllib和ml，mllib的操作是基于RDD的，而ml则是基于DataFrame，是主流机器学习库。 1、ml包的概述 ml包包括三个主要...
-
LightGBM On Spark
通常业务中对计算性能有要求时，通常不使用GPU跑tf，会使用xgboost on Spark来解决，既保证速度，准确率也能接受。LightGBM是使用基于树的学习算法的梯度增...
-
python 股票策略
1- 读仓位信息： （1）先简单存到dic中，时间是倒序，在构造time_list中reverse即可（2） str,int转换 int(''.join(str1.spli...
-
从120斤到95斤的经验分享文章分为五个部分： 1.写在前面的话 2.120斤与95斤 3.减肥方法分析 4.饮食与运动（干货） 5.写在最后 一、写在前面的话 我一直觉得减肥是一件很私人的事情。 瘦下...
-
-
机器学习概念回顾、精确率、召回率、F1-score、准确率、AUC、ROC曲线很久没有温习机器学习的算法了，还是容易将一些基本的概念给弄混，那么本次回顾一下机器学习模型中的评估方式：对于回归问题来说，我们能够采用MSE、MAE、RMSE、R方的方式去衡...
-
bootstraping、bagging、boosting三个算法的概念及区别
Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来，形成一个性能更加强大的分类器，更准确的说这是一种分类算法的组装方法。即将弱分类器组装成强分类器...
-
信用评分卡（A卡/B卡/C卡）的模型简介及开发流程｜干货
如今在银行、消费金融公司等各种贷款业务机构，普遍使用信用评分，对客户实行打分制，以期对客户有一个优质与否的评判。但是不是所有人都知道信用评分卡还分A,B,C卡三类！ A卡（A...
