83篇文章 · 109454字 · 4人关注
-
天池新闻推荐比赛-多路召回一、多路召回 所谓的“多路召回”策略，就是指采用不同的策略、特征或简单模型，分别召回一部分候选集，然后把候选集混合在一起供后续排序模型使用，可以...
-
天池新闻推荐比赛-数据探索
train_click_log.csv文件数据中每个字段的含义¶[https://tianchi.aliyun.com/mas-notebook...
-
天池新闻推荐比赛-赛题理解
一 赛题简介： 二评价方式 假设article1就是真实的用户点击文章，也就是article1命中，则s（user1，1）=1，s(user1,...
-
Scala 高级函数（一）
一、高阶函数 定义函数，调用函数 函数作为值进行传递 函数作为参数进行传递 函数可以作为函数返回值进行返回 二、匿名函数 （1）参数的类型可以省...
-
Spark（四十二）数据倾斜解决方案之使用随机数以及扩容表进行join一、背景 当采用随机数和扩容表进行join解决数据倾斜的时候，就代表着，你的之前的数据倾斜的解决方案，都没法使用。 这个方案是没办法彻底解决数据...
-
Spark（四十一）数据倾斜解决方案之sample采样倾斜key进行两次join一、背景 这个方案的实现思路，跟大家解析一下：其实关键之处在于，将发生数据倾斜的key，单独拉出来，放到一个RDD中去；就用这个原本会倾斜的ke...
-
Spark（四十）数据倾斜解决方案之将reduce join转换为map join一、背景 普通的join，那么肯定是要走shuffle；那么，所以既然是走shuffle，那么普通的join，就肯定是走的是reduce joi...
-
Spark(三十九)数据倾斜解决方案之使用随机key实现双重聚合一、方案 使用随机key实现双重聚合 1、原理 2、使用场景 比较适合使用这种方式；join，咱们通常不会这样来做，后面会讲三种，针对不同的jo...
-
Spark（三十八）数据倾斜解决方案之提高shuffle操作reduce并行度一、背景 1、第一个和第二个方案，都不适合做。 2、第三个方案，提高shuffle操作的reduce并行度 将reduce task的数量，变多...
文集作者