NEZHA Abstract 主要核心创新点：1.函数式相关性位置编码 2.全词mask策略 3.混合预测训练 4.LAMB优化器 1 Introduction google...
IP属地：浙江
-
nezha论文解析
-
transformer代码全解析
The Annotated Transformer 1 词嵌入 1.1 embeddings 词嵌入矩阵，大小为vocab词个数*d_model词向量长度 1.2 Posit...
-
bert原码解析(embedding)写这篇文章的起因是看ALBERT的时候，对其中参数因式分解，减少参数的方式不理解，后来通过原码来了解原理。后来想到虽然平时基于bert的nlp任务做的挺多的，但对原理还...
-
spark rdd编程
之前简单用了下spark ml,发现还是需要练习下基础的rdd使用，以方便模型的建立。 RDD操作 RDD被创建好以后，在后续使用过程中一般会发生两种操作： * 转换（T...
-
spark ml逻辑回归实现因为之前做的评分卡模型主要基于lr,xgboost。先做一个鸢尾花数据集的逻辑回归例子，熟悉spark ml机器学习流程。 1 先读取hdfs中文件到rdd中，再转换为dat...
-
spark ml逻辑回归（评分卡模型）之前做了个基于鸢尾花的逻辑回归模型。本篇做的是使用真实数据的lr模型，遇到的一些问题，解决在此记录。 1 读取数据。因为之前在sklean上做的时候导出了csv文件，所以这里...
-
spark ml使用本篇为spark上的第一个机器学习简单实例 spark上机器学习库分为spark mllib和spark ml，我们这里主要使用spark ml spark mllib针对对...
-
PyCharm+PySpark远程调试的环境配置的方法之前在工作中做过一个机器学习的驾驶人风险评分卡模型。 现在想把原来基于sklearn包做的单机模型，改成hadoop+spark的分布式计算，以提高工程化的计算效率。 在这过...