此文解决了Spark yarn-cluster模式运行时，内存不足的问题。 Spark yarn-cluster模式运行时，注意yarn.app.mapreduce.am.r...
发简信
IP属地：北京
-
Spark任务默认启动吃光内存的解决方法
-
常见深度学习框架对比本文转自陈云的《深度学习框架PyTorch:入门与实践》。感觉现在还很难说哪个深度学习框架更好（只有更流行的）。开发caffe的贾清扬被阿里从Facebook挖跑了，贾清扬应...
-
关于sklearn独热编码
一.数值型类别变量 #简单来说 LabelEncoder 是对不连续的数字或者文本进行编号 from sklearn.preprocessing import LabelEn...
-
pyspark dataframe基本操作看这篇就够了1 创建dataframe 1.1 读取文件创建 logFilePath:这是我自定义的一个参数,为文件路径encoding:文件编码格式,默认为utf-8header:是否...
-
Anaconda介绍、安装及使用教程〇、序 Python是一种面向对象的解释型计算机程序设计语言，其使用，具有跨平台的特点，可以在Linux、macOS以及Windows系统中搭建环境并使用，其编写的代码在不同...
-
sklearn.ensemble.RandomForestClassifier(随机森林)
随机森林是一种集成学习方法（ensemble），由许多棵决策树构成的森林共同来进行预测。为什么叫“随机”森林呢？随机主要体现在以下两个方面：1.每棵树的训练集是随机且有放回抽...
-
Anaconda3的安装和使用简介 用来管理不同版本的Python环境，自带很多常用软件包以及科学计算包。此处仅记录Ubuntu 16.04的安装和使用过程。 安装 去官网，下载安装包：Anaconda3...
-
什么是面向对象（OOP）
入门便是不识 从我们开始接触Java这门语言后，就有人告诉我们这是一个面向对象的语言。说的最多的是new个对象，其实并不知道什么是对象。以为对象就是一个class（类），并不...
