1. 首先介绍下一些参数指标 精确率(Precision)：Precision 真阳性率(True Positive Rate，TPR)，灵敏度(Sensitivity)，召...
发简信
IP属地：山东
-
ROC和AUC介绍以及如何计算AUC -
Spark性能优化-数据倾斜调优Spark性能优化分为四个方面： 1、开发调优2、资源调优3、数据倾斜调优4、shuffle调优 数据倾斜调优 1. 使用Hive ETL预处理数据适用场景：导致数据倾斜的是...
-
Spark性能优化-资源调优
Spark性能优化分为四个方面： 1、开发调优2、资源调优3、数据倾斜调优4、shuffle调优 资源调优 num-executors参数说明：该参数用于设置Spark作业总...
-
Spark性能优化-开发调优Spark性能优化分为四个方面： 1、开发调优2、资源调优3、数据倾斜调优4、shuffle调优 1. 开发调优 1.1 避免创建重复的RDD对于同一份数据，只应该创建一个R...
-
理解RDD、DataFrame、Dataset区别先上图 rdd 优点1.强大，内置很多函数操作，group，map，filter等，方便处理结构化或非结构化数据2.面向对象编程，直接存储的java对象，类型转化也安全缺点1...
-
关于SparkSQL中withColumn生成自增序列的一个坑多个分区情况下 首先我们创建一个RDD并设置分区数为2，然后转换成DataFrame，生成一列新的ID 然后我们看下生成的ID，可见同分区连续 一个分区情况下 我们使用coa...
-
Spark任务提交流程1. Spark运行原理 （1）sparkContext向资源管理器注册并申请资源（2）资源管理器根据预先设定的算法，在资源池里分配合适的Executor运行资源（3）应用(...
-
-
-
Hive SQL中关于反引号的使用
Hive中“`”的使用 当遇到存在以下划线开头的字段的表时，例如“_c1”，如图所示 常规的无引号字段查询会报错，如图所示： 所以在Hive中使用SQL语句时，查询操作最好将...
-
Python类中的private修饰符
默认情况下，Python中的成员变量和方法都是public的，而Python中没有类似public、private等访问修饰符控制访问权限。 如果要使用私有变量需要在变量名或...
-
本专题仅收录求职、简历、换工作、职业规划、招聘、职场干货、上班感悟、管理提升、工作效率等与上班相关文章。 专题投稿和推荐到首页等事宜请看须知：http://www.jianshu.com/p/a74168f36c2d 专题主编：不世虹霓 https://www.jianshu.com/u/70c7ef96b1b3 官方交流群【简书•上班这点事儿】 各位作者大大们好～我是咱专题的新主编（简书ID：不世虹霓），很高兴认识大家(o^^o) 有几个关于专题的小变化想和大家分享： 1、从今天起，每天会由我们专题的首席推广官 @美熙酱 在 专题的几个社群内分享专题日报，核心内容主要包括：专题好文推荐（每日3篇，帮助作者提升阅读量）、金句分享等，未来还会不断更新补充内容。如果你们有什么想要了解的资讯，也欢迎随时告诉我们哟～ 2、目前专题有3个社群，平时都静悄悄的，也有不少小伙伴重复进群。为了营造更好的社群氛围，让它重新激发活力，这个月我们会就社群进行一些调整。每个群会设定不同主题，之后会组织线上交流、研讨活动，也会陆续邀请一些职场咖给我们做群内经验分享。此外，每个群会有一名『专题金牌导师』常驻，和大家进行更多交流互动。原则上每位小伙伴不重复入群，具体规则和活动稍后公布，敬请期待。 3、群内可分享任何来自简书的链接（包括简书各个公众号），但不可以分享其他的一切外链（包括公公众号及个人名片、截图），不可以发任何推广、广告信息，否则群主和管理员会直接抱走，随时损失几个亿哦～ 衷心希望大家能在上班专题有所收获，有所成长。 最后：你一定要努力，但千万别着急😘
