还记得好几年前，大概13或者14年，当时不过是一个普通的工薪族，虽然玩玩程序代码，但是高不成低不就，没有办法，作为程序媛，多少不会具备程序猿的那种对代码符号的冲动。每日也就是...
发简信
IP属地：浙江
-
从程序猿到一名水彩画手：我的画画工具篇 -
Spark的数据本地化和延迟调度策略
一.概述 Spark数据本地化即计算向数据移动，但数据块所在的Executor不一定有足够的的计算资源提供，为了让task能尽可能的以最优本地化级别（Locality Lev...
-
Apache Kylin 从零开始构建Cube(含优化策略)前言 Apache Kylin采用“预计算”的模式，用户只需要提前定义好查询维度，Kylin将帮助我们进行计算，并将结果存储到HBase中，为海量数据的查询和分析提供亚秒级返...
-
Spark消息通信原理一.NettyRpcEnv主要组件 子组件TransportConf，Dispatcher，TransportClientFactory，TransportServer Tr...
-
Spark中RangePartitioner的实现机制分析
一.分区器的区别 HashPartitioner分区可能HashPartitioner导致每个分区中数据量的不均匀。 RangePartitioner分区尽量保证每个分区中数...
-
Spark任务输出追踪器MapOutputTracker详解
一.什么是shuffle MapOutputTrancker用于跟踪map任务的输出状态，此状态便于reduce任务定位到map输出结果所在的节点地址，进而获取中间输出结果，...
-
决策树与随机森林及其在SparkMllib中的使用一.概念 决策树和随机森林：决策树和随机森林都是非线性有监督的分类模型。 决策树是一种树形结构，树内部每个节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶子节点代表...
-
Flink中指定Key的几种方式
前言 在Flink中比如某些算子（join,coGroup,keyBy,groupBy）要求在数据元上定义key。另外有些算子操作，例如reduce，groupReduce，...
-
Flink中实用的小知识点整理
目录 1、Flink使用WaterMark处理乱序事件2、累加器和计数器3、Window使用4、流的切分和合并5、任务链6、Flink消费kafka数据起始offset配置7...
-
有意思了😊
《长安十二时辰》在讲什么？
1. 《长安十二时辰》中有这样一个桥段:皇帝派大太监高力士传口谕给靖安寺的司丞李必： 你替太子办事，受了委屈，朕已经知道了。 高喝退随从，低声问李，圣人的话，你听明白了？李必...
-
这个品控手册，助理不舍得让我发……在写这个品控手册时，刚开始内心很是拒绝，甚至感觉有点丢人。 毕竟这只是一个小号，大多数时候阅读量不到 8000 。 「又没多少人看，品控个什么鬼啊？！」 心态扭转的契机是某次...
-
转角遇到爱——一套为前男友和丈夫准备的婚纱
我们今天失恋信物是：一套为前男友和丈夫准备的婚纱 感情的事情其实很奇怪的，说不好自己的另一半在哪里等着你！ 有时候真的是就是在转角，只是看你有没有努力去走到转角。 1. 20...
-
Java消息系统简单设计与实现前言：由于导师在我的毕设项目里加了消息系统（本来想水水就过的..），没办法...来稍微研究研究吧..简单简单... 需求分析 我的毕设是一个博客系统，类似于简书这样的，所以消...
