前置知识： RDD 与算子： RDD（类似 Stream） RDD（弹性分布式数据集）是 Spark 的核心抽象，代表一个分布式的、不可变的数据集合。它允许开发人员以容错的方...
发简信
IP属地：甘肃
-
浅聊 Spark DAG -
程序员算法基础——贪心算法
前言 贪心是人类自带的能力，贪心算法是在贪心决策上进行统筹规划的统称。 比如一道常见的算法笔试题----跳一跳： 有n个盒子排成一行，每个盒子上面有一个数字a[i]，表示最多...
-
kubernetes 日志采集方案 采用DaemonSet 还是 SideCar呢？
参考文献：https://mp.weixin.qq.com/s/7Rq0LFhIs8oJoDRmNqrKqw 日志最主要的采集工具是 Agent，在 Kubernetes 场...
-
基于elasticsearch suggester的中文检索建议实现写一下个人spark实现的es completion suggester，目录如下， Overview 检索建议suggestion（补全completion和纠正corre...
-
Ranger架构剖析Ranger介绍 2016年，Hadoop迎来了自己十周岁生日。过去的十年，Hadoop雄霸武林盟主之位，号令天下，引领大数据技术生态不断发展壮大，一时间百家争鸣，百花齐放。...
-
-
LSM Tree原理详解0 前言 对于存储介质为磁盘或SSD的数据库，长期以来主流使用B+树这种索引结构来实现快速数据查找。当数据量不太大时，B+树读写性能表现非常好。但是在海量数据情况下，B+树越...
-
编译原理-First集和Follow集以及预测分析算法实现(java)
本篇文章内的源码: 这里[https://gitee.com/wo883721/compilers] 一. 概念 1.1 串首终结符集 定义: 给定一个文法符号串α， α的...
-
单元测试之Mockito与PowerMock
什么是Mock？ 在单元测试中，我们往往想去独立地去测一个类中的某个方法，但是这个类可不是独立的，它会去调用一些其它类的方法和service，这也就导致了以下两个问题： 外部...
-
Java 函数组合
函数组合是一项把多个函数合并到一个函数的技术。你可以自己将多个独立的函数合并成一个函数（比如一个或多个 Java Lambda 表达式），但是对于函数组合 Java 也提供了...
-
【译】MapReduce: 在大规模机器上的简易数据处理概要 MapReduce 是一个处理和生成大数据集的程序模型和相关实现。用户定义一个 map 函数：处理一个 key/value 对生成一组中间键值对，和一个Reduce 函...
-
Java 函数式接口
Java 函数式接口 这个术语首先出自于 Java 8。Java 里的函数式接口 指的是一个接口只包含一个抽象方法。也就是说函数式接口可以包含拥有实现（方法体）的默认方法和静...
-
Java 高阶函数
一个高阶函数是指 一个函数使用函数作为参数或者执行完返回函数。在高阶函数教程中我将列举几个 Java 高阶函数的例子。 集合排序 高阶函数的第一个例子是使用 Compara...
-
公众号: PlayInJava<br><br>github: <a href="https://links.jianshu.com/go?to=https%3A%2F%2Fgithub.com%2Ffantj2016%2Fjava-reader" target="_blank">https://github.com/fantj2016/java-reader</a>
-
Maven 自定义archeType1. 什么是archeType 我们在创建maven项目的时候，你会发现有这么多的apache提供的模板。或者使用mvn archetype:generate命令来快速创建m...
-
Java 函数式编程
从历史上看，用 Java 进行函数式编程并不容易，甚至一些函数式编程在 Java 中是不可能实现的。在 Java 8 , Oracle 做了一些努力使得函数式编程变得更容易...
-
关于国内搭建stackoverflow的可行性
最近有个程序猿朋友向我吐槽，找个MySQL问题的解决方案怎么这么难？全是csdn上的水文，找了一天才找到一个有用的答案。为什么不去Google？没梯子，要钱，还违法。。。。那...
-
Java ThreadLocal 妙用
前言 最近公司需要做一个功能：导出报表的数据到 Excel 中，要求按报表内容分多个 sheet 导出；我用开源的 easy-excel 导出数据，easy-excel 写e...
-
Spanner: CAP, TrueTime and Transaction最近非常关注的一件事情就是 Google Spanner Cloud 的发布，这应该算是 NewSQL 又一个里程碑的事件。NewSQL 的概念应该就是在 12 年 Goog...
-
游戏排行榜设计背景 目标 设计一个排行榜拥有以下属性： 支持百万级排行 排序规则为：分数（正序）+获取到指定分数的时间（倒序） 提供 某个玩家名次前、后各10位的玩家 方案概述 活动玩家数...
