AlstonWilliams

@爱上民谣的少年 写过代码吗？Spark里面很多时候Scala和Java混用不懂吗？

Scala ArrayBuffer/ListBuffer vs Java ArrayList

在我们编写Scala代码的时候，由于ListBuffer方便的特性，所以经常会使用ListBuffer。过去也一直没有什么问题。 但是呢，最近在我们的项目中，出现了一个非常严...

AlstonWilliams

3064 3 1

AlstonWilliams

在YARN源码解析(5)-MapReduce中，在数据本地节点分配Task是如何做到的？中，我们介绍了MapReduce如何在block所在的Host上分配Mapper的。 ...

AlstonWilliams

这本书中，主要介绍了黑天鹅事件的产生，以及它的原理． 其实黑天鹅事件，并不是每件会改变历史进程的大事，才叫黑天鹅事件．而是，每件我们个人没有预测的事情，其实都可以看成黑天鹅事...

AlstonWilliams

今日在家无聊，翻了一遍《如何阅读一本书》． 这本书早就购来了，但是一直没有动过．最近从某个博客上看到了此书中的只言片语，感觉实在是醍醐灌顶，于是下决心翻一下这本书． 我这人，...

AlstonWilliams

前几天，在看Hadoop User Email List的时候，发现了一个关于HDFS Centrailzed Cache的问题。刚好我又不熟悉这块，甚至之前都没听说过，就好...

AlstonWilliams

在我们编写Scala代码的时候，由于ListBuffer方便的特性，所以经常会使用ListBuffer。过去也一直没有什么问题。 但是呢，最近在我们的项目中，出现了一个非常严...

AlstonWilliams

在这篇文章中，我们来探究一下Scala HashMap.put(k, v)以及Java HashMap.put(k, v)的性能。 具体代码没看，以后补充。 Scala Ha...

AlstonWilliams

在上一篇文章Spark内存模型初探(1)-Storage/Execution Memory的使用中，我们初步解析了一下Storage/Execution Memory的使用。...

AlstonWilliams

过去，我翻译了几篇关于Spark内存模型的文章。翻译完以后，我觉得我对Spark内存模型已经够理解了，可是，纸上得来终觉浅，实际跑Spark任务的时候，还是会遇到OOM，而我...

AlstonWilliams

笔者最近在测试Spark的内存模型，测到ExecutionMemory的使用时，老是没发现分配任何ExecutionMemory。怀疑由于是在同一台主机上开启的多个Worke...

AlstonWilliams

笔者所在的公司，最近遇到了一个非常诡异的问题-我们在执行Get操作时，发现迟迟不能返回，等了好久都超时了。而此时超时时间我们实际上已经设置成了20分钟。 另一个诡异的问题是，...

AlstonWilliams

1 不得撒谎、欺骗、行窃，也不得容忍他人有这种行为；不推卸责任；无私奉献。2 对我们将要服务的人民和社会要有十分清除的认识；在工程学、自然科学和人文科学方面要得到均衡...

AlstonWilliams

笔者最近要调试一个线上的HBase bug，所以需要做到本地配置等跟线上完全一样。其它的都还好说，但是到了Snappy这儿却碰了一鼻子灰。 所以，在这篇文章，我会介绍如何在本...

AlstonWilliams

原文地址:https://haydenjames.io/web-host-doesnt-want-read-benchmark-vps/ 译者注：本篇文章只是非常简单的概括原...