自由创业者，爱好广泛。IT技术、经济、投资、人性、心理学，希望在这里记录自己的进阶之路，共勉。
发简信
IP属地：海南
-
【内推】【社招/校招】字节跳动 大数据和分布式计算的同学看过来~
字节跳动内推了 ~~~ 如果是社招，邮件名请以“姓名-职位”命名，发送简历到 liaojiayi@bytedance.com如果是校招，直接访问投递链接: https://j...
-
今年的目标是一个月刷一本书
-
个人见解 :)。
数据SCT定律：存储，计算，时间
其实没有SCT定律，这个是我根据分布式CAP定律瞎造的。不过呢，从大数据这个行业来说，我们始终都是在存储，计算和时间进行权衡，博弈以及突破。某种程度上来说，当拥有其中两者，可...
-
文章很棒！
```
我们没有一个统一的大数据应用，还是各种应用孤立的跑在硬件上（我们会把Yarn,K8s当做硬件），这个时候我们会尝试使用Spark，Preso,Impala,Kylin等各种系统解决各自的问题。
```
关于这点，YARN和K8S在数据处理中更多的是承担一个资源管理的作用。而Spark，Presto，Impala等本身更专注于计算（ETL）本身。Kylin是一个相对完备的OLAP系统，从处理到查询展现。这些本身跟YARN等资源管理组件并没有冲突哈。数据SCT定律：存储，计算，时间
其实没有SCT定律，这个是我根据分布式CAP定律瞎造的。不过呢，从大数据这个行业来说，我们始终都是在存储，计算和时间进行权衡，博弈以及突破。某种程度上来说，当拥有其中两者，可...
-
聊聊Apache Flink中的Watermark
注：本文转自我的个人博客。 Watermark是流式处理中的一个基础概念，关于Watermark的概念有很多，在这里不做阐述。 Watermark特性 这不是官方的表述，我根...
-
java.lang.OutOfMemoryError: Map failed
最近遇到这个Exception，发现不少开源框架在实现快速读写文件时，采用的都是FileChannel的map方法，示例如下： 这个方法的作用是将文件映射到堆外内存中，然后通...
-
Spark - 利用WeakReference来清理对象
注：本文转自我的个人博客（Spark - 利用WeakReference来清理对象）。 最近在stackoverflow上看到有人好奇Spark是在什么时机对Accumula...
-
PingCAP 是一家开源的新型分布式数据库公司，秉承开源是基础软件的未来这一理念，PingCAP 持续扩大社区影响力，致力于前沿技术领域的创新实现。其研发的分布式关系型数据库 TiDB 项目，具备「分布式强一致性事务、在线弹性水平扩展、故障自恢复的高可用、跨数据中心多活」等核心特性，是大数据时代理想的数据库集群和云数据库解决方案。目前准生产测试用户 1000 余家，并已被 200 余家不同行业的领先企业应用在实际生产环境，涉及互联网、游戏、金融、政府、电信、制造业等多个领域。（官网：<a href="https://links.jianshu.com/go?to=http%3A%2F%2Fpingcap.com" target="_blank">http://pingcap.com</a> 源码地址：<a href="https://links.jianshu.com/go?to=http%3A%2F%2Fgithub.com%2Fpingcap" target="_blank">http://github.com/pingcap</a>）
-
Bitmap - 性能和原理研究
注：本文转自我的个人博客（Bitmap - 性能和原理研究） Paper原文地址：An Experimental Study of Bitmap Compression vs...
-
管理500亿美金的对冲基金给Spark社区贡献代码？先科普一下大名鼎鼎的Two Sigma吧。2001年创立，现在管理多达500亿美金的资产，排名对冲基金公司的全球第四！！！做为一家知名的对冲基金，为何他们给Apache Sp...
-
Aerospike(3) - Evict机制
注：本文转自我的个人博客 Aerospike(3) - Evict机制。 在实时的场景中，我们往往会对Aerospike/Redis等设置evict机制，来防止流量暴增带来的...
-
自主驾驶里的Apache Spark当今的自主驾驶是典型的数据驱动的产业，八仙过海各显神通。无论技术多么先进，他们所有决策和算法都是来基于senor产生的数据。比如，以Udacity Lincoln MKZ为例...
