240 发简信
wangdy12
IP属地：上海
  • Resize,w 360,h 240
    Spark 内存管理

    Spark是基于内存的计算引擎，就是说它高效的使用了分布式节点上的内存资源，尽可能多的使用内存，而不是将数据写入磁盘。内存管理机制就是其中的核心...

    2294 0 0
  • Resize,w 360,h 240
    HBase

    最近看了Bigtable的论文，所以结合着看了HBase的实现 HBase是一个开源的，分布式，版本化的非关系型数据库，模仿Google Big...

    0.3 992 0 1
  • Resize,w 360,h 240
    Java 火焰图

    火焰图是进行性能分析的工具，可以通过Flame Graph获取指定程序的火焰图，目前IDEA也增添了火焰图功能，叫做CPU Profiler F...

    0.3 15007 0 5
  • Spark ShutdownHook

    按照优先级在关闭时执行一系列操作，在spark内用途很广泛，主要是释放资源，删除文件等 使用 ShutdownHookManager Shutd...

    0.1 4771 0 2
  • Resize,w 360,h 240
    Docker 概念

    Docker是基于容器的应用开发，部署和运行平台 高性能：相比传统虚拟机，不需要hepervisor的额外负载，而是直接在主机内核中运行，可以在...

    1590 0 0
  • Java CPU亲和性

    最近在项目中碰到整个进程的CPU占用率极低，分析了很久，才排查到是CPU亲和性相关的问题，因为在项目启动配置过程中，调用了一个FPGA的初始化操...

    0.1 4508 0 2
  • Unsafe类详解

    Unsafe类是进行底层操作的方法集合，可以直接操作内存，进行一些非常规操作，所以说是"不安全"的操作，但是因为直接操作内存，它的效率很高，通常...

    0.2 4685 1 3
  • Resize,w 360,h 240
    Spark RPC 通信机制

    相关概念 主要涉及RpcEnv，RpcEndpoint，RpcEndpointRef，其中RpcEnv是通信的基础，每个通信节点上都需要实现该类...

    0.3 2921 0 3
  • Spark SortShuffleWriter

    这是三种ShuffleWriter中最通用的情况，对应BaseShuffleHandle，此时可以在map端进行数据合并，否则不向排序工具Ext...

    1030 0 0
暂无个人介绍