240 发简信
IP属地:北京
  • Scala中的枚举Enumeration

    总览 本文将会对scala中的枚举类型实现进行深入的探讨,并且和其他语言中的枚举做简单的比较。 什么是枚举 现实中的事物往往只有 有限 个个体组...

  • 准备断更了

    准备断更了,感觉好累。虽然账号注册的早,但是参加日更还是最近的事。已经到了每天晚上10点多还在想今天要写些什么,实在没有什么可写的,就把之前记录...

  • hdfs 文件统计

    hdfs、hive用一段时间之后,我们会想要知道文件系统里的文件哪些是经常被使用的,哪些是长时间没有被使用。 如果是用mapreduce或者sp...

  • elasticsearch优化思路笔记

    来自网上内容的总结 写入部分 批量写入优于每次写入1条数据。 每批次写入时设置routing为一个随机值,那么这批次数据会写入一个shard。减...

  • 电动车一定更环保吗?

    今天中午午饭后,跟一个同事闲聊。说到了车的事情,他是一台蔚来(之前是指南者)。他对电动车就非常推崇,原因是没有污染。在他的意识里,之前开燃油车的...

  • Resize,w 360,h 240
    YARN知识点总结

    如果把大数据Hadoop集群当作一台计算机, 那么 HDFS = 磁盘 YARN = 任务调度器+资源管理器 所有任务都是运行在Yarn上 Ya...

  • hive批量检查 partition是否存在,删除不存在的 partition

    hive表的数据有时会发生partition还在,但是数据已经被删除了的情况。为了找出这些partition,并删除数据已经不存在的partit...

  • 刚到新公司,就被同事请吃饭

    今天去公司加班了,中午吃饭的时候,我们几个同事一块儿去吃。找了两个饭店,人都特别多没有位置。因为我们七个人一起去的,都没有这么大的餐桌。后来,最...

  • Resize,w 360,h 240
    hdfs多用户读写权限设置

    多个用户都能对文件有操作(读写)权限. 1》在hdfs中设置umask为002, 则新目录的权限为775, 新文件的权限为664, 只要都是su...

个人介绍
15年工作经验,大数据架构师。
讲故事能力一般,讲讲初中数学题还行。