240 发简信
IP属地:西藏
  • 120
    在轻松气氛中浅谈——Apache Kylin

    Csdn我自己的账号下同步更新此篇:https://blog.csdn.net/w635614017/article/details/82801573 一.Kylin是什么?...

  • 有妹子的可爱风,分不清雌雄

  • 你好,我想问一下,为什么在采集nginx日志时,每台机器启动一个agent,然后所有机器先合并到一个flume,再sink到kafka中。直接flume-kafka中,不合并会有什么影响

  • 120
    Flume之采集Nginx的日志

    Flume是一种分布式,可靠且可用的服务,用于有效地收集,聚合和移动大量日志数据。 它具有基于流数据流的简单灵活的架构。 它具有可靠的可靠性机制和许多故障转移和恢复机制,具有...

  • 你好,我想问一下,为什么在采集nginx日志时,每台机器启动一个agent,然后所有机器先合并到一个flume,再sink到kafka中。直接flume-kafka中,不合并会有什么影响

    Flume之采集Nginx的日志

    Flume是一种分布式,可靠且可用的服务,用于有效地收集,聚合和移动大量日志数据。 它具有基于流数据流的简单灵活的架构。 它具有可靠的可靠性机制和许多故障转移和恢复机制,具有...

  • 大佬,kafka->DStream->dataframe->生成临时的HFile->保存到HBASE上,这些在一个文件里能实现吗。日志量比较大,是json格式的。
    我用这种方法写完之后报错:
    scala.reflect.internal.Symbols$CyclicReference: illegal cyclic reference involving object InterfaceAudience
    assertion failed: no symbol could be loaded from interface org.apache.hadoop.hbase.classification.InterfaceAudience$Public in object InterfaceAudience with name Public and classloader sun.misc.Launcher$AppClassLoader@18b4aac2

    Spark:DataFrame写HFile (Hbase)一个列族、一个列扩展一个列族、多个列

    扩展:Spark:DataFrame生成HFile 批量导入Hbase在上一篇博文中遗留了一个问题,就是只能处理DataFrame 的一行一列,虽然给出一个折中的办法处理多个...

  • 大佬,kafka->DStream->dataframe->生成临时的HFile->保存到HBASE上,这些在一个文件里能实现吗。日志量比较大,是json格式的。
    我用这种方法写完之后报错:
    scala.reflect.internal.Symbols$CyclicReference: illegal cyclic reference involving object InterfaceAudience
    assertion failed: no symbol could be loaded from interface org.apache.hadoop.hbase.classification.InterfaceAudience$Public in object InterfaceAudience with name Public and classloader sun.misc.Launcher$AppClassLoader@18b4aac2

  • 在代码里直接load,以及生成keyvalue时一次处理多列,这些小编有解决吗

    Spark:DataFrame生成HFile 批量导入Hbase

    批量加载-Bulk Load 在工作过程中有个需求,需要将DataFrame的数据保存进Hbase,并且在Spark集群并没有安装Hbase,此时对于常规的使用put将Dat...

  • 在大公司实习六个月后的收获

    从大三的暑假开始,我就一直在某互联网公司一直实习到来年的一月份,算起来也六个月了,经历过这六个月的洗礼,颇有感想,假如自己没有这段经历的话,或许自己会错失职场和技术上的收获。...

  • 120
    程序员的十年工作创业血泪史,万字长文,仔细读完,受益匪浅

    吉日噶拉(在外企、上市公司工作过,自己也创业失败过,遇到过很多失败挫折,甚至露宿街头,但是最后还是挺过来了),是一个十几年的程序员了,本文介绍了他的相关经历,以及他的一些经验...

  • 如齐而至 ——QYF

    在看得见的地方,我的眼睛和你在一起;在看不见的地方,我的心和你在一起。 你的模样,爱情的模样 这世上最幸运的,是有人一直在想念你。所谓温暖从来都不是单...

  • 以前是我的以前,以后是我们的以后 ——写给放不下过去的你

    很久以前,我以为,只要我对别人好,能忍让,就会换来相同的回报。 很久以后,我终于发现,有些东西,任你多么努力,依旧抓不住,所以我学着不再期待。 很久以前,听《十年...

  • 窗外,依旧风凌乱,夜沉沉

    1 ·. 夜沉沉,风凌乱。 坐在电脑前,许久,许久,写不出一个字。 那一刻,我的心,被堵上了一道墙,无法进也无法出,只能静默等待。其实,我知道,真的知道,...

  • 不将就

    姑娘,你准备指望什么呢? 你不渴望一场浪漫的校园恋爱, 因为你有目标在远方; 你不想要一个平淡的生活, 因为你希望以后能够买得起自己想要的高跟鞋; 你不明白成功的味道都多甜,...

  • 怕记起

    又到了吃糖炒栗子的时节, 那时那日你放在我口袋的栗子壳, 那时那刻你的温暖怀抱, 那时那刻你的深情注视…… 我终究没有太喜欢糖炒栗子, 却一直记得你很喜欢, 也一直记得你最喜...