light01

1.官方说明使用database.serverTimezone属性解决时区问题。可见：https://debezium.io/documentation/reference/...

light01

简要记录下java运行时各个区域的作用和生命周期。 堆和方法区/元空间属于线程共享的区域，随着虚拟机进程的启动而存在。 程序计数器，本地方法栈，虚拟机栈都属于线程私有的区域，...

light01

问题：young-gc频繁，每2秒收集一次，每次平均耗时25ms；full-gc平均82min一次，每次平均耗时40ms 目的：降低young-gc频率 调优前参数：-Xms...

light01

1.查看gc jstat -gc pid period(毫秒) 2.查看各年代堆栈以及gc信息 jmap -heap pid 3.查看类实例数量和内存占用 jmap -his...

light01

@Hello_72ef 在遍历之前，已经随机产生一堆随机数，在一次遍历的过程中和这些随机数比较后获取样本

spark实现加权采样(不放回)

加权采样就是按照选定的权重列,根据权重值采样,如权重值是1.2和1.0；则value=1.2所属样本的被采样的概率就大一些。权重列必须为double或int类型. 算法:计算...

light01

3685 4 0

light01

什么没懂?

flume传输大文件异常Input length = 2

在使用flume spooling组件传输文件时，经常会出现以下问题： 1.文件只能传输一部分。 2.第二次将文件放到flume的监控目录下时，不能传输文件，监控目录中的文件...

light01

2472 2 1

light01

问题:有时我们需要在spark的程序中读取一些外部的配置文件,解决的方式也是比较多的,我这里记录一下我测试解决的方法: spark-submit --files /tmp/f...

light01

sqoop是apache开源项目,主要用于关系型数据库数据和hdfs数据的相互同步. 主要记录下-m和--split-by参数的使用: 1. 这俩参数一般是放在一起使用 2....

light01

$? 可以获取上一个命令的退出状态。所谓退出状态，就是上一个命令执行后的返回结果。 退出状态是一个数字，一般情况下，大部分命令执行成功会返回 0，失败返回 1。 不过，也有一...

light01

问题描述: 通过LocalCluster提交storm KafkaSpout的应用,每次重新提交应用时,消息都会重复消费,而且在zookeeper中不能创建存储节点. 日志中...

light01

1.访问的url资源不一样. 区别点:forward方法只能转发到同一个Web应用程序中的资源,而sendRedirect方法可以重定向到任何URL. 2.目的url请求的原...

light01

在storm1.0.2和kafka0.10.0.1上提交storm应用时，出现下面的两个异常 1.Caused by: java.lang.IllegalStateExcep...

light01

org.apache.Kafka.common.serialization.StringDeserializer中Kafka首字母应该小写

Kafka实战解惑

摘要: 文本详细的介绍了Kafka的原理、运维、开发、生态环境以及常见的应用场景。 目录 一、 Kafka简介二、 Kafka架构方案三、 Kafka安装四、 Kafka C...

Socrates1024

778 4 34

light01

1 数据倾斜调优 1.1 调优概述 有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方...