kafka配置KAFKA_LISTENERS和KAFKA_ADVERTISED_LISTENERS 介绍kafka的两个参数KAFKA_LISTENERS和KAFKA_ADV...
发简信
IP属地：上海
-
kafka配置KAFKA_LISTENERS和KAFKA_ADVERTISED_LISTENERS
-
直接打开终端，输入sudo vi /etc/hosts
Mac OS 下三种修改Hosts文件的方法
一.系统偏好设置修改 1.打开系统偏好设置，底部有一个Hosts的快捷入口2.输入ip和hostname后，回车确定，勾选改host即可 二.终端命令行修改 sudo vi ...
-
Hive/HiveQL常用优化方法全面总结（下篇）本文接上篇（https://www.jianshu.com/p/8e2f2f0d4b6c）继续讲解Hive/HiveQL常用优化方法，按照目录，会从“优化SQL处理join数...
-
Hive/HiveQL常用优化方法全面总结（上篇）Hive作为大数据领域常用的数据仓库组件，在平时设计和查询时要特别注意效率。影响Hive效率的几乎从不是数据量过大，而是数据倾斜、数据冗余、job或I/O过多、MapRedu...
-
再谈Spark Streaming Kafka反压
0x01 前言 上篇文章Spark Streaming和Kafka集成深入浅出介绍了Spark Streaming的基本内容及和kafka的集成，其中也提到了开启反压的缘由：...
-
xml文件中的一些特殊符号（&，<）的使用方法
xml文件配置 1. 问题说明 平时我们在项目文件的配置或者用xml进行数据的存储或传输时，会遇到不能用一些特殊符号的问题，比如我在之前学习c3p0的时候，编辑c3p0-co...
-
Spark 任务执行排查慢的问题排查-2现象描述： Application主要是从hadoop文件中读取数据，然后计算出24小时的车辆状态，并存储。所以总共24个Job。之前Application的平均执行时间是2...
-
Spark Job执行变慢问题的排查的流程最近一个从Hbase捞取数据进行统计值的Spark Job 计算经常报警，执行时间大大超过以前的平均执行时间。于是打开一个application 发现这个applicatio...
-
第九章 事实表设计之累计快照事实表累计快照事实表的主要用于研究事件之间时间间隔，当然并不仅限于此，还有一些特殊用途，可以在实际工作中灵活运用。 设计特点 1）数据不断更新：不同于前面说的两种事实表，累计快照事...
-
快速理解Spark Dataset1. 前言 RDD、DataFrame、Dataset是Spark三个最重要的概念，RDD和DataFrame两个概念出现的比较早，Dataset相对出现的较晚（1.6版本开...
-
Spark--spark工作模式详解(local/standalone/yarn)Spark 运行模式分类 本地模式； standalone模式； spark on yarn 模式，又分未yarn-client和yarn-cluster； spark on...
-
Flink On Yarn如何查看任务日志无论Flink还是Spark都支持自建集群(standalone cluster)。但是为了保证稳定性和资源隔离等，生产环境里的任务最好借助资源管理框架(如Yarn)运行。任...
-
MySQL - navicat16 安装与破解NavicatPremium16破解 Navicat premium是一款数据库管理工具,是一个可多重连线资料库的管理工具，它可以让你以单一程式同时连线到 MySQL、SQL...
-
Java 中的枚举 (enum)
枚举类 (enum) 在某些情况下，一个类的对象时有限且固定的，如季节类，它只有春夏秋冬4个对象这种实例有限且固定的类，在 Java 中被称为枚举类；在 Java 中使用 e...
-
Maven-dependencyManagement的使用1. DepencyManagement应用场景 当我们的项目模块很多的时候，我们使用Maven管理项目非常方便，帮助我们管理构建、文档、报告、依赖、scms、发布、分发的方...
-
hive的启动和停止
hive的启动 hive有两个server端的服务 metatstore 和 hiveserver2 根据需要进行启动 metatstore的启动方法 （样例） nohu...
-
Flink--Checkpoint机制原理基于flink-1.8.1 本文转载自一文搞懂Flink内部的Exactly Once和At Least Once 如何理解flink中state(状态) state泛指 s...
-
Flink实战之写Hive性能问题
上一篇中写了Kafka to Hive的样例，在实际测试过程中，发现性能比较差。 问题1 我使用的是Flink1.11.1版本，这个版本有个性能上的问题，见FLINK-191...
-
Flink SQL实战演练之CSV Format
简介：实时业务中行为数据一般是以日志的形式收集的，日志的结构通常类似于nginx access log，我们在接收到日志后，需要对数据结构进行解析，按照一定的schema存储...
