发简信
IP属地：广东
-
构建并生成日期维度数据表
基于 MySQL 生成日期维度数据创建日期维度数据表DROP TABLE IF EXISTS `date_dim`;CREATE TABLE IF NOT EXISTS `d...
-
Flink 在 Idea上提交任务到远程服务器
Flink自身提供了远程提交任务的环境,源码如下: 请查看StreamExecutionEnvironment 类中 createRemoteEnvironment 方法 远...
-
Flink 本地运行日志配置
方法一: 使用 log4j.properties在 src/main/resources 中添加 log4j.properties 文件###################...
-
使用 Imply 安装部署 Druid 集群并测试
下载 imply 安装包[root@node01 opt]# wget https://static.imply.io/release/imply-3.3.3.tar.gz ...
-
Flume 采集 kafka 数据实时写入 Kudu
创建 JsonKuduOperationsProducer.java 用于处理 Json 字符串写入Kuduimport com.alibaba.fastjson.JSON;...
-
Cloudera Manager中安装部署Flink服务
制作Flink的Parcel包和csd文件 将Parcel包和manifest.json文件部署到httpd服务中[root@node01 ~]# mkdir -p /var...
-
利用 StreamSets 实现将 SQL Server 中数据实时同步写入 Kudu
环境准备SQL Server 中创建测试库表CREATE DATABASE test;CREATE TABLE [dbo].[cdc_test] ( [id] int I...
-
利用StreamSets实现MySQL中变化数据实时写入Kudu
环境准备开启MariaDB的Binlog日志修改/etc/my.conf文件，在配置文件[mysqld]下增加如下配置server-id=999log-bin=mysql-b...
-
SQL Server 启用或禁用 CDC 功能
查看库表是否启动 CDC-- 查看数据库是否启用cdcSELECT name,is_cdc_enabled FROM sys.databases WHERE is_cdc_e...
-
Apache Flink 基于 CDH-6.3.2 源码编译
修改 maven 的仓库地址[root@node01 cloudera]# cat /usr/share/maven/conf/settings.xml... </mirr...
-
制作Flink的Parcel包和csd文件
配置java，maven等环境变量java:export JAVA_HOME=/usr/local/javaexport PATH=$JAVA_HOME/bin:$PATHe...
-
解决 NiFi 节点本地流与集群流不一致导致无法加入集群
异常信息org.apache.nifi.controller.UninheritableFlowException: Failed to connect node to cl...
-
解决 Elasticsearch 分页查询记录超过10000时异常
问题一: 查询结果中 hits.total.value 值最大为10000的限制解决方法:请求时设置 "track_total_hits": trueRest 请求设置方法:...
-
Linux 下安装 Oracle 客户端
使用 ZIP文件离线安装 Oracle 客户端下载所需的 Instant Client ZIP文件。[root@cdh01 ~]# mkdir /opt/oracle[roo...
-
NiFi 示例将 MySQL 中数据导出并转换为 JSON 发送到 Kafka
添加 ExecuteSQL 处理器添加 ExecuteSQL 到面板image配置 ExecuteSQLimage配置 DBCPConnectionPool更改 DBCPCo...
-
Linux 下离线安装 MariaDB
下载 MariaDB 安装包下载地址: https://downloads.mariadb.org/ 卸载系统自带的mysql#检查mariadb是否存在[root@cdh0...
-
NiFi 集群安装部署及使用
NiFi 架构imageNiFi在主机操作系统上的JVM内执行。JVM上NiFi的主要组件如下：Web ServerWeb服务器的目的是托管NiFi基于HTTP的命令和控制A...
-
Structured Streaming 官方示例运行及问题解决
示例代码import org.apache.log4j.{Level, Logger}import org.apache.spark.SparkConfimport org....
