介绍 最近涉及 Nginx 输出的埋点日志，实时接入 Kafka，我需要实时解析 Kafka 中埋点日志，但是在解析过程中，出现 \x22 这样的字符，使我不能将字符串解析...
发简信
IP属地：天津
-
Java或Scala，如何将\x22这样的字符转换为字符串？
-
深入理解 Java 中的 final 关键字
概述 Java 中的 final 关键字非常重要，它可以应用与类、方法以及变量。这篇文章中我将带你看看： 什么是 final 关键字？ 将变量、方法和类声明为 final 代...
-
Java 不可变类（immutable）机制与 String 的不可变性
不可变类介绍 不可变类： 所谓的不可变类是指这个类的实例一旦创建完成后，就不能修改其成员变量值。如JDK 内部自带的很多不可变类：Integer、Long 和 String ...
-
-
SQL 中 on 条件与 where 条件的区别说明 最近在做 Hive 事实表 left join 多张维表时，出现了部分数据丢失的情况（结果表数据量比原始事实表少 10000 多条），针对该问题研究，让我对 SQL o...
-
Hive 查询数据导出到本地目录或 hdfs 的方法
说明 在最近的项目中，需要将最终生成的 Hive 表数据导出到文件中，具体实现请参见下方 SQL。 查询结果导入到 hdfs 文件 一般方式： 自定义输出样式方式： 查询结果...
-
Scala编程中常见错误：Error:(28, 21) value foreach is not a member of java.util.List[String]
问题展示 在 Scala 编程中经常会使用 Java 的集合类型，但是使用中会出现如下错误： java.util.List[String] 2.java.util.Set[S...
-
Apache Flink 1.7.0 发布公告
Apache Flink社区很高兴地宣布Apache Flink 1.7.0。最新版本包括超过420个已解决的问题以及Flink的一些令人兴奋的新增内容，我们将在本文的以下部...
-
rz和sz 的安装及使用
简介 rz,sz 是 Linux/Unix 同 Windows 进行 ZModem 文件传输的命令行工具。优点：不用再打开一个 sftp 工具登录上去上传下载文件。 rz：运...
-
Shell 中 if 语句的使用
基本用法 Shell 的 if 语法 和 C 语言等高级语言非常相似，唯一需要注意的地方就是 Shell 的 if 语句对空格方面的要求比较严格（其实 Shell 对所有语法...
-
DataX 流量和脏数据控制
job的配置 Job基本配置Job基本配置定义了一个Job基础的、框架级别的配置信息，包括： Job Setting配置 job.setting.speed(流量控制)Job...
-
MySQL 中 Insert into select from 的使用
如何在 MySQL 通过一个 SQL 语句，实现从多个表中组合字段然后插入到一个新表中。具体情形是：有三张表 a、b、c，现在需要从表 b 和 表 c 中分别查几个字段的值插...
-
DataX HdfsWriter 插件文档
快速介绍 HdfsWriter 提供向 HDFS 文件系统指定路径中写入 TEXTFILE 文件和 ORCFile 文件，文件内容可与 Hive 表关联。 功能限制 (1) ...
-
MysqlReader 插件文档
快速介绍 MysqlReader 插件实现了从 MySQL 读取数据。在底层实现上，MysqlReader 通过 JDBC 连接远程 MySQL 数据库，并执行相应的 SQL...
-
Power Designer16.5设计CDM多个实体属性不能重名问题概述 最近项目使用到 PD ，在使用PD 的实体模型时，多个实体中不能出现重名属性的问题，下方是解决方案。 操作 1.菜单栏：Tools——>Model Options 2....
-
ETL设计详解（数据抽取、清洗与转换）
概述 ETL是BI项目最重要的一个环节，通常情况下ETL会花掉整个项目的1/3的时间，ETL设计的好坏直接关接到BI项目的成败。ETL也是一个长期的过程，只有不断的发现问题并...
-
Shell ETL 操作
删除文件第一行记录，即字段名称 处理的文件第一行都是字段名称，我们在文件中的数据导入到数据仓库Hive中时，不需要第一行字段名称，因此，这里在做数据预处理时，删除第一行。命令...
-
grep -v、-e、-E
概述 在Linux的grep命令中如何使用or，and，not操作符呢？ 其实，在grep命令中，有or和not操作符的等价选项，但是并没有grep and这种操作符。不过呢...
