前提 今天是 2020-6-14日 ▶ 需求一 [ 最近 1 7 30 天 个渠道统计] 建表语句 步骤： dws_traffic_session_page_view_1d...
发简信
IP属地：上海
-
[ 最近 1 7 30 天 个渠道统计] Spark 指标实战（1） -
Flink CDC 原理、实践和优化CDC 变更数据捕获技术可以将源数据库的增量变动记录，同步到一个或多个数据目的。本文基于腾讯云 Oceanus 提供的 Flink CDC 引擎，着重介绍 Flink 在变更...
-
Hive参数与性能企业级调优（建议收藏）
Hive作为大数据平台举足轻重的框架，以其稳定性和简单易用性也成为当前构建企业级数据仓库时使用最多的框架之一。 但是如果我们只局限于会使用Hive，而不考虑性能问题，就难搭建...
-
5W字总结Spark（一）(建议收藏)
本文目录： 一、Spark 基础二、Spark Core三、Spark SQL四、Spark Streaming五、Structured Streaming六、Spark 两...
-
Spark对Parquet表的查询优化知多少？
1. 摘要 主题：在这篇文章中可以找到一些简单的示例说明Spark在读取存储在 Parquet 中的分区表时的重要特性，尤其是性能调优。涵盖的主要主题是： •分区修剪•列投影...
-
StarRocks 迁移 MySQL 数据demo（CloudCanal）使用 CloudCanal 对数据进行迁移，从 MySQL 全量迁移数据至 StarRocks 。 一. 环境搭建 搭建 CloudCanal 环境 参考官方文档进行安装 C...
-
centos7安装python3.7
上一篇文章我们已经成功的安装了centos7虚拟机。现在应该都可以正常运行了。 下面我们就接着来安装python3.7，对于大神来说安装软件，搭建环境这些都不在话下，但是对于...
-
真正了解sqoop的一切一．sqoop的简单概论 1.sqoop产生的原因： A. 多数使用hadoop技术的处理大数据业务的企业，有大量的数据存储在关系型数据中。 B. 由于没有工具支持，对had...
-
azkaban简单入门
一、下载 从github上下载，azkaban ， 需要注意的是，azkaban官方只是提供了源码，需要我们自己编译。 二、编译 azkaban 的编译也是很简单，但是前提是...
