备注:PG版本:14.3 一. 问题描述 今天早上到公司，突然发现备库停了，然后主库这边没找到报错日志，备库这般看到的日志是WAL日志的缺失 TPSpgAmin工具上看到，T...
发简信
IP属地：广东
-
PG案例系列3: PG备库WAL segment has already been removed -
大数据开发之Hive案例篇14：某个节点HDFS块比较多一. 问题描述 今天早上到公司，突然收到CDH集群某个节点的存储量的告警，如下图所示: 从图中可以看出，每个节点的HDFS空间是相同的，大多节点HDFS使用量在40%左右，而...
-
PG系列5：PG体系结构一. PG体系结构 1.1 PG的体系结构概述 PostgreSQL的主要结构如下： 1.2 PostgreSQL进程概述 PostgreSQL进程结构图谱和分类: 二. P...
-
PG系列4：linux下编译安装PG15一. 源码安装 1.1 下载并解压 1.2 安装依赖包 1.3 开始编译安装 PG的编译安装比MySQL快很多 --注：请根据自己的实际情况选择需要安装的模块 编译时指定wa...
-
-
PG系列2：Linux下yum安装PG 15一. 下载PG 官网地址: 选择Downloadimage.png 选择CentOSimage.png 选择对应的版本image.png 二. 开始安装 2.1 安装数据库 ...
-
StarRocks案例7:使用shell批量broker load导入hdfs数据
一. 问题描述 近期需要进行补录数据，需要将hive的历史数据迁移到StarRocks，因为需要补录的数据较多，hive和StarRocks均使用的是分区表，两边的日期格式也...
-
StarRocks案例6: StarRocks同关系型数据库的绑定变量功能
一. 问题描述 公司目前的业务是，实时和离线的数据，都导入StarRocks，然后后端根据前端传入的条件来拼接SQL语句。使用过关系型数据库的朋友应该知道，这样会导致很多类似...
-
StarRocks案例5: hive外表报错starrocks [42000][1064] hdfsOpenFile failed
一. 问题描述 StarRocks版本 2.5.5 现在需要使用hive外表，然后根据官网的的命令创建了hive resourceCREATE EXTERNAL RESOUR...
-
StarRocks案例4: Spark load第二次运行报错
一. 问题描述 需求背景:CDH集群 Spark版本 2.4.0StarRocks版本 2.5.5 使用Spark 2.4.0客户端会报错，java.lang.NoClass...
-
大数据开发之Hive案例篇13：Hive SQL 常见参数调整
一. 问题描述 hive的一些默认参数设置不适合一些复杂的数据需求场景，需要针对具体情况进行调整。 二. 解决方案 以下是常见的调参:
-
大数据开发之Hive案例篇12：HDFS rebalance 一例一. 问题描述 公司的离线数仓是CDH集群，19个节点，HDFS存储空间大约400TB左右，使用量在200TB左右。由于历史遗留的问题，数据仓库需要重构，新旧数仓在一段时间内...
-
PG系列1：windows下安装PG15
一. 下载PG 官网地址: 选择Downloadimage.png 选择windowsimage.png Download the installerimage.png 点击...
-
PG案例系列2:PG的执行计划没有走索引一. 问题描述 今天开发的找到我，说他创建了一个索引，但是查看执行计划，依旧走的是全表扫描，很让人头疼。让我帮忙分析下具体的原因。 二. 解决方案 我把复杂问题简单化，就单表...
-
大数据开发之Hive案例篇11: 配置资源队列一. 问题描述 公司有一个hadoop的集群。但是A项目组经常做一些定时的BI报表，B项目组则经常使用一些软件做一些临时需求。那么他们肯定会遇到同时提交任务的场景，这个时候到...
-
大数据开发之Hive案例篇10-大表笛卡尔积优化一. 问题描述 需求描述:表概述: 需要实现的需求 SQL代码: 运行日志:从日志可以看到，数据倾斜了，redcue一直卡在99%不动，过一段时间就被断开了。 web页面日志...
-
大数据开发之Hive案例篇9-Not yet supported place for UDAF 'count'
一. 问题描述 一个很简单的group by和count(*) 操作，然后居然报错了 二. 解决方案 大概是在Oracle MySQL上写SQL写习惯了，以为可以这么写。出了...
-
StarRocks案例3: 通过[broadcast] 优化慢SQL一. 问题描述 最近在使用StarRocks的时候，发现一个问题 table_a 10W 左右数据，通过where条件过滤数据后 剩下 10行数据。table_b 5亿...
-
StarRocks案例2: 升级后性能变慢一. 问题描述 2023-05-18 将StarRocks从2.3.0升级到2.5.5。升级完成后，所有的查询均比较慢，前端报表页面点开也卡。 二. 解决方案 2.1 从慢查...
-
StarRocks案例1: DBeaver执行SQL报unknown error一. 问题描述 在DBeaver上执行某些SQL语句的时候，直接报 unknown error 二. 解决方案 首先命令行执行奇怪的是我直接用命令行连接没报错，可以正常运行成...