背景 在执行一个较为复杂的SQL聚合的时候，报错了：【报错】DB::Exception: Allocator: Cannot mmap 64.00 MiB., errno: ...
发简信
IP属地：广东
-
给ClickHouse增加内存
-
部署clickhouse cluster(基于docker+zookeeper)安装zookeeper 虽然不是必要的，但clickhouse官方建议使用zookeeper部署集群，原因是ck的复制是用zk实现的： ZooKeeper is not a ...
-
用Airflow调度数仓（CK）的ETL脚本安装 前提：安装了python，我这里是python3 下载 按照官网：pip3 install apache-airflow包太多，下载太慢改为清华的镜像：pip3 ins...
-
docker mysql +GTID双主+keepalived
基本思路：先停掉原mysql，把这个文件夹压缩了传到另一台机器。然后解压，用docker直接挂载解压后的文件夹。机器1:192.168.10.2机器2:192.168.10....
-
clickhouse 用户权限划分（ACL）
通过配置/etc/clickhouse-server/user.xml来实现；user.xml如下： distribute engine 的问题 配置了ACL以后，访问分布式...
-
Ubuntu上安装docker
1.更新apt包索引：sudo apt update #这一步可能会报错, 参考遇到的问题 2.通过HTTPS使用仓库(repository)安装：sudo apt in...
-
mysql left join 导致的 Using join buffer (Block Nested Loop)
问题 在给运营部门写一个简单的两表join的时候，发现线上的数据库很快，本地的数据库很慢。 两个表经过条件筛选以后，数据量都差不多是5000条。 按理说5000 join 5...
-
漫谈事实表如何设计（四）一.累积型快照事实表的应用场景介绍 针对电商交易，设计了交易下单/支付/确认收货事务事实表， 用于统计下单/支付/确认收货的子订单数、GMV等。但仍然有很多需求, 此事务事实...
-
UnicodeEncodeError: 'ascii' codec can't encode characters in position 29-32: ordinal not in range
环境python3.7程序在本地调试的时候没有问题，但是部署到k8s上的时候报错了【报错】 看起来应该是写日志的时候，使用了中文导致编码错误 【解决办法】因为报错是写日志发生...
-
mysqldump导入导出遇到的问题
1.不导出系统数据库，以免在导入的时候出现错误：ERROR 1726 (HY000) at line 17288: Storage engine 'InnoDB' does ...
-
python 常用内置函数
1.字符串和bytes互转 方法一：bytes(s) / str(b) 方法二：s.encode() / b.decode() 2.进制互转 10转2，8，16 ： bin(...
-
图片毫无代表性
在澳门赌场洗手间里，我看透了人生…...
当大多数人最大的人生起伏不过是年终考核的分数时，在澳门一众赌场的角落里，人生的无常与残忍，才真正地揭开一点面纱。 曾经有网友写下自己的见闻： “在去赌场之前，我以为那里都是滥...
-
基于flink sql构建实时数据仓库1、需求背景 根据目前大数据这一块的发展，已经不局限于离线的分析，挖掘数据潜在的价值，数据的时效性最近几年变得刚需，实时处理的框架有storm，spark-streaming...
-
shell+crontab+flock 定时备份
mybackup.sh runbackup.sh crontab -e: 其中，my.lock事先创建，flock -xn表示获取文件独占锁，如果因上次crontab任务没有...
-
Centos7安装GO
1.下载 2.解压 3.修改环境变量 4.编写helloworld测试 因为go是编译性语言。一次编译多处可以执行。所以把helloword拷贝到任何目录都能正常执行，并且可...
