理解 首先，大家要明白为什么出现了类似Iceberg这样的数据技术。大数据领域发展至今已经经历了相当长时间的发展和探索，虽然大数据技术的出现和迭代降低了用户处理海量数据的门槛...
发简信
IP属地：陕西
-
apache iceberg 数据湖 -
redis 分布式事物
实现代码 问题：1、客户端分片和中间件（我们目前使用的codis）分片均不支持transaction。因为transaction提供了原子级的执行保证，在instance之外...
-
数据仓库模型设计心得
数据不丢失数据丢失，导致重新跑数据，统计不准确，建议要长期保留历史数据 数据不重复上游数据重复，会导致下游数据治理不干净 数据模型可以共享例如明细事实表，维度表，汇总事实表（...
-
Spark 3.0 adaptive-query-execution-speeding-up-spark-sql-at-runtimespark 3.0 亮点 the cost-based optimization framework 基于成本的优化框架该框架收集并利用各种数据统计信息（如行数，不同值的数量...
-
mysql join原理
从左表读出一条，选出所有与on匹配的右表纪录(n条)进行连接，形成n条纪录(包括重复的，如果右边没有与on条件匹配的表，那连接的字段都是null.然后继续读下一条。 我们可以...
-
个性化召回算法LFM & spark ALS
在日常生活中，人们实际上经常使用这种方法，如你哪天突然想看个电影，但你不知道具体看哪部，你会怎么做？大部分的人会问问周围的朋友，最近有什么好看的电影，而我们一般更倾向于从兴趣...
-
大数据面试题整理 -- 实时计算部分1. zookeeper 在 kafka 中起到什么作用 Controller 选举Controller 是一个特殊的 Broker, 其负责维护所有 Partition 的...
-
flink spark strom 反压机制strom 反压 实现原理 Storm 是通过监控 Bolt 中的接收队列负载情况，如果超过高水位值就会将反压信息写到 Zookeeper ，Zookeeper 上的 wat...
-
spark thrift server HA
参考：http://liguo86.com/2017/09/25/spark-thriftserver-ha%E6%94%AF%E6%8C%81/ 实际使用过程中发现这篇帖子...
