业务背景： 一个流程中，有两个重要子任务：一是数据迁移，将kafka实时数据落Es，二是将kafka数据做窗口聚合落hbase，两个子任务接的是同一个Topic GroupI...
IP属地：内蒙古
-
数据倾斜导致子任务积压
-
-
WebGIS引擎现状与未来
一 引言 作为十年GIS老兵，常常遇到同行或领导的灵魂拷问，“为什么我们不用google地图啊，我看它的3D很好啊”，“OpenLayers 6支持3D吗？”，“Mapbo...
-
Spring Cloud Gateway 多种思路实现动态路由关于动态路由，是各类业务场景中的基础功能，通过动态化配置API网关的路由参数，可以实现在不重启服务的情况下，API路由规则的动态配置、实时生效。本文以Spring Cloud...
-
Hive通用基础优化
hive基础优化 访问咨询主题看板_数据采集操作: 源数据 --> ODS层 访问咨询主题看板_清洗转换操作: ODS层 --> DWD层 访问咨询主题看板_数据分析的操作...
-
SparkShuffer机制(三)什么是shuffer 宽依赖之间会划分stage，而Stage之间就是Shuffle Spark在DAG调度阶段会将一个Job划分为多个Stage，上游Stage做map工作...
-
（七）Geospark与PostgreSQLGeospark加载PostgreSQL数据库 PostGreSQL以及Mysql均有空间引擎扩展，且GeoSpark是针对大数据的空间分析，而SHP、GeoJson等只是小...
