1.kerberos集群与free ipa集成执行：addpric报错 添加randkey报错： 添加参数：-x ipa-setup-override-restriction...
IP属地：天津
-
集群开启Kerberos-（free ipa）报错记录
-
HIVE -- unable to read hiveserver2 configs zookeeper(开启ranger)hive 通过beeline 连接 hive报错unable to read hiveserver2 configs zookeeper：首先会在zookeeper里面创建一...
-
hive分区iceberg表，添加iceberg.mr.table.schema bugsql： 报错： 原因： 采取的是iceberg的deserializer 把iceberg.mr.table.schema 里面的字段作为了hive表的字段描述，导致hiv...
-
hdfs 纠删码集成inter isa-l默认hadoop不支持isa-l，执行hadoop checknative可以看到一下结果： 编译isa-l： bigtop编译： 覆盖hadoop的native，执行had...
-
yum 报错error: rpmdb: BDB0113 Thread/process
报错： 执行：mv /var/lib/rpm/__db.00* /tmp/&&yum clean all
-
Impala lzo编译（CentOS 7 && Kylin X86）报错记录
编译步骤： 报错一： 修改CMakeLists.txt中： 修改为： 报错二： 解决办法：修改 #include "exec/hdfs-text-scanner.h" 为 #...
-
Spark源码分析之作业和任务调度流程一.前言 Spark的作业和任务调度系统是其核心。Spark的作业调度主要是基于RDD的一系列操作构成一个作业，然后在Executor上执行，这些操作算子主要分为转换和行动算...
-
-
Spark 任务调度系统如何工作 先将用户构建的DAG转化为分布式任务，结合分布式集群资源的可用性，基于调度规则依序把分布式任务分发到执行器。 执行步骤 调度的核心组件 DAGScheduler 主...
-
SparkThriftServer内存泄漏排查STS（SparkThrfitServer）版本 spark-3.2.1-bin-hadoop3.2 问题表现 Spark UI 经常无响应 STS 经常挂掉 问题分析 获取...
-
大佬，怎么开发权限插件研究出来了吗？😂
Apache Ranger项目剖析
背景 数据权限的治理也是一个挺有意思的话题, 你可以把权限管理放到应用层, 当用户提交查询到 hive/presto/spark 的时候, 首先进行SQL的检查, 得知该用户...
-
感谢指正！
详解Flink-CDC
CDC介绍 CDC 是 Change Data Capture（变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入、更新以及删除等），将这些变更...
-
ranger源代码解读插件原理（HDFS）首先，集群怎么加载ranger插件： 1.首先是hdfs的hdfs-site.xml中配置了以下配置： 2.加载过程：首先,在ranger-hdfs-plugin-shim这...
-
java调用webservice接口（.asmx）
前几天开发app时，需要调用其他系统的数据，该系统开发人员给我提供了webservice接口。对于从来没见过webservice接口的我，真的是一脸懵。现在把记录一下，方便自...
-
详解Flink-CDC
CDC介绍 CDC 是 Change Data Capture（变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入、更新以及删除等），将这些变更...
-
SparkML实现性别预测因为学习推荐系统与用户画像系统，特别记录Spark Machine Learning的学习过程。 Spark ML使用基础概念 DataFrame DataFrame是组织成...
