环境信息:CarbonData Carbon Thrift Server集成OSS - 环境搭建 1、运行carbondata thrift server /home/car...
1、基础环境 见:CarbonData集成OSS - 基础环境搭建 2、spark环境 3、配置carbondata和spark 1) carbon.properties在c...
1、环境搭建 见:CarbonData集成OSS - 基础环境搭建 2、执行如下命令 java -classpath /home/carbondata/carbondata/...
第一步:构建CarbonData 见CarbonData 构建过程 第二步:搭建伪分布式集群 见CarbonData hadoop伪分布式集群搭建 第三步:OSS bucke...
第一步:购买阿里云oss 三个字,很便宜。 第二步:参照图中所示步骤进行oss bucket创建 第三步:创建目录 /carbon/session/data/store,后续...
此篇文章基于上一篇carbondata 构建过程。 1、可为carbondata用户增加管理员权限,避免一些对新手来说比较棘手的权限问题 以root账号登录,并输入visud...
1、准备类Unix环境(Linux, Mac OS X) 笔者在阿里云上申请了一台ECS,系统为CentOS 7.6 64位。 2、准备git环境 3、Oracle Java...
自从 2011 年被捐献给 Apache 基金会到现在,Kafka 项目已经走过了七个年头。作为一个优秀的分布式消息系统,Kafka 已经被许多企业采用并成为其大数据架构中不...
@飞奔的阿甘 swagger2
Swagger工程化实践1、从零开始新增API 1.1、编写Swagger API并保存为api.yaml到本地 打开Swagger editor API文档编辑工具(通过单击下面社区链接)社区:h...
1、使用环境 kafka版本1.0.1kafka集群使用SASL_PLAINTEXT安全认证Broker属性auto.create.topics.enable=true Pr...
1、安全概览 社区从kafka 0.9.0.0开始支持安全机制功能,这些安全机制可以单独或混合使用。 1.1、客户端(producer、consumer、tool)与brok...
1、使用基础信息 Kafka版本1.0.1Zookeeper版本3.4.6Ranger版本1.1.0Kerberos版本1.10.3-30两个账号:启动Kafka服务的kaf...
环境说明: 1、1个zookeeper,3个kafka broker在同一主机。 1、创建一个test topic(3分区、3副本) kafka-topics.bat --c...
前提: 1、kafka版本1.0.12、在linux中使用kinit刷新kerberos认证信息 1、生产者 1.1、准备jaas.conf并添加到环境变量 文件内容为:Ka...
1、问题描述 当在HDP中配置了Oozie的SSO后,会发现在Hue中提交oozie workflow失败异常。在解决问题的过程中,共出现了两个异常。第二个异常是在解决第一个...
1、从零开始新增API 1.1、编写Swagger API并保存为api.yaml到本地 打开Swagger editor API文档编辑工具(通过单击下面社区链接)社区:h...
1、异常信息 2、排查过程 从下面这张图中可以看出某一topic某一分区的leader副本节点挂了。由于唯一活着的144节点,分区副本已不再ISR集合中,再加上unClean...
1、互联网标准技术架构图 架构图如下图所示。这张图基本涵盖了互联网技术公司的大部分技术点,不同公司只是在具体的技术实现上稍有差异,但不会跳出这个框架的范畴。 2、存储层 SQ...