是一个负载均衡服务器（AWS），作用通常有两个： 根据应用流量自动完成请求的分发 弹性的伸缩资源以应对流量的变化 AWS ELB优势 High availability 众所...
发简信
IP属地：广东
-
ELB -
大数据，数据仓库，hive不能使用update更新操作解决方案在数据仓库建设，处理日常业务需求的过程中，经常会遇到各种各样的问题。在处理更新操作数据时，遇到数据重复问题。前期因为没考虑到关系型数据库update操作，把数据同步到hive...
-
hive存储parquet表parquet格式的表在生产环境中经常被使用到，具有列式存储和压缩等特点，我们怎么在hive中存储parquet格式的表呢。 使用数据 这里使用oracle的emp表 创建p...
-
PySpark之select、collect操作Select操作 在PySpark中，select()函数是用来从DataFrame结构中选择一个或多个列，同样可以选择嵌套的列。select()在PySpark中是一个tr...
-
django项目使用boto3进行文件存储+S3 Browser配置项目中的图片需要上传到Amazon S3云存储服务上，所以项目中添加相关配置及代码（当前bucket已经存在） settings.py文件中设置 编写公共模块AwsS3.py...
-
连接https://jetbra.in超时显示Connection reset
IntelliJ IDEA 2022.1永久破解激活教程（最新版，亲测可用）
前言 本篇文章是基于win10系统下载安装IntelliJ IDEA 2022.1的教程。本教程适用于 JetBrains 全家桶最新版本，包括 IDEA、Pycharm、W...
-
python操作hdfs
hdfs模块时python的一个第三方库,可以允许直接对hadoop的hdfs模块进行访问. 安装 安装hadoop 关于hadoop的安装配置会在另一篇文章中介绍,这里只介...
-
pyspark 写入hive表的方式
一：API saveAsTable 会根据表的schema匹配df的字段进行存储 insertInto，要求表的schema与df必须一致才可以 对于Hive分区...
-
初识Prophet模型（一）-- 理论篇目录 1、Prophet 简介 2、Prophet 适用场景 3、Prophet 算法的输入输出 4、Prophet 算法原理 5、Prophet 使用时可设置的参数 6、P...
-
异常值检测-滑动均值实现智能告警疯狂学习起来吧，metis里用了EWMA的。这篇讲得比较细致。 URL： https://blog.csdn.net/xsdxs/article/details/716081...
-
insert overwrite table table_name
select * from table1
union all
select * from table2
union all
...
改写为inser into table table_name select * from table1
inser into table table_name select * from table2
inser into table table_name select * from table3
....HIVE优化(四)-union all
HIVE 优化？【常考题】 如果union all的部分个数大于2，或者union部分数据量大，应拆分成多个insert into语句。 1.参数优化，小于6M自动合并2.加...
-
HIVE优化(四)-union all
HIVE 优化？【常考题】 如果union all的部分个数大于2，或者union部分数据量大，应拆分成多个insert into语句。 1.参数优化，小于6M自动合并2.加...
-
sum(partition by order by)用法
0、select * from wmg_test; ---测试数据 1、select v1,v2,sum(v2) over(order byv2) as sum --...
-
Python退出命令的总结
Python exit command @(Python入门) [TOC] Which How and When quit quit raises the SystemExi...
-
博主可以直接用hive来求取corr
如何在impala中计算多个数值字段的相关系数矩阵？
如下图。 这里有两个问题： 1. hive和spark都有corr函数，impala貌似没有，那怎么计算相关系数？难道只能套公式来计算？ 2. hive和spark的corr...
-
正确使用Impala的invalidate metadata与refresh语句在Impala中，invalidate metadata与refresh语句都可以用来刷新表，但它们本质上还是不同的。本文简要分析一下，并说明它们应该在什么情况下使用。 Im...
-
即将上任，但你仍然不能用你的权威
会议 昨天领导在管理层内部宣贯了公司组织机构调整的决定，合并产品组、项目一组、项目二组、项目三组为研发一部、研发二部，老张负责研发一部、小盛负责研发二部。下周将正式在公司内部...
-
hive学习（五）——面试题（活跃用户及红包用户）前言： 本次文章主要以hivesql进行查询，涉及同一场景但较为复杂。来源于：面试题八 前期准备： 1.建表导入数据 2.1用户活跃模型表 2.2红包参与领取模型表 2.3用...
