Spark数据倾斜解决方案 主要从业务理解和数据设计角度来解决
Spark数据倾斜解决方案 主要从业务理解和数据设计角度来解决
1、软件测试流程是什么? ①需求分析,需求评审②编写测试计划③编写测试用例,用例评审④执行测试,提交bug,回归测试⑤编写测试总结报告 2、讲一下最近的一个项目? 3、开发说...
大厂面经总结:https://www.zhihu.com/question/60949531[https://www.zhihu.com/question/60949531]...
一、Redis数据结构: SDS SDS(动态字符串)包含字符数组buf[],字符数组现有长度len,字符数组分配空间的长度alloc,SDS类型flags。总结:1、C语言...
设计模式分为三大类: 创建型模式:工厂方法模式、抽象工厂模式、单例模式、建造者模式、原型模式(5种)结构型模式:适配器模式、装饰者模式、代理模式、外观模式、桥接模式、组合模式...
数据库与Redis保持缓存一致性问题 旁路缓存模式 这是平时使用比较多的一个缓存读写模式,比较适合读请求比较多的场景。写:先更新 DB,然后直接删除 cache 。读:从 c...
Redis 就是一个使用 C 语言开发的数据库, Redis 的数据是存在内存中的。Redis 除了做缓存之外,也经常用来做分布式锁,甚至是消息队列。 Redis 除了做缓存...
1. 什么是Spring? Spring 是个 java 企业级应用的开源开发框架。Spring 主要用来开发 Java 应用,但是有些扩展是针对构建 J2EE 平台的 we...
类加载过程详解 类的生命周期 加载:获取此类的二进制流,并加载到方法区,并在堆中生成一个java.lang.Class对象,作为方法区这个类的访问入口。验证:验证字节流是否符...
大对象直接进入老年代 大对象就是需要大量连续内存空间的对象(比如:字符串、数组)。 长期存活的对象将进入老年代 如果对象在 Eden 出生并经过第一次 Minor GC 后仍...
运行时数据区域: 程序计数器、Java虚拟机栈、本地方法栈、堆、方法区线程私有的:程序计数器、虚拟机栈、本地方法栈线程共享的:堆、方法区 程序计数器: 1、字节码解释器通过改...
OSI 七层模型:应用层、表示层、会话层、传输层、网络层、数据链路层、物理层 TCP/IP 四层模型:应用层、传输层、网络层、网络接口层应用层位于传输层之上,主要提供两个终端...
什么是系统调用呢? 用户态(user mode) : 用户态运行的进程可以直接读取用户程序的数据。系统态(kernel mode):可以简单的理解系统态运行的进程或程序几乎可...
六、Hive 1、Hive组成 元数据默认存储在derby数据库,但只支持单客户端,修改mysql数据库,支持多客户端访问编译器 解析器 优化器 执行器默认执行引擎MR存...
五、Kafka (23件事) 1、基本信息 1)组成2)安装多少台 2*(生产者峰值生产速率副本、100)+1 = 33)压测:生产者峰值生产速率4)副本:默认1;2 ...
四、Flume(三件事) 1、组成(source、channel、sink) 1)taildir source(1)为什么?断点续传、多目录(2)哪个版本产生的? Apach...
二、Hadoop 1、入门 1)常用端口号Hadoop3.x HDFS 历史服务器 MapReduce 客户端 9870 19888 ...