小鑫_2bc0

自我理解 minorJC在eden之后，会进行S0的判断，看看有没有对象移除，和有没有对象进入老年代 发生之前的判断？ --判断老年代最大可用的连续空间是否大于新生代所有对象...

小鑫_2bc0

冒泡排序： public static void bubbleSort(int [] arr){ boolean flag=false; for (int i =0; i...

小鑫_2bc0

三种机制：Flush、compact、split --当MemStore达到阈值，将Memstore中的数据Flush进Storefile；（128M） --compact机...

小鑫_2bc0

工厂方法： 简单工厂:直接一个类，里面传什么参数，返回对应的对象 工厂方法：抽象类定义买咖啡的方法，不同的厂家进行实现。 抽象工厂：定义一个接口，可以生产各种饮品。具体类去实...

小鑫_2bc0

zookeeper是一个分布式、可靠的、一致性协议，CAP理论保证了可用性，减少了一致性 --保证更改的顺序一致性 --保证最终的数据一致性 --不能保证同一时刻每一个zoo...

小鑫_2bc0

红黑树问题 --超过8变成红黑树 --低于6变回链表 null为key的存储问题 --不判断hashcode，直接遍历table[0] entry存储了什么 final K ...

小鑫_2bc0

与数据库的区别： 查询语言相似、执行引擎不相似 数据更新不同、延时性不同 索引 数据规模、可扩张性 元数据信息： 表名、数据库名、内外表、位置、所有者、字段名 操作： -e ...

小鑫_2bc0

高级消费者弊端： 数据丢失：receive进程开启，程序在提交了offset之后宕机重启，此时计算的数据丢失。 数据重复：receive进程开启，程序在提交了offset之前...

小鑫_2bc0

新的应用程序如何获取原来的offset 可以同时使用Checkpoint机制和ZooKeeper机制： --当程序只是挂掉之后重启而没有修改代码的时候，通过Checkpoin...

小鑫_2bc0

type类型 All：不用索引的全表扫描 index：使用索引的全表扫描 range：使用索引的范围扫描（记得使用>=代替>） ref:定位索引，但是索引不唯一，需要继续扫描...

小鑫_2bc0

数据输入： 合并小文件 使用CombineTextInputFormat来作为输入 Map阶段 （spill）次数：通过调整io.sort.mb及sort.spill.per...

小鑫_2bc0

过程 （1）提交程序，申请stage，将资源提交到stage所在的hdfs上面 （2）程序资源提交完毕后，申请运行mrAppMaster。 （3）RM将用户的请求初始化成一个...

小鑫_2bc0

组件进程 1）MrAppMaster：负责整个程序的过程调度及状态协调。 2）MapTask：负责map阶段的整个数据处理流程。 3）ReduceTask：负责reduce阶...

小鑫_2bc0

HDFS写入过程： 1.请求写一个文件，响应可以上传 2.请求传第一个块，返回一组节点(机架感知) 3.传的时候，按照package下入本地缓存。每传一个packet会放入一...

小鑫_2bc0

切割文件 split -65 text #每65行切割为一个文件 split -C 100 text #每100字节切割一个文件，尽量保持每一行的完整性 文件删除和替换命令 ...

小鑫_2bc0

consumer_offsets的高可用 --对应消费时候的coordinater线程存储offset --设置 /opt/kafka/config/server.prope...

小鑫_2bc0

2. == 和 equals 的区别是什么？ == 的作用 基本类型：比较的是值是否相同。 引用类型：比较的是引用是否相同。 equals 的作用：比较的都是值是否相同。 代...

小鑫_2bc0

35. 并行和并发有什么区别？ 并发：多个任务在同一个 CPU 核上，按细分的时间片轮流(交替)执行，从逻辑上来看那些任务是同时执行。 并行：多个处理器或多核处理器同时处理多...

小鑫_2bc0

通用流程 不论 Spark 以何种模式进行部署， 任务提交后， 都会先启动 Driver 进程，随后 Driver 进程向集群管理器注册应用程序Application，之后集...