记得2019年3月初,阿里云小哥哥专程带着Kubernetes架构师来公司拜访,也给我们普及使用k8s的优势,阿里云也是加大力度在推荐使用Kubernetes容器服务,我几个...
记得2019年3月初,阿里云小哥哥专程带着Kubernetes架构师来公司拜访,也给我们普及使用k8s的优势,阿里云也是加大力度在推荐使用Kubernetes容器服务,我几个...
Kafka简介 Kafka是linkedin公司使用Scala语言编写的一款具有高水平扩展和高吞吐量的分布式消息系统 Kafka强依赖zookeeper,无论是Kafka集群...
概述 Flink 处理机制的核心,就是“有状态的流式计算”。不论是简单聚合、窗口聚合,还是处理函数的应用,都会有状态的身影出现。 状态就如同事务处理时数据库中保存的信息一样,...
前置知识点 行存储:适合插入列存储:适合查询 存储格式 textFile 文本 sequenceFile二进制 parquet 列式存储 二进制(自带索引) orc 格式 ...
问题1:Hive一条Select语句,底层是如何读取HDFS文件的? 基本流程step1:根据表名到Hive元数据中,找到这个表对应的HDFS地址step2:将对应的HDFS...
二.HDFS命令行操作: 1.基本语法 2.参数大全 3.常用命令 (1)-help:输出这个命令参数 (2)-ls: 显示目录信息 (3)-mkdir:在hdfs上创建目录...
Scala编程语言 1.生态: (1)scala编程语言 (2)Spark Core : Spark内核 ,最重要的一个部分。(3)Spark SQL : 类似于 hive ...
背景 之前构建过文件预览服务,对于视频部分前端播放组件限制只能为mp4格式,为了支持更多视频格式决定对方案进行升级,由于视频格式较多,针对每一种格式定制选择播放器不太现实,决...
引 如果对什么是线程、什么是进程仍存有疑惑,请先Google之,因为这两个概念不在本文的范围之内。 用多线程只有一个目的,那就是更好的利用cpu的资源,因为所有的多线程代码都...