记得2019年3月初,阿里云小哥哥专程带着Kubernetes架构师来公司拜访,也给我们普及使用k8s的优势,阿里云也是加大力度在推荐使用Kubernetes容器服务,我几个...
记得2019年3月初,阿里云小哥哥专程带着Kubernetes架构师来公司拜访,也给我们普及使用k8s的优势,阿里云也是加大力度在推荐使用Kubernetes容器服务,我几个...
Kafka简介 Kafka是linkedin公司使用Scala语言编写的一款具有高水平扩展和高吞吐量的分布式消息系统 Kafka强依赖zookeeper,无论是Kafka集群...
概述 Flink 处理机制的核心,就是“有状态的流式计算”。不论是简单聚合、窗口聚合,还是处理函数的应用,都会有状态的身影出现。 状态就如同事务处理时数据库中保存的信息一样,...
前置知识点 行存储:适合插入列存储:适合查询 存储格式 textFile 文本 sequenceFile二进制 parquet 列式存储 二进制(自带索引) orc 格式 ...
问题1:Hive一条Select语句,底层是如何读取HDFS文件的? 基本流程step1:根据表名到Hive元数据中,找到这个表对应的HDFS地址step2:将对应的HDFS...
二.HDFS命令行操作: 1.基本语法 2.参数大全 3.常用命令 (1)-help:输出这个命令参数 (2)-ls: 显示目录信息 (3)-mkdir:在hdfs上创建目录...
Scala编程语言 1.生态: (1)scala编程语言 (2)Spark Core : Spark内核 ,最重要的一个部分。(3)Spark SQL : 类似于 hive ...
背景 之前构建过文件预览服务,对于视频部分前端播放组件限制只能为mp4格式,为了支持更多视频格式决定对方案进行升级,由于视频格式较多,针对每一种格式定制选择播放器不太现实,决...
引 如果对什么是线程、什么是进程仍存有疑惑,请先Google之,因为这两个概念不在本文的范围之内。 用多线程只有一个目的,那就是更好的利用cpu的资源,因为所有的多线程代码都...
简介 本章主要介绍大型互联网企业使用mq如何解决分布式环境下的常见问题 rocketMQ确保消息不丢失 rocketMQ可以在生产端生产消息的时候带上消息序号,并且序号是连续...
使用filebeat采集TKE容器日志 背景 当业务使用腾讯云容器服务TKE进行部署时,可以通过filebeat来采集TKE中各个pod的日志,写入到下游的Elasticse...
最近很火的消息中间件Pulsar,本想学习下,发现网上很多都是介绍性能和对比Kafka的文章,实践的文章很少!于是对着官方文档实践了一波,写下了这篇文章,估计是国内第一篇Pu...
引子: 老人摆了一天的菜摊回到家,已经累得开始喘气,他放下扁担,准备给孙子欧成鸣做饭,正在看电视的欧成鸣问道:“今天有卖到多少钱了?” 老人弓着腰,唉声叹气:“只有一百来块,...
因为有小伙伴刚好问到这个问题,松哥就抽空撸一篇文章和大家聊聊这个话题。 加密解密本身并不是难事,问题是在何时去处理?定义一个过滤器,将请求和响应分别拦截下来进行处理也是一个办...