什么是进程调度 当计算机中有多个process处于ready状态,将CPU分配给哪个进程呢?操作系统中做出这个决策的组件就是调度器,决策的算法叫调度算法,决策过程就是进程调度...
什么是进程调度 当计算机中有多个process处于ready状态,将CPU分配给哪个进程呢?操作系统中做出这个决策的组件就是调度器,决策的算法叫调度算法,决策过程就是进程调度...
什么是进程间通信 进程间通信 InterProcess Communication, 简称IPC,的问题可以归纳为3类: 进程间相互传递信息比如linux里的pipeline...
1. 什么是线程 在上一篇进程里已经讲到,可以将一个程序里互不影响又能单独拆分出来的任务放到新进程里执行,但每个进程都有独立的地址空间,资源是互相隔离的(如果不用共享内存的话...
1. 什么是进程 进程就是运行中的程序。比如在计算机上打开一个记事本文件,这个记事本文件的运行在操作系统里就是一个进程,再打开另一个记事本文件又是另一个进程。每个进程都有自己...
BIOS 是什么 BIOS全称 Basic Input Output System, 它是集成在主板芯片上的一段程序,也是计算机启动时加载的第一个程序。 BIOS包含了最基本...
分组DataStream 首先可以通过keyBy(KeySelector) 方法将一个DataStream分组。KeySelector函数以一条记录为入参并返回该条记录的ke...
水印策略 TimestampAssigner用来获取事件的时间戳,WatermarkGenerator用来生成水印。WatermarkStrategy接口同时继承Timest...
DataStream同时支持批处理和流处理。流模式用增量修改的方法处理无界流,批模式处理有界流或有固定输入的不会持续的流并将结果一次性输出。Flink保证流模式和批模式处理有...
DataStream API 用来对data stream做转换,比如过滤,修改状态,定义窗口,聚合等。data source支持消息队列,socket流,文件等,data ...
Checkpoint Storagecheckpoint期间State Backend存储snapshot的地方,JobManager的Java 堆内存或文件系统 Flink...
1. Flink 集群组成 Flink 运行时主要由两部分构成(图中橘色部分): JobManager TaskManager JobManager Flink集群中至少有一...
Timely Stream Processing只是在Stateful Stream Processing上增加了时间的处理,可用于做特定时间段内的聚合操作,或时间序列分析等...
1. 什么是State 有时候除了一次处理一个event, 我们也想记录处理多个event的信息,这个时候的操作就是stateful有状态的。 2. 按key分组的state...
1. State Backend Flink管理的state存储在state backend里。一种是RocksDB, 一种是JVM heap. 其特点如下: 2. Chec...
1. ProcessFunctions ProcessFunction能够同时处理timers和state,这也是创建event-driven application的基础。...
1. Event Time and Watermarks Flink 支持三种time模式:event time: 事件发生的时间ingestion time:flink接收...
Flink一个最常见的use case就是做ETL。 1. Stateless Transformation 无状态的转换最基础的操作就是map和flatMap.map操作执...
1. 什么样的数据可以流化 对于Java和Scala来说,凡是可以被序列化的对象都可以流化。Flink自己的序列化器可以用于: 基本数据类型:String, Long, In...
本节是Flink的一个简单入门介绍,主要focus在四点: continuous processing of streaming data event time statef...
本节介绍三种常用Flink搭建的应用: 1. 事件驱动型应用 事件驱动型的应用数据和计算在一起,本地内存或硬盘数据访问,容错是通过定期将checkpoints存储到远程持久化...