大数据从业者<br>更多精彩内容请关注<a href="http://www.jianshu.com/c/8ce85a28ed54" rel="nofollow" target="_blank">http://www.jianshu.com/c/8ce85a28ed54</a>
IP属地：广东
-
Flink kafka端到端Exactly-Once源码分析FlinkKafkaProducer实现了TwoPhaseCommitSinkFunction，也就是两阶段提交。关于两阶段提交的原理，可以参见《An Overview of...
-
Flink kafka sink源码解析
初始化 通常添加一个kafka sink的代码如下： 初始化执行env.addSink的时候会创建StreamSink对象，即StreamSink<T> sinkOperat...
-
Flink StreamTask OperatorChain分析
Flink的作业StreamTask是任务执行的核心，其执行的本质即为各个operator的执行，而operator之间又有前后依赖关系，各operator构成一条链条（Ch...
-
Flink使用GCS作为state backend
由于项目的原因，需要将Flink运行在GCP上，因此File System自然是想使用GCS. 在网上搜了很多，由于众所周知的原因，国内使用Google Cloud非常少，资...
-
Flink on Yarn模式下的TaskManager个数
本文探讨Flink on YARN 单一作业提交模式下的并发以及Task Manager等特性。 Flink on YARN支持两种模式，一种是预先在YARN上启动一个lon...
-
Flink DataSet和DataStream Print方法的区别
在Flink example中，有两个Wordcount的example特别类似，一个是batch下的WordCount一个是streaming下的WordCount，从用法...
-
Flink Checkpoint机制解析-代码走读Flink的Checkpoint机制是Flink容错能力的基本保证，能够对流处理运行时的状态进行保存，当故障发生时，能够备份的状态中还原。例如，当Flink读取kafka时，...
-
Openshift 3.11部署容器化mysqlOKD 3.11 提供了mysql数据库的catalog，以下为使用okd311从web console拉起mysql的步骤。 创建storage class 如果OKD集群...
-
CentOS7.4离线安装OpenShift Origin3.11本文参考openshift 3.11离线安装，遇到了一些环境相关的问题，所以梳理了以下，如果遇到类似问题，可以参考。 环境准备 硬件环境公司内部虚拟机3台 host-10-...
-
K8s service catalog
Service catalog Service catalog: https://github.com/kubernetes-incubator/service-catalo...
-
今天也遇到相同的问题 多谢博主的经验总结
Kafka-client 0.10.0 API问题
注：本文涉及到的环境版本为kafka 0.10.0在使用kafka 0.10.0 API获取consumer offset的时候，遇到卡住的问题，类似KAFKA-3296-A...
-
Kafka-client 0.10.0 API问题
注：本文涉及到的环境版本为kafka 0.10.0在使用kafka 0.10.0 API获取consumer offset的时候，遇到卡住的问题，类似KAFKA-3296-A...
-
-
TensorFlow模型服务之Estimator.predict预测在使用TensorFlow进行建模、训练和预测时，可以使用estimator这样的高阶函数方便使用。基本的套路是： 训练 fit 初始化classifer 配置monitor...
-
Learning Apache Flink(BASIC)本文是参考Apache Flink v1.3官方文档 1. Dataflows Flink的程序包括两部分，streams和transformations。stream指的就...
-
Numpy在云虚拟机上crash问题在python中使用Pandas和Numpy库创建一个Pandas DataFrame是一个常见的操作，但就是这一个常见的操作也会在特定的场景下遇到问题。 笔者在使用Pand...
