本文由作者三汪首发于简书。 为什么要有实体关系映射 答：简化编程操作。把冗余的操作交给底层框架来处理。例如，如果我要给一位新入学的学生添加一位新的老师。而这个老师又是新来的，...
发简信
IP属地：北京
-
JPA实体关系映射：@ManyToMany多对多关系、@OneToMany@ManyToOne一对多多对一关系和@OneToOne的深度实例解析。
-
《设计数据密集型应用》番外1 - Apache Omid介绍1. Omid是什么 Apache Omid的全称是Optimistically transaction Management In Datastores，也就是数据库的乐观...
-
如何构建Spring Boot的Mock环境最近项目中需要进行前后端联调的工作比较多，而前后端联调最复杂的部分就是接口格式的定义和Mock数据的生成了，在查阅了一些资料后，找到了一种比较简单快速的方式，在这里分享一下。...
-
重复消费是被允许的，由于有state和checkpoint的存在，可以保证即使重复消费得到的结果还是和exactly-once时是一致的。
Flink Checkpoint
在学习flink的时候看了本书《Stream Processing with Apache Flink》。里面对Flink checkpoint的原理讲得挺清楚的，后面内部分...
-
Clickhouse：初体验最近公司搭建了Clickhouse的集群，作为一款久负盛名的高性能OLAP查询引擎，我们也针对自己的使用场景的进行了一下体验，对Clickhouse的使用和性能有了一定的体会...
-
Flink1.8 集群搭建完全指南(5)：Flink on Yarn在准备好Hadoop的环境后，可以开始搭建Flink了。 这里我们参考的是这篇教程，其中包括很全面的安装步骤：https://files.alicdn.com/tpsserv...
-
Flink1.8 集群搭建完全指南(4)：Hadoop完全分布式
前面的准备工作做好之后，我们来搭建带Kerberos和SASL的完全分布式的Hadoop集群。 1. 集群环境准备 我们现在有3台服务器，服务器列表如下： hostnamei...
-
Flink1.8 集群搭建完全指南(3)：SASL的安装
接前文，在安装完Kerberos之后，Flink仍然需要Hadoop集群使用SASL认证，关于SASL的相关内容，可以自行进行查阅，这里只介绍安装方式。 1. 安装opens...
-
Flink1.8 集群搭建完全指南(2)：Kerberos的安装
Flink要求它使用的Hadoop集群必须是要添加Kerberos和SASL认证的，本节先介绍Kerberos认证服务的部署。 1. 环境准备 假设我们部署Hadoop集群的...
-
Flink1.8 集群搭建完全指南(1)：Hadoop伪分布式Flink是目前在国内非常流行的大数据的计算框架，其设计理念可以完美的实现数据的批流计算一体化。Flink的集群，如果要使用到JobManager的HA，以及Yarn的资源调...
-
《设计数据密集型应用》第七章(8) 事务：串行化(3)前面我们介绍了关于隔离型的内容，如果使用弱隔离性时，数据库性能较好，但可能会出现事务并行的问题；如果使用事务的串行化，事务的并行执行的结果和串行是一样的，但性能较差。因此，有...
-
《设计数据密集型应用》第七章(7) 事务：串行化(2)
本节我们继续讨论关于事务串行化的另一种实现方式：两阶段锁（two-phase locking，2PL），它也是一种强隔离性的保证。 两阶段锁 注意，这里不是两阶段提交（2PC...
-
《设计数据密集型应用》第七章(6) 事务：串行化(1)之前我们介绍了几种弱隔离性的概念和实现方式，本节我们继续讨论强隔离性保证：串行化。它保证了即使事务是以并行方式执行的，但结果和串行执行是一致的，也就是这种隔离性的保证可以避免...
-
《设计数据密集型应用》第七章(5) 事务：弱隔离性(3)之前我们讨论过了关于并发写中的dirty writes和lost updates的情况，本文我们介绍最后一种并发写的问题，和对应的弱隔离性的实现。 写偏（Write skew...
-
《设计数据密集型应用》第七章(4) 事务：弱隔离性(2)前面介绍的两种弱隔离性的级别，Read Committed Isolation和Snapshot Isolation，可以保证正确的处理并发的读请求，但对于并发写的情况，仅保...
-
《设计数据密集型应用》第七章(3) 事务：弱隔离性(1)如果两个事务操作的是不同的数据，那它们可以安全地并发执行。只有当两个事务操作相同的数据时，才会有并发的问题，而事务中的隔离性就是保证每个事务能够像串行执行那样，不会由于并发执...
-
《设计数据密集型应用》第七章(2) 事务：概念深入这一节，我们继续深入到事务的概念中，分析事务的ACID原则能够避免哪些出错的情况。在实际场景中，有一些事务的需要修改多行记录的，我们称之为多对象操作，另外一些是只修改一行记录...
-
《设计数据密集型应用》第七章(1) 事务：基础概念前言 在设计数据系统时，由于数据库、应用程序、网络的问题，或者是服务器端、客户端的问题，以及并发修改的情况，很可能出现数据出错的情况。 事务的提出是为了简化这些异常的处理，应...
-
Spark快速入门(9) 高级话题：累加器变量
本节我们会介绍一种在tasks之间共享可读写变量的方式，就是累加器变量。 累加器变量 累加器变量是在tasks之间可以进行读写的变量，所有tasks可共享。累加器变量有以下两...
-
Spark快速入门(8) 高级话题：广播变量
在Spark中，我们通过将数据分区的方式，避免任务之间的数据通信，使每个任务都可以独立执行，通信只有在shuffle的时候才会发生。 在接下来的两节中，我们将介绍两种在Spa...
