前言 网络爬虫,是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。爬虫可以通过模拟浏览器访问网页,从而获取数据,一般网页里会有很多个URL,爬虫可以访问这些URL到达...
前言 网络爬虫,是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。爬虫可以通过模拟浏览器访问网页,从而获取数据,一般网页里会有很多个URL,爬虫可以访问这些URL到达...
本文参考自:《ZooKeeper: Distributed process coordination》 Zookeeper 简介 Zookeeper 最初是由 Yahoo 公...
原文:InfoQ 作者 郭俊 简介 Kafka是一种分布式的,基于发布/订阅的消息系统。使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用。 Kafka架构 T...
每天起床,总有一种深深的空虚感围绕着我,如鲁迅而言,孤单感像大蛇一样缠绕着我。2017年即将过去,回顾这一年,我做了什么? 好吓人,竟然想不起来。日子过的有点浑浑噩噩的,不知...
Redis-sentinel是Redis实例的监控管理、通知和实例失效备援服务,是Redis集群的管理工具。在一般的分布式中心节点数据库中,Redis-sentinel的作用...
一、持续集成(Continuous Integration) 要了解GitLab-CI与GitLab Runner,我们得先了解持续集成是什么。 持续集成是一种软件开发实践,...
由于业务的需要用到队列,并保证队列的高可用性,我们选择了RabbitMQ的镜像集群模式。这种集群模式在队列节点宕机或故障时也能正常使用,因为它支持复制队列内容到集群里的每个节...
随着业务的发展,口袋数据量越来越大,访问量也在持续上升,数据库的压力也变大。经过分析,口袋属于读多写少的业务,数据库层面,之前已经存在一主一从,但读写都是走的主库,没有真正运...
口袋最近要开发一个新项目,由于没有历史债务,决定使用一些相对新的框架和特性来进行开发:Spring boot & Gradle & YAML & MyBatis-spring...