爬虫介绍 调度器 URL管理器(用来存储待抓取的链接，已经抓取过的链接) 网页下载器(消费URL管理器中待抓取的链接) 网页解析器(把抓到的网页进行数据的提取) URL管理器...
发简信
IP属地：北京
-
不常见的http状态码
499服务器返回http头之前，客户端就提前关闭了http连接有可能是因为服务器端处理的时间过长，客户端“不耐烦”了。php进程不够用了，改善一下php进程数，默认测试环境才...
-
根据PV或者QPS来计算需要多少台机器
QPS单个进程每秒请求服务器成功的次数req/sec = 总请求数 /（进程总数 * 请求时间）一般使用http_load进行统计 每台服务器每天的PV(QPS x 3600...
-
php-fpm的工作模式
php-fpm有动态(dynamic)和静态(static)两种工作模式，默认是动态模式。 pm.max_children最大线程数 pm.start_servers启动时的...
-
centos下安装supervisor
centos下安装supervisor 1.安装 成功安装后可以登陆python控制台输入import supervisor 查看是否能成功加载。 补充：如果easy_ins...
-
memcache和redis的互斥锁
举出一个使用Memcache比Redis更优的使用场景 适合大量get，而且只用简单KV的场景。 一个典型的场景，Memcache可以作为集中Session存储，比Redis...
-
Redis、Memcached状态的监控
Redis状态监控 Redis可以使用INFO命令，进行状态监控。 通过给定可选的参数 section ，可以让命令只返回某一部分的信息server : 一般 Redis 服...
-
从用户输入URL开始会经历哪些缓存
根据用户发起一个HTTP请求开始，会经历哪些缓存。 用户层DNSDNS系统本地缓存(客户端操作系统DNS缓存)LocalDNS缓存(本地DNS提供商的缓存)DNS缓存服务器(...
-
使用expect批量分发公钥 ssh免密码登录
安装expect 生成公钥和私钥 批量部署ssh公钥到目标机器 执行脚本 登录目标主机 原理 所谓"公钥登录"，原理很简单，就是用户将自己的公钥储存在远程主机上。登录的时候，...
-
从输入URL到页面加载发生了什么
从输入URL到页面加载发生了什么，之前百度前端写过这篇文章，里面讲解的非常的详细。 总体来说分为以下几个过程： DNS解析 TCP连接 发送HTTP请求 服务器处理请求并返回...
-
unserialize(): Error at offset of bytes in on line 的解决方法
在线检测序列号数据的正确性。https://zh.functions-online.com/unserialize.html PHP中Notice: unserialize(...
-
screen挂起的使用
背景 系统管理员经常需要SSH 或者telent 远程登录到Linux 服务器，经常运行一些需要很长时间才能完成的任务，比如系统备份、ftp 传输等等。通常情况下我们都是为每...