架构图 ENGINE：引擎（用于处理整个系统的数据流和事件，核心），主要负责数据流转和逻辑处理 SPIDERS：蜘蛛（对应多个spider，每个spider定义了站点的爬取逻...
发简信
IP属地：广东
-
第十五章 Scrapy框架的使用之工作原理及简单入门 -
第二章 基本库的使用之httpx
requests和urllib只能在HTTP1.0和HTTP1.1上请求，对于HTTP2.0的网站无能为力，有一些网站是强制HTTP2.0的，所以就需要用到httpx这个库。...
-
SQL练习50题（包含题目和答案及运行结果）SQL经典练习50题 数据准备 练习 1、查询"01"课程比"02"课程成绩高的学生的信息及课程分数 方法一： 方法二： 2、查询同时存在" 01 "课程和" 02 "课程的...
-
第三章 网页数据的解析提取之Beautiful Soup
Beautiful Soup BS是python的一个XML或HTML的解析库 Beautiful Soup支持的解析器Python标准库 Python的内置标准库，执行速度...
-
第三章 网页数据的解析提取之XPath
XPath的使用 xpath全称XML Path Language，用来在XML文档里面查找信息，同样适用于HTML文档的搜索。 常用规则 表达式描述nodename选取此节...
-
第二章 基本库使用之正则表达式
常用正则表达式匹配规则 模式描述\w匹配字母、数字、下划线,等价于[a-zA-Z0-9_] \w可以匹配汉字(python)\W匹配不是字母、数字、下划线的其他字符\s匹配任...
-
第二章 基本库的使用之requests
get请求 上面把URL参数以字典的形式传给get方法的params参数，可以自动构造成标准的get请求URL返回值是JSON格式的字符串可以调用json()方法将字符串转化...
-
第二章 基本库的使用之urllib
urllib是一个python的内置HTTP请求库，利用它可以实现HTTP请求的发送，只需要指定请求的URL、请求头、请求体等信息。urllib可以把服务器返回的响应转换成P...
-
第一章 爬虫基础之爬虫基本原理 ②
1.3 爬虫基本原理 爬虫就是获取网页并提取和保存信息的自动化程序步骤：1.获取网页（的源代码）：构造一个请求并发送给服务器，收到响应并解析。2.提取信息：使用正则表达式，x...
-
第一章 爬虫基础之前置知识点 ①
1.1 HTTP基本原理 URL的组成部分，包括协议，域名等，其中域名常见的有http和https。一般爬虫爬取的也大多数是这两种协议。除了协议和域名，url中还可以添加用户...
-
Linux防火墙的知识汇总
Linux防火墙 Centos7 查看防火墙状态systemctl status firewalld 关闭防火墙systemctl stop firewalld 打开防火墙s...
-
关于Failed to create native process factories for Machine Learning
关于在本地运行通过，在windowserver 2012 R2 服务器上运行报错：Failed to create native process factories for ...
-
Kafka提交offset机制
【转】https://www.baidu.com/link?url=3sPGFihkBbhc41jSaAzCwPnANCbs1z56_l4a1eXnhRtd2XxT5B4r7...
-
Spark数据倾斜的完美解决
转自：https://blog.csdn.net/qq_38247150/article/details/80366769 数据倾斜解决方案数据倾斜的解决，跟之前讲解的性能调...
-
Some questions in learnning Spring
Some questions in learnning Spring 问题1： Test3.java中 会创建两个对象user和person answer：在new Clas...
-
JavaScript进阶
DOM简单学习 Dom编程的作用目的： 为了控制html的元素。 如何找到一个标签对象？ 1. 给html元素添加一个id的属性值 2. 使用document.getEl...
-
JavaScript基础
JavaScript_简介 JavaScript的基本概念? javascript是运行在浏览器客户端的==基本脚本语言==。 什么是脚本语言? ja...