1 URL（统一资源定位符）
1.1 一般格式
protocol://hostname[:port]/path/[;parameters][?query]#fragment
1.2 组成
- 第一部分是协议：http, https, ftp, file, ed2k...
- 第二部分是存放资源的服务器的域名系统或IP地址（有时候包含端口号，各种传输协议都有默认的端口号）
- 第三部分是资源的具体地址，如目录或文件名等
1.3 与URI的区别
URI是统一资源标识符，用字符串来标识某一互联网资源
URL是统一资源定位符，表示资源的地址
因此URI属于父类，而URL属于URI的子类
2 设计中的特别注意
不要重读爬取同一个URL的内容，如果没做这方面的预防，如果一个URL的内容中包含该URL本身，那么就会陷入无限递归
3 修改headers
- 通过Request的headers参数修改
- 通过Request.add_header()方法修改
4 代理
4.1 步骤
- 参数是一个字典{‘类型’：‘代理ip：端口号’}
proxy_support = urllib.request.ProxyHandler({}) - 定制、创建一个opener
opener = urllib.request.build_opener(proxy_support) - a.安装opener（一直在电脑中）
urllib.request.install_opener(opener) - b.调用opener
opener.open(url)
5 获取Request对象具体使用哪种方法访问服务器
get_method()
6 服务器如何确定你是否登录
服务器通过判断你提交的cookie来确定。
6.1 cookie分类：
- 即时过期的cookie，称为‘会话’cookies，当浏览器关闭时（这里是python的请求程序）自动清除
- 有期限的cookie，由浏览器进行存储，并在下一次请求该网站时自动附带（如果没过期或清理的话）
7 Beautiful Soup
7.1 对象
- Tag标签
--tag中包含的字符串不能编辑，但可通过函数replace_with()替换。
--find_all()方法搜索当前tag的所有tag子节点,并判断是否符合过滤器的条件
--find_all() 方法的返回结果是值包含一个元素的列表,而 find() 方法直接返回结果；find_all() 方法没有找到目标是返回空列表, find() 方法找不到目标时,返回 None
--tag的 .contents 属性可以将tag的子节点以列表的方式输出
--通过tag的 .children 生成器,可以对tag的子节点进行循环，同样 .descendants 属性可以对所有tag的子孙节点进行递归循环
--通过 .parent 属性来获取某个元素的父节点
-- 兄弟节点：在文档树中,使用 .next_sibling 和 .previous_sibling 属性来查询兄弟节点；通过 .next_siblings 和 .previous_siblings 属性可以对当前节点的兄弟节点迭代输出 - NavigableString
- BeautifulSoup
- Comment
8 生成器(generator)
作用：一次产生一个数据项，并把数据项输出
格式：
def 函数名(参数)：
...
yield 表达式
用法
generator函数的定义和普通函数的定义没什么区别，只要在函数体内使用yield生成数据项即可
generator函数可以被for循环遍历，并且可以通过next()方法获得yield生成的数据项
与return的区别
yield生成值并不会中止程序的执行，返回值后程序继续往后执行，return返回值后，程序将中止执行
