Learn BeautifulSoup
BeautifulSoup用法
引用崔庆才 静觅
基本语法及用法
初始化
soup = BeautifulSoup(html, 'lxml') (or BeautifelSoup(open(filename), 'lxml') )
四大对象种类
* Tag
* 即标签 如soup.[title| head| a| p| 等等]
* name: soup.name, soup.head.name
* attrs
* NavigableString
* soup.p.string返回标签内容
* BeatifulSoup
* Commit
遍历
* 直接子节点 .contents .children
* 所有子孙节点 .descendants
* 父节点 .parent .parents
* 兄弟节点 .next_sibling .privious_sibling
* 节点内容 .string
* 多个内容 .string .stripped_strings
搜索文档树
* find_all(name, attrs, recursive, text, **kwargs)
* name: 标签名为name
* 字符串
* 正则表达式
* 列表
* True
* 方法
* kwargs: 。。。
* text: 即查找文本内容
* limit参数: 限制返回结果数量
* recursive: 限制搜索节点是否需要子孙节点
* 另外方法有 find find_parent, find_all_next等等
CSS选择器
> select方法是很常用的
- 通过标签 soup.select('title')
- 通过类名 soup.select('.content')
- 通过id soup.select('#link1')
- 属性查找 soup.select('div [class="content"]')
