XPath 简介:
- XPath 是一门在 XML 文档中查找信息的语言
什么是 XPath?
- XPath 使用路径表达式在 XML 文档中进行导航
- XPath 包含一个标准函数库
- XPath 是 XSLT 中的主要元素
- XPath 是一个 W3C 标准
事例:
etree_html = etree.HTML(html)
print(etree_html)
# 匹配所有节点 //*
result = etree_html.xpath('//*')
# 匹配所有子节点 //a 文本获取:text()
result = etree_html.xpath('//a/text()')
print(result)
# 查找元素子节点 /
result_article = etree_html.xpath('//div[@class="pic"]/p/text()') #获取文章
print(result_article)
from_name = etree_html.xpath('//div[@class="source"]//span[@class="from"]/a/text()') # 获取名字
from_address = etree_html.xpath('//div[@class="source"]//span[@class="from"]/a/@href') # 获取地址
# 查找元素所有子孙节点 //
result_title = etree_html.xpath('//div[@class="channel-item"]//h3/a/text()') # 获取标题
# print(result_son)
# 父节点 ..
result = etree_html.xpath('//span[@class="pubtime"]/../span/a/text()')
print(result)
# 属性匹配 [@class="xxx"]
# 文本匹配 text() 获取所有文本//text()
result = etree_html.xpath('//div[@class="article"]//text()')
print(result)
# 属性获取 @href
result = etree_html.xpath('//div[@class="bd"]/h3/a/@href')
print(result)
# 属性多值匹配 contains(@class 'xx')
result = etree_html.xpath('//div[contains(@class, "grid-16-8")]//div[@class="likes"]/text()[1]')
print(result)
# 多属性匹配 or, and, mod, //book | //cd, + - * div = != < > <= >=
result = etree_html.xpath('//span[@class="pubtime" and contains(text(), "09-07")]/text()')
print(result)
# 按序选择 [1] [last()] [poistion() < 3] [last() -2]
# 节点轴
//li/ancestor::* 所有祖先节点
//li/ancestor::div div这个祖先节点
//li/attribute::* attribute轴,获取li节点所有属性值
//li/child::a[@href="link1.html"] child轴,获取直接子节点
//li/descendant::span 获取所有span类型的子孙节点
//li/following::* 选取文档中当前节点的结束标记之后的所有节点
//li/following-sibling::* 选取当前节点之后的所用同级节点
# 同时取到节点和元素
result = etree_html.xpath('//div[@class="channel-item"] | //span[@class="pubtime"]/../span/a/text()')
推荐一款插件 Xpath Helper:
Xpath Helper 是一种结构化网页元素选择器,支持列表和单节点数据获取,
它可以快速地定位网页元素。
对比 Beautiful Soup,由于 Xpath 网页元素查找性能更有优势;Xpath 相比正则表达式编写起来更方便。
编写 Xpath 之后会实时显示匹配的数目和对应的位置,方便我们判断语句是否编写正确。