首先安装requests lxml库
pip3 install requests lxml
然后开始
#! /usr/bin/env python3
# -*- coding: utf-8 -*-
import requests
from lxml import etree
if __name__ == "__main__":
"""requests lxml"""
url = "http://www.jianshu.com/u/28c8a26a6d75" # 我的主页
return_data = requests.get(url)
html_data = etree.HTML(return_data.text)
//这里我只取出auth， title， abs
result_data = html_data.xpath('//div[@class="content"]') # 里面这个表达式可是这样获得
# 页面F12 选中你要的部分右键 Copy -> Copy XPath (Firefox or Chrome 应该都可以)
for result in result_data：
# 这里简单的打印下
print(result.xpath('.//text()'))
结果：
['\n ', '\n ', '\n ', '\n', ' ', '\n ', 'single430', '\n ', '\n ', '\n ', '\n ', '“人民的名义” 之 《天局》原文', '\n ', '\n 《天局》是作家矫健创作的短篇小说，收录于《矫健中短篇小说集》中。 《天局》西庄有个棋痴，人都称他混沌。他对万事模糊，惟独精通围棋。他走路跌跌斜斜，据说是踩着棋格走，步步都是绝...\n ', '\n ', '\n ', '\n ', ' 0\n', ' ', '\n ', ' 0\n', ' ', ' 0', '\n ', '\n ']
['\n ', '\n ', '\n ', '\n', ' ', '\n ', 'single430', '\n ', '\n ', '\n ', '\n ', 'MQTT，RabbitMQ初步使用 - Ubuntu', '\n ', '\n MQTT 使用源码安装 其中会需要一些依赖(编译过程找不到) 接下来就可以进行测试了 之后分别运行两个py文件就可以收到数据了 RabbitMQ 安装RabbitMQ服务su...\n ', '\n ', '\n ', '\n ', ' 121\n', ' ', '\n ', ' 0\n', ' ', ' 2', '\n ', '\n ']
['\n ', '\n ', '\n ', '\n', ' ', '\n ', 'single430', '\n ', '\n ', '\n ', '\n ', 'Ubuntu下 supervisor 初步使用', '\n ', '\n 第一步 sudo apt-get install supervisor 第二步 sudo touch /etc/supervisor/conf.d/myproject.con...\n ', '\n ', '\n ', '\n ', ' 29\n', ' ', '\n ', ' 2\n', ' ', ' 2', '\n ', '\n ']
['\n ', '\n ', '\n ', '\n', ' ', '\n ', 'single430', '\n ', '\n ', '\n ', '\n ', 'Linux下 tftp服务搭建', '\n ', '\n 第一步 sudo apt install tftp-hpa tftpd-hpa xinetd 第二步 新建 /etc/xinetd.d/tftpd 内容为: se...\n ', '\n ', '\n ', '\n ', ' 23\n', ' ', '\n ', ' 0\n', ' ', ' 1', '\n ', '\n ']
['\n ', '\n ', '\n ', '\n', ' ', '\n ', 'single430', '\n ', '\n ', '\n ', '\n ', '微信, 支付宝扫码支付总结', '\n ', '\n 好不容易折腾微信和支付宝的开发文档才搞出来的 一： 支付宝扫码支付 上面就是支付宝扫码支付，如果成功会返回二维码链接，只需调用库生成二维码就可以。 字典排序函数 微信扫码支付...\n ', '\n ', '\n ', '\n ', ' 47\n', ' ', '\n ', ' 0\n', ' ', ' 2', '\n ', '\n ']
['\n ', '\n ', '\n ', '\n', ' ', '\n ', 'single430', '\n ', '\n ', '\n ', '\n ', 'pip 豆瓣源 Linux or Win7 And 杂项记录', '\n ', '\n Linux修改 /home/xxx/.pip/pip.conf 如果没有就新建[global]index-url = https://pypi.doubanio.com...\n ', '\n ', '\n ', '\n ', ' 3\n', ' ', '\n ', ' 0\n', ' ', ' 1', '\n ', '\n ']
['\n ', '\n ', '\n ', '\n', ' ', '\n ', 'single430', '\n ', '\n ', '\n ', '\n ', '一个残疾姑娘说的一句话', '\n ', '\n 她说：每个人都是上帝咬过的一个苹果，只是自己这个苹果看起来更美味，上帝就咬了一大口。 我一直觉得其实我们每个人都是残疾人，就比如我，近视400度，摘下眼镜，我还能看清什么吗？\n ', '\n ', '\n ', '\n ', ' 3\n', ' ', '\n ', ' 0\n', ' ', ' 0', '\n ', '\n ']
['\n ', '\n ', '\n ', '\n', ' ', '\n ', 'single430', '\n ', '\n ', '\n ', '\n ', 'Django + nginx + uwsgi 部署（linux）', '\n ', '\n 首先确保你的系统有安装django，uwsgi，nginx，具体如何安装网上的教程一大把，这里我就写几个自己遇到的问题 * 首先 在测试uwsgi是否工作是我们都会写一个xx...\n ', '\n ', '\n ', '\n ', ' 61\n', ' ', '\n ', ' 4\n', ' ', ' 2', '\n ', '\n ']
简单的写了一下，不过我相信大家应该很聪明
这个是requests库的地址 http://docs.python-requests.org/en/master/
By:single430
