爬虫入门教程⑥—安装爬虫常用工具包

这是承前启后的一节,也是很有可能出错的一节,所以要认真跟着看哦。

我们要安装的有

  • jupyter(简单方便的写代码工具)
  • requests(Python HTTP请求工具)
  • lxml(解析网页结构工具)
  • beautifulsoup(网页文档解析工具)

pip是Python的包管理工具,可以安装,升级,卸载Python包,并且只需要一条命令就行,是个非常棒的工具。

开始安装

Windows键+X键,点出来命令提示符。
然后输入pip3 install jupyter,回车。然后就开始下载安装jupyter了。

jupyter安装

安装完成了会提示successful installed jupyter,...。我的因为安装过了,所以提示需求已经满足了。

安装requests和之前一样。在命令行继续输入pip3 install requests。回车开始下载安装。

安装lxml,继续输入命令pip3 install lxml。回车安装。

安装beautifulsoup有一点不一样,安装命令为pip3 install bs4。这是安装第四版的beautifulsoup的意思。

  • jupyter简介

    Jupyter Notebook(此前被称为 IPython notebook)是一个交互式笔记本,支持运行 40 多种编程语言。
    Jupyter Notebook 的本质是一个 Web 应用程序,便于创建和共享文学化程序文档,支持实时代码,数学方程,可视化和markdown。 用途包括:数据清理和转换,数值模拟,统计建模,机器学习等等 。

    用这个来写代码会比Python自带的IDLE或者命令行要好很多,不仅有代码着色、代码智能提示,还可以点击Run立即得出结果。
    我们仅仅是把它作为我们的代码编辑器,另外的强大功能,如果有精力可以自己去jupyter的官方文档探索。下面是jupyter的截图。


    jupyter 截图
  • requests简介
    requests是个非常优秀,非常棒的库。使用它我们可以减少非常大的工作量,专注于对请求的创建和处理,而不需要去处理中间过程,诸如302跳转、cookie的发送与接收、表单的编码。
    简单来说,我们就是使用它进行网络请求,获取到网页的内容。如果要自己全程实现一个请求的流程,代码会非常多。但是有了requests,一切都是那么easy、放弃urllib吧!

  • lxml简介

    lxml is the most feature-rich and easy-to-use library for processing XML and HTML in the Python language.

    lxml可以用来解析XML文件或者HTML文件,能够一个一个节点地解析,并且经过测试,lxml是Python所有解析HTML结构的包里面,解析速度最快的。lxml可以使用css选择器进行选择网页的节点,但是css选择器对新手不是很友好,所以我们采用了一个折中的办法,用beautifulsoup。

  • BeautifulSoup 简介

    Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.

    BeautifulSoup是一个非常友好的HTML解析选择器,他可以选择几个不同的解析器:

    • html.parser(Python原生自带,速度慢,容错能力差)
    • html5lib(Python自带,速度慢)
    • lxml(需要安装,Python最快,还可以解析xml文件)

    有了BeautifulSoup,我们对网页的解析会方便很多。

关系这几个工具的具体使用,会在之后的章节介绍。欢迎关注~!


传送门

下一章:
爬虫入门教程⑦— jupyter与requests的初步使用

所有的章节:

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,179评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,229评论 2 380
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,032评论 0 336
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,533评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,531评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,539评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,916评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,574评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,813评论 1 296
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,568评论 2 320
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,654评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,354评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,937评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,918评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,152评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,852评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,378评论 2 342

推荐阅读更多精彩内容