Python瞎老弟的爬虫心得之requests篇⑤requests使用代理

1.什么是代理?

可以理解为,当你去请求一个网站的时候,不是直接请求这个网站,而是通过代理去请求这个网站,然后代理再把得到的内容发给你。就比如你想查询今天的天气,你没有直接搜索今天的天气,而是打电话给你的朋友,让他帮助你去搜索了今天的天气,然后他通过电话中告诉了你天气。那么提供天气信息的人可能无法知道真正查询的人是你,而非你的朋友。

2.在哪里可以找到代理?

好用的代理几乎都是需要付费的,没必要去尝试寻找到一个免费的代理。价格方面现在(2021年)一般包月200-500块(当然这只是最基础款,如果你为某些大型公司工作的话,一天花费上千元用来买代理也并非什么不可思议的事情)

当然如果你的使用量很少的话,或许也可以找到更便宜的按量付费,但那通常就失去了使用代理的意义

由于代理服务商没有为我提供广告费,所以我并不打算在这里推荐付费代理服务商,如果你需要相关方面的信息,通过百度就可以很容易找到。或者通过知乎查看相关问题,例如“哪一家的付费代理更好?”

3.为什么要使用代理?我需要使用代理吗?

使用代理主要是防止对方网站封ip,如果对方网站不封ip,一般来说没有必要使用代理

注:请不要尝试通过代理去逃避相关的法律责任,或者真的以为这样可以隐藏自己,这种想法多半是不现实的。

4.代理的使用

将代理保存进入一个字典之中,格式为

proxies = {
    "http": "http://1.1.1.1:1111",
    "https": "https://1.1.1.1:1111"
}

注意:里面的内容需要填写真实的代理地址,不能直接写1.1.1.1

然后将该字典添加到requests的proxies参数中即可

import requests

url = "http://httpbin.org/get"

proxies = {
    "http": "http://115.*.*.*:15905",
    "https": "https://115.*.*.*:15905"
}

r = requests.get(url, proxies=proxies)

print(r.text)

在返回的响应内容中,可以查看到我们的ip地址已经变为了我们的代理地址

5.代理使用密码

一般来说,付费的代理也不是随意使用的,可能会要求你添加白名单或者使用密码,具体按照你付费的地方的说明即可。

如果需要使用密码,就将用户名和密码填在前面即可,修改为以下格式

proxies = {
    "http": "http://username:password@115.*.*.*:15905",
    "https": "https://username:password@115.*.*.*:15905"
}

例如用户名为xialaodi,密码为123456,就这样填写即可

proxies = {
    "http": "http://xialaodi:123456@115.*.*.*:15905",
    "https": "https://xialaodi:123456@115.*.*.*:15905"
}
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 202,723评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,080评论 2 379
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,604评论 0 335
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,440评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,431评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,499评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,893评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,541评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,751评论 1 296
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,547评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,619评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,320评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,890评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,896评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,137评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,796评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,335评论 2 342

推荐阅读更多精彩内容