【Python爬虫】requests.exceptions.SSLError: HTTPSConnectionPool问题

报错信息:HTTPSConnectionPool(host='example.com', port=443): Max retries exceeded with url: / (Caused by SSLError(SSLError(1, '[SSL: BAD_ECPOINT] bad ecpoint (_ssl.c:1000)')))

SSLError通常是在使用HTTPS协议进行网络请求时遇到的,它表明SSL握手过程中出现了问题。我通过以下的两个步骤解决SSL错误:

  1. 添加自定义User-Agent:

    • 某些服务器可能会根据请求的User-Agent来决定是否允许访问。如果服务器检测到请求来自一个未知或不受信任的User-Agent,它可能会拒绝连接。通过设置一个标准的User-Agent,如headers = {'User-Agent': 'Mozilla/5.0 (compatible; YourBot/0.1)'},可以模仿一个常见的浏览器或爬虫,从而减少被服务器拒绝的可能性。
  2. 将URL从HTTPS更改为HTTP:

    • HTTPS是HTTP的安全版本,它使用SSL/TLS协议来加密客户端和服务器之间的通信。如果遇到SSL错误,将URL从HTTPS更改为HTTP意味着你放弃了SSL/TLS加密,直接使用不加密的HTTP协议进行通信。这样做可以避免SSL握手过程中可能出现的问题,但这会降低数据传输的安全性,因为HTTP不提供加密保护。

然而,需要注意的是,仅仅因为更改URL为HTTP可以避免SSL错误,并不意味着这是一个好的解决方案。使用HTTP而不是HTTPS会使得数据传输过程中的敏感信息容易受到中间人攻击。因此,通常建议寻找其他方法来解决SSL错误,例如更新SSL库、使用正确的证书、或者确保服务器配置正确。

如果你正在编写爬虫或自动化脚本,并且遇到SSL错误,你可能需要检查以下几点:

  • 确保你的环境(如Python和requests库)是最新的。
  • 检查是否有可用的更新或补丁来解决SSL库的问题。
  • 确保服务器的SSL证书是有效的,并且没有过期。
  • 如果可能,尝试使用不同的User-Agent或添加其他headers来模拟浏览器行为。
  • 考虑使用更高级的库,如urllib3,它提供了更多的SSL/TLS配置选项。

最后,如果你正在处理敏感数据,强烈建议不要使用HTTP,而是寻找解决SSL错误的方法,以保持通信的安全性。


其他参考资料如下:
https://blog.csdn.net/graceljh/article/details/100163814
https://baijiahao.baidu.com/s?id=1782774393060717153&wfr=spider&for=pc
https://www.jianshu.com/p/3ebe136b6f75

1.安装三个安装包

pip install cryptography
pip install pyOpenSSL
pip install certifi

2.导入urllib3包

import urllib3
urllib3.disable_warnings() #这个添加在 requests.get(‘http://xxx.com/’, headers = header, verify=False)上面

https://urllib3.readthedocs.io/en/latest/advanced-usage.html#tls-warnings

3.关闭证书验证在requests.get加入verify=False

response = requests.get(‘http://xxx.com/’, headers = header, verify=False)

4. 创建不验证服务器证书的HTTPS上下文

import ssl
import requests

# 创建一个不验证服务器证书的HTTPS上下文
context = ssl._create_unverified_context()

# 使用上下文发起HTTPS请求(不安全,不推荐在生产环境中使用)
response = requests.get('https://example.com', verify=False)

print(response.text)

5.添加User-Agent

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36',
    'Connection':'close'   #没有影响
}

获取当前浏览器访问某网页所使用的User-Agent:

  1. 浏览器的JavaScript控制台
  • 打开你想要检查User-Agent的网页
  • 按F12键或右键选择“检查”(Inspect)来打开开发者工具。
  • 切换到“控制台”(Console)标签页。
  • 在控制台中输入以下代码并按Enter键执行:
var userAgent = window.navigator.userAgent;
console.log(userAgent);

#执行结果
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36

6.直接将 请求链接的 https 改为 http

参考资料:https://www.jianshu.com/p/3ebe136b6f75

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,711评论 5 468
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 83,932评论 2 376
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,770评论 0 330
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,799评论 1 271
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,697评论 5 359
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,069评论 1 276
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,535评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,200评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,353评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,290评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,331评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,020评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,610评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,694评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,927评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,330评论 2 346
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,904评论 2 341

推荐阅读更多精彩内容