1.用 urllib.request.urlopen打开网页出现 HTTPError(req.full_url, code, msg, hdrs, fp) urllib.error.HTTPError: HTTP Error 403: Forbid
原因:urllib.request.urlopen 方式打开一个URL,服务器端只会收到一个单纯的对于该页面访问的请求,但是服务器并不知道发送这个请求使用的浏览器操作系统,硬件平台等信息,而缺失这些信息的请求往往都是非正常的访问,例如爬虫。
有些网站验证请求信息中的UserAgent(它的信息包括硬件平台、系统软件、应用软件和用户个人偏好),如果UserAgent存在异常或者是不存在,那么这次请求将会被拒绝(如上错误信息所示)所以可以尝试在请求中加入UserAgent的信息
解决:
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0'}
url='https://www.xxx.com'
#发送请求
reas=request.Request(url=url,headers=headers)#注意Python严格大小写 找了半天Request ( ╯□╰ )
req=request.urlopen(reas)
#将网页解码
html=req.read().decode('utf-8')
print(html)
参考:https://www.cnblogs.com/lixiaolun/p/4773433.html
2.mysql 错误代码: 1267 Illegal mix of collations (utf8mb4_unicode_ci,IMPLICIT) and (utf8mb4_general_ci,IMPLICIT) for operation '='
原因: 临时存储表的编码和表的编码不符
解决
ALTER DATABASE 数据库名 CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci
之前都好好的,突然产生这个错误,不知道是哪里设置有误..
emmmmm...又出现这种错误了...还是不知道哪里的问题,时不时出现o_o ....网上找了第二种方法
alter table `dbname`.`tablename` convert to character set utf8 collate utf8_general_ci;
3.pip报错:ERROR: Exception:Traceback (most recent call last):....socket.timeout: The read operation timed out.During handling of the above exception, another exception occurred:
安装超时报错,加个timeout即可
pip --default-timeout=100 install -U matplotlib