爬个小说看看

最近闹书荒，看有网友推荐《我的盗墓生涯》，先是在qq浏览器里看，发现有段落缺失，然后就是各种找资源，终于在一个叫顶点小说的网上找到了，但是下载的txt文件打开是乱码，无奈，只能试着爬一爬了

# -*- coding:utf-8 -*-
'''
@author: Alvin
爬一爬 "顶点小说" 网的 《我的盗墓生涯》

'''

import urllib.request
import re
from lxml import etree
from datetime import datetime

print(datetime.strftime(datetime.now(), '%Y-%m-%d %H:%M:%S',))   # 打印当前时间
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:57.0) Gecko/20100101 Firefox/57.0'}

# 设置代理ip，使用的fiddler，应该也可以做代理吧
proxy = urllib.request.ProxyHandler({'http': '127.0.0.1:8888'})
opener = urllib.request.build_opener(proxy, urllib.request.HTTPHandler)
urllib.request.install_opener(opener)


# 获取数据函数
def get_data(url):
    try:
        data_proxy = urllib.request.Request(url, headers = headers)  # 模拟浏览器
        data = urllib.request.urlopen(data_proxy).read().decode('gbk', 'ignore')  # 获取数据
        return data
    except urllib.request.URLError as e:
        if hasattr(e, 'code'):
            print(e.code)
        if hasattr(e, 'reason'):
            print(e.reason)
    except Exception as e:
        print('Error: %s' % str(e))


# 整理数据的函数，使用的xpath解析的网页数据,返回章节标题、文章内容、下一章网址三个元素组成的元组 ([title], [next_url], 'content')
def get_content(data):
    result = etree.HTML(data)
    # 正则需要替换掉的东西
    pat = r'''\r|\n|\xa0|</p>|<script language="javascript" type="text/javascript" src="/js/neirongye300-250.js"></script>'''
    title = result.xpath('//div[@class="bookname"]/h1/text()')
    next_url = result.xpath('//div[@class="bottem1"]/a[text()="下一章"]/@href')
    content2 = result.xpath('//div[@id="content"]/text()')
    content1 = " ".join(map(str, content2))
    content = re.sub(pat, " ", content1)
    return title, next_url, content



# 链接是由前半部分的固定链接加上后半部分的页码链接构成https://www.booktxt.net，  和 /0_693/176376.html
if __name__ == '__main__':
    end_url = '/0_693/'  # 当下一章网址为这个值的时候说明也就到最后一章了，程序结束
    url = 'https://www.booktxt.net/0_693/176374.html'  # 第一章的url
    with open('D:/Agan/spider/我的盗墓生涯.txt', 'a', encoding= 'utf-8') as f:
        while True:
            data = get_data(url)
            result = get_content(data)
            if result[1][0] == end_url:   # get_content返回的是一个元组，next_url排在第1位
                print(datetime.strftime(datetime.now(), '%Y-%m-%d %H:%M:%S', ))  # 打印当前时间
                print("This is the last chapter, process is end!")
                break
            else:
                title = result[0][0]
                content = result[2]
                print(datetime.strftime(datetime.now(), '%Y-%m-%d %H:%M:%S', ))  # 打印当前时间
                print("正在写入：%s" % title)
                print("本章链接是: %s" % url)
                f.write(str(title) + '\n' + content + '\n\n')  # 写入到文件，章节之间空两行，标题与内容之间空一行
                url = 'https://www.booktxt.net' + result[1][0]   # 重新构造下一章的url地址
        f.close()


print(datetime.strftime(datetime.now(), '%Y-%m-%d %H:%M:%S',))   # 打印当前时间

运行一下

正在写入： 第一章 诸葛妖龛
本章链接是: https://www.booktxt.net/0_693/176374.html
2018-06-14 15:37:52
正在写入： 第二章 十五年后
本章链接是: https://www.booktxt.net/0_693/176375.html
2018-06-14 15:37:54
正在写入： 第三章 萌少爷
本章链接是: https://www.booktxt.net/0_693/176376.html
2018-06-14 15:37:56
正在写入： 第四章 遗书
本章链接是: https://www.booktxt.net/0_693/176377.html
2018-06-14 15:37:58
正在写入： 第五章 秘密
本章链接是: https://www.booktxt.net/0_693/176378.html
2018-06-14 15:37:59
正在写入： 第六章 死亡之旅
本章链接是: https://www.booktxt.net/0_693/176379.html
2018-06-14 15:38:01
正在写入： 第七章 广川王刘去
本章链接是: https://www.booktxt.net/0_693/176380.html
2018-06-14 15:38:04
正在写入： 第八章 暗号，玄机
本章链接是: https://www.booktxt.net/0_693/176381.html
2018-06-14 15:38:16
正在写入： 第九章 六扇门
本章链接是: https://www.booktxt.net/0_693/176382.html
……

不过爬的好慢额，谁有好的办法能爬的快点儿

爬的慢不是问题，但是卡住就是问题了，由于没有设置timeout ,运行过程中经常会卡住，鬼知道要卡多长时间，于是得加上请求超时设置：

def get_data(url):
    try:
        print('此时在Request')
        res = urllib.request.Request(url, headers = headers)  # 模拟浏览器
        print('此时在urlopen')
        html = urllib.request.urlopen(res, timeout= 8)  # 设置时间为8秒，8秒未响应则为超时
        print('此时在read')
        data = html.read().decode('gbk', 'ignore')
        return data
    except urllib.request.URLError as e:
        if isinstance(e.reason, socket.timeout):   # 判断是否是请求超时错误，如果是，则再重新执行一遍
            try:
                print('请求超时，正在重新尝试')
                res = urllib.request.Request(url, headers=headers)  # 模拟浏览器
                html = urllib.request.urlopen(res, timeout=8)
                data = html.read().decode('gbk', 'ignore')
                return data
            except Exception as ee:
                print('重新请求失败')
                print(ee)
                return None
        else:
            print(e)
            return None
    except Exception as e:
        print('Error: %s' % str(e))
        return None

首先判断错误是否是请求超时错误，如果是，则再重新执行一遍，如果还报错，则跳过这一条链接，直接进入下一条；

此外，主程序在运行的时候，还需要判断get_data函数是否返回None值，如果是，则跳过，进行下一步，如果不是，则正常执行

        while True:
            data = get_data(url)
            if data is None:
                print('get_data数据为空，跳过，进行下一条')
                continue
            else:
……

虽然有时候仍超时失败，只能放弃这一章节了，但是这样就不报错，不间断运行了
全部程序如下：

# -*- coding:utf-8 -*-
'''
@author: Alvin
爬一爬 "顶点小说" 网的 《我的盗墓生涯》

'''

import urllib.request
import re
from lxml import etree
from datetime import datetime
import time
import random
import socket

print(datetime.strftime(datetime.now(), '%Y-%m-%d %H:%M:%S',))   # 打印当前时间
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:57.0) Gecko/20100101 Firefox/57.0'}

# 设置代理ip，使用的fiddler，应该也可以做代理吧
proxy = urllib.request.ProxyHandler({'http': '127.0.0.1:8888'})
opener = urllib.request.build_opener(proxy, urllib.request.HTTPHandler)
urllib.request.install_opener(opener)


# 获取数据函数
def get_data(url):
    try:
        print('此时在Request')
        res = urllib.request.Request(url, headers = headers)  # 模拟浏览器
        print('此时在urlopen')
        html = urllib.request.urlopen(res, timeout= 8)
        print('此时在read')
        data = html.read().decode('gbk', 'ignore')
        return data
    except urllib.request.URLError as e:
        if isinstance(e.reason, socket.timeout):
            try:
                print('请求超时，正在重新尝试')
                res = urllib.request.Request(url, headers=headers)  # 模拟浏览器
                html = urllib.request.urlopen(res, timeout=8)
                data = html.read().decode('gbk', 'ignore')
                return data
            except Exception as ee:
                print('重新请求失败')
                print(ee)
                return None
        else:
            print(e)
            return None
    except Exception as e:
        print('Error: %s' % str(e))
        return None


# 整理数据的函数，使用的xpath解析的网页数据,返回章节标题、文章内容、下一章网址三个元素组成的元组 ([title], [next_url], 'content')
def get_content(data):
    result = etree.HTML(data)
    # 正则需要替换掉的东西
    pat = r'''\r|\n|\xa0|</p>|<script language="javascript" type="text/javascript" src="/js/neirongye300-250.js"></script>'''
    title = result.xpath('//div[@class="bookname"]/h1/text()')
    next_url = result.xpath('//div[@class="bottem1"]/a[text()="下一章"]/@href')
    content2 = result.xpath('//div[@id="content"]/text()')
    content1 = " ".join(map(str, content2))
    content = re.sub(pat, " ", content1)
    return title, next_url, content



# 链接是由前半部分的固定链接加上后半部分的页码链接构成https://www.booktxt.net，  和 /0_693/176376.html
if __name__ == '__main__':
    end_url = '/0_693/'  # 当下一章网址为这个值的时候说明也就到最后一章了，程序结束
    url = 'https://www.booktxt.net/0_693/176570.html'  # 第一章的url
    with open('D:/Agan/spider/我的盗墓生涯.txt', 'a', encoding= 'utf-8') as f:
        while True:
            data = get_data(url)
            if data is None:
                print('get_data数据为空，跳过，进行下一条')
                continue
            else:
                result = get_content(data)
                if result[1][0] == end_url:   # get_content返回的是一个元组，next_url排在第1位
                    print(datetime.strftime(datetime.now(), '%Y-%m-%d %H:%M:%S', ))  # 打印当前时间
                    print("This is the last chapter, process is end!")
                    break
                else:
                    title = result[0][0]
                    content = result[2]
                    print(datetime.strftime(datetime.now(), '%Y-%m-%d %H:%M:%S', ))  # 打印当前时间
                    print("正在写入：%s" % title)
                    print("本章链接是: %s" % url)
                    f.write(str(title) + '\n' + content + '\n\n')  # 写入到文件，章节之间空两行，标题与内容之间空一行
                    url = 'https://www.booktxt.net' + result[1][0]   # 重新构造下一章的url地址
                    time.sleep(random.randint(1,3))
        f.close()


print(datetime.strftime(datetime.now(), '%Y-%m-%d %H:%M:%S',))   # 打印当前时间

终于爬完了


……
此时在urlopen
此时在read
2018-06-15 14:28:45
正在写入： 第一四四零章 全盘解密
本章链接是: https://www.booktxt.net/0_693/434632.html
此时在Request
此时在urlopen
此时在read
2018-06-15 14:28:48
正在写入： 第一四零一章 下一个，你
本章链接是: https://www.booktxt.net/0_693/439669.html
此时在Request
此时在urlopen
此时在read
2018-06-15 14:28:52
正在写入： 第一四零二章 军哥之死
本章链接是: https://www.booktxt.net/0_693/454992.html
此时在Request
此时在urlopen
此时在read
2018-06-15 14:28:56
This is the last chapter, process is end!
2018-06-15 14:28:56

Process finished with exit code 0
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 202,980评论 5赞 476
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 85,178评论 2赞 380
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 149,868评论 0赞 336
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 54,498评论 1赞 273
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 63,492评论 5赞 364
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 48,521评论 1赞 281
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 37,910评论 3赞 395
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 36,569评论 0赞 256
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 40,793评论 1赞 296
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,559评论 2赞 319
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,639评论 1赞 329
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 33,342评论 4赞 318
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 38,931评论 3赞 307
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,904评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,144评论 1赞 259
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 42,833评论 2赞 349
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 42,350评论 2赞 342

推荐阅读更多精彩内容

  • day233
    一个人的成长过程就是他成为他自己的过程，爱是这一过程中最重要的因素。我们给孩子提供什么样的爱，孩子就以适应这种爱的...
    Molly_zhang阅读 210评论 0赞 0
  • 设计师们，你需要的图片素材都在这里（一）
    素材图片的搜集对于ppt或者ps制作，以及小编的配图，重要性我就不多说了 工作中，要提高工作效率，尽快找到需要的素...
    杜小鱼1205阅读 1,378评论 0赞 28
  • 人一定要保持积极吗？
    在微信上和一位朋友聊天，她是一位微商，对了，就是在朋友圈上“租”地方不交租的那种。其实当时聊的时候也没有既定的内容...
    Fairo阅读 596评论 2赞 7
  • 韩国当红女星原来都在练这组减肥操
    今天小编一不小心翻看到 一些韩国女明星们出道前的黑历史 圆滚滚的模样 Orz 怎么也想不到她们如今万人景仰 难道女...
    RonaldMcDonald阅读 4,108评论 14赞 128