Requests-BS4-Re库实验

[TOC]

1. 中国大学排名定向爬虫

基本流程：爬取内容，分析，输出

功能描述：

​ 输入：大学排名URL

​ 输出：大学排名信息的屏幕输出（排名，大学名称，总分）

技术路线：requests-bs4

文本分析：

<tbody class="hidden_zhpm" style="text-align:center;">
                <tr class="alt"><td>1</td>
                <td><div align="left">清华大学</div></td>
                <td>北京市</td><td>95.9</td><td class="hidden-xs need-hidden indicator5">100.0</td><td class="hidden-xs need-hidden indicator6"  style="display:none;">97.90%</td><td class="hidden-xs need-hidden indicator7"  style="display:none;">37342</td><td class="hidden-xs need-hidden indicator8"  style="display:none;">1.298</td><td class="hidden-xs need-hidden indicator9"  style="display:none;">1177</td><td class="hidden-xs need-hidden indicator10"  style="display:none;">109</td><td class="hidden-xs need-hidden indicator11"  style="display:none;">1137711</td><td class="hidden-xs need-hidden indicator12"  style="display:none;">1187</td><td class="hidden-xs need-hidden indicator13"  style="display:none;">593522</td></tr><tr><td>2</td>

可以看到，<tbody>标签下是大学排行表格，<td>标签内是排名、名称和位置、总分，所以只需要提取相应标签中的内容即可，使用BS4库中find_all函数

main函数

def main():
        uinfo = []
        url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html'
        html = getHTMLText(url)
        fillUnivList(uinfo, html)
        printUnivList(uinfo, 20)

getHTMLText函数

def getHTMLText(url):   #input url
        try:
                r = requests.get(url, timeout = 30)
                r.raise_for_status()
                r.encoding = r.apparent_encoding
                return r.text
        except:
                return ''

fillUnivList函数

def fillUnivList(ulist, html):
        soup = BeautifulSoup(html,"html.parser")
        for tr in soup.find('tbody').children:    #子结点迭代
                if isinstance(tr, bs4.element.Tag):    #判断是否是Tag
                        tds = tr('td')  #find_all
                        ulist.append([tds[0].string,tds[1].string,tds[2].string])    #将tag中字符串构成新元素添加到表尾

printUnivList函数

def printUnivList(ulist, num):
        tmp = '{0:^10}\t{1:{3}^10}\t{2:^10}'
        print(tmp.format("排名","学校名称","分数", 'c'))    #格式化输出
        for i in range(num):
                u = ulist[i]
                print(tmp.format(u[0],u[1],u[2],chr(12288)))
        print("suc" + str(num))

2. 淘宝商品比价定向爬虫

功能描述：

​ 目标：获取淘宝搜索页面的信息，提取商品名称和价格

​ 内容：

​ 淘宝搜索接口（URL格式）

​ 翻页的处理

技术路线：requests-bs4-re

查看robots.txt协议时，尽管里面禁止一切爬虫，不过考虑到我们这里只有一次访问，访问量类人，所以不用遵循协议。

此外，由于淘宝页面使用了反爬虫，所以在getHTML时，将用户域设为浏览器。

main函数

def main():
    goods = 'sd卡'
    depth = 3    #定义页数
    start_url = 'http://s.taobao.com/search?q=' + goods    #关键词接口
    uli = []
    for i in range(depth):
        try:
            url = start_url + '&s=' + str(44 * i)
            html = getHTML(url)
            fillList(uli, html)
        except:
            print('error')
            continue
    printList(uli)

fillList函数

#从文本获得商品价格列表
def fillList(uli, html):
    try:
        tlt = re.findall(r'\"raw_title\"\:\".*?\"', html)    #使用正则表达式匹配，最小匹配
        plt = re.findall(r'\"view_price\"\:\"[\d\.]*\"', html)
        for i in range(len(tlt)):
            title = eval(tlt[i].split(':')[1])
            price = eval(plt[i].split(':')[1])
            uli.append([price,title])
    except:
        print("")

printList函数

#打印商品价格列表
def printList(uli):
    tplt = '{:4}\t{:8}\t{:16}'
    print(tplt.format("序号",'价格','名称'))
    count = 0
    for u in uli:
        count = count + 1
        print(tplt.format(count, u[0], u[1]))

3. 股票数据定向爬虫

这次采用两个网站搭配使用，先从东方财富网提取所有股票代码，接着利用百度股票的接口查询个股信息，输出到文件。

main函数

def main():
    stock_list_url = 'http://quote.eastmoney.com/stocklist.html'
    stock_info_url = 'https://gupiao.baidu.com/stock/'
    output_file = 'D:/BaiduStockInfo.txt'
    slist = []
    print('start...')
    getStockList(slist, stock_list_url)
    getStockInfo(slist, stock_info_url, output_file)

getStockList函数

def getStockList(lst, stockURL):
    html = getHTML(stockURL)
    soup = BeautifulSoup(html,'html.parser')
    a = soup.find_all('a')
    for i in a:
        try:
            href = i.attrs['href']
            lst.append(re.findall(r'[s][hz]\d{6}',href)[0])
        except:
            continue

getStockInfo函数

def getStockInfo(lst, stockURL, fpath):
    for stock in lst:    #对所有股票代码遍历
        url = stockURL + stock + '.html'    #构成百度股票URL
        html = getHTML(url)
        try:
            if html == '':
                continue
            infoDict = {}
            soup = BeautifulSoup(html, 'html.parser')
            stockinfo = soup.find('div',attrs = {'class':'stock-bets'})
            name = stockinfo.find('a',attrs = {'class':'bets-name'})
            infoDict.update({'股票名称':name.text.split()[0]})    #更新字典

            keylist = stockinfo.find_all('dt')
            valuelist = stockinfo.find_all('dd')
            for i in range(len(keylist)):
                key = keylist[i].text
                value = valuelist[i].text
                infoDict[key] = value

            with open(fpath, 'a', encoding = 'utf-8') as f:
                f.write(str(infoDict) + '\n')

        except:
            traceback.print_exc()
            continue