Python爬取豆瓣电影Top250

想学Python了，花了一下午的时间把Python基础点学了下，发现什么都不会，不知道能干啥，想这做个小Demo，正好看到了一篇文章于是就有了下面的想法。那篇文章给了启发，谢谢博主。

豆瓣电影Top250就是这个网页，我想把他整个的爬下来。

如果有其他的语言的开发经验，就会发现，这就是一个网络请求，比如说Java，就是请求这个页面，然后通过打印即可。不过我听说好像有个就 requests 的第三方库挺不错的。用一下。

import requests

douban = 'https://movie.douban.com/top250'


def download():
    content = requests.get(douban).content
    print(content)

def main():
    download()


if __name__ == '__main__':
    main()

乱码

恩，上面这个就是一个简单的下载豆瓣电影Top250的一个页面，可是打印出来好像没有转码一样，汉字没了，没关系，听过bs4可以用来解析网页，试一下。

def parseHtml(html):
    soup = BeautifulSoup(html)
    print(soup)


def download():
    content = requests.get(douban).content
    parseHtml(content)

页面

这样就算是爬下来了，不过，我要这个没什么用啊，我想要的是Top250，有哪些电影，评分都是多少。

可是在哪？

我想到了F12，在豆瓣电影Top250按下F12，找到电影名所在的控件名，然后获取下来，同样的，找到评分控件名，然后获取。

恩，找到了，电影名在一个class=hd的div中的a标签下的第一个class名为title标签。

标签

movie_name = soup.find('span', attrs={'class': 'title'}).getText()
print(movie_name)

这样应该就行了吧，试试看，结果只有一个《肖申克的救赎》，嗯，差得不远，第一个出来了，哪其他的呢。仔细看看

集合

好像有好多的li标签，这些都是在一个 class=gird_view 的ol里的，那是不是构成了一个类似与数组的样式，那应该是先获取那个数组，然后再遍历寻找电影名，对吧。

    movie_list_soup = soup.find('ol', attrs={'class': 'grid_view'})
    for movie_li in movie_list_soup.find_all('li'):
        movie_name = movie_li.find('span', attrs={'class': 'title'}).getText()
        print(movie_name)

同样的，获取评分也就没有问题了。唉，那个，每个电影好像有个推荐语，顺便也搞下来吧，反正也不费什么力气。

def parseHtml(html):
    soup = BeautifulSoup(html)
    movie_list_soup = soup.find('ol', attrs={'class': 'grid_view'})
    for movie_li in movie_list_soup.find_all('li'):
        movie_name = movie_li.find('span', attrs={'class': 'title'}).getText()
        movie_star = movie_li.find('span', attrs={'class': 'rating_num'}).getText()
        movieQuote = movie_li.find('span', attrs={'class': 'inq'}).getText()
        print('{0} {1} {2}'.format(movie_name, movie_star, movieQuote))

首页

这样就完了？这才第一页，我想把所有的都搞下来，那继续吧，怎么做呢，当我把页面拉到最下面的时候，发现一页一共是25个电影那一共就有10页，那我把页码包含的地址搞下来，然后构成一个循环，剩下的就是和上面一样的结果了。等等，好像有个后页，更简单了，我每次爬取的时候顺便把后页的地址爬取下来，然后再继续刚才的就行了。

不过好像要注意一点就是，如果抓取的本身就是最后一页，那肯定没有后页了，所以要判断有没有后页才能继续，如果有继续爬取，如果没有就是在最后一页了，就退出好了。

    nextPage = soup.find('span', attrs={'class': 'next'}).find('a')
    if nextPage:
        download(download(douban + '{0}'.format(nextPage['href'])))
    else:
        exit(0)

不过，我们需要改一下了，把之前的download函数添加一个参数，放进去一个url。

def download(url):
    content = requests.get(url).content
    parseHtml(content)


def main():
    download(douban)

报错

这是什么情况，没道理啊。

仔细看看，说什么找不到getText()这个属性，什么鬼，哪里有问题，提示是获取推荐语出现了问题，不对，那怎么之前还有推荐语呢？找到了这个在《玩具总动员3》下面出现了问题，找找看，这个电影是在哪一页，下面一部电影是什么？

还好，我们刚才传入一个url，我把url打印一下，不就知道了？，最后一个打印的url是这个打开找到《玩具总动员3》下面那个，《二十二》这个好像没有推荐语，那怎么办？

缺失

仔细看一下，发现，这个电影比其他电影少了一个p标签，正好是放推荐语的，那我先判断p标签是否存在，再去找推荐语吧。嗯，就这么改。

好了，整体搞完了，总体看一下代码。

import requests
from bs4 import BeautifulSoup

douban = 'https://movie.douban.com/top250'


def parseHtml(html):
    soup = BeautifulSoup(html)
    movie_list_soup = soup.find('ol', attrs={'class': 'grid_view'})
    for movie_li in movie_list_soup.find_all('li'):
        movie_name = movie_li.find('span', attrs={'class': 'title'}).getText()
        movie_star = movie_li.find('span', attrs={'class': 'rating_num'}).getText()
        quoteP = movie_li.find('p', attrs={'class': 'quote'})
        if quoteP:
            movieQuote = movie_li.find('span', attrs={'class': 'inq'}).getText()
            print('{0} {1} {2}'.format(movie_name, movie_star, movieQuote))
        else:
            print('{0} {1}'.format(movie_name, movie_star))
    nextPage = soup.find('span', attrs={'class': 'next'}).find('a')
    if nextPage:
        download(download(douban + '{0}'.format(nextPage['href'])))
    else:
        exit(0)


def download(url):
    print(url)
    content = requests.get(url).content
    parseHtml(content)


def main():
    download(douban)


if __name__ == '__main__':
    main()