python实战计划的第六个项目：爬取手机号。
一、任务介绍
1.抓取58同城-武汉区域的手机号类目下1-10页帖子的标题和链接，存到数据库。
2.从数据库中读取每个链接，并爬取出每个商品的标题和价格。
二、任务分析
首先建立一个叫phone的数据库，随后创建phone_link表单和phone_info表单。
1.先写出get_links()函数，传入页面数参数后，获取整个页面的标题以及链接 ,插入到phone_link表单。
# 传入页面数，获取整个页面的标题以及链接 ,插入到phone_link表单
def get_links(page):
url = 'http://wh.58.com/shoujihao/pn{}/'.format(page)
wb_data = requests.get(url)
time.sleep(1)
soup = BeautifulSoup(wb_data.text, 'lxml')
titles = soup.select('strong.number')
links = soup.select('a.t')
for title, link in zip(titles, links):
data = dict(title=title.get_text(), link=link.get('href'))
phone_link.insert_one(data)
2.调用上面的函数收集页面1-10的链接，并存储到数据库的phone_link表单，其中收集的链接便是每个具体商品的链接。
# 依次获取页面为1到11的页面的标题和链接
for page in range(1, 11):
get_links(page)
3.设计get_info()函数，接受商品链接参数，爬取出商品的标题和价格，并存储在phone_info表单。
# 传入具体的商品链接，获取商品的标题和价格，插入phone_info表单
def get_info(url):
wb_data = requests.get(url)
soup = BeautifulSoup(wb_data.text, 'lxml')
no_exist = '404' in soup.find('script', type="text/javascript").get('src').split('/')
if no_exist:
pass
else:
titles = soup.select('div.col_sub.mainTitle > h1')
prices = soup.select('span.price.c_f50')
for title, price in zip(titles, prices):
data = dict(title=title.get_text().replace(' ', '').replace('\t', '').replace('\n', ''),
price=price.get_text().replace(' ', '').replace('\t', '').replace('\n', ''))
print(data)
phone_info.insert_one(data)
4.依次从表单phone_link取出链接，并调用get_info函数。
# 依次从表单phone_link取出链接，并调用get_info函数
for info in phone_link.find():
url = info['link']
get_info(url)
三、完整代码
import requests
import time
from bs4 import BeautifulSoup
import pymongo
client = pymongo.MongoClient('localhost', 27017)
phone = client['phone']
phone_link = phone['link']
phone_info = phone['info']
# 传入页面数，获取整个页面的标题以及链接 ,插入到phone_link表单
def get_links(page):
url = 'http://wh.58.com/shoujihao/pn{}/'.format(page)
wb_data = requests.get(url)
time.sleep(1)
soup = BeautifulSoup(wb_data.text, 'lxml')
titles = soup.select('strong.number')
links = soup.select('a.t')
for title, link in zip(titles, links):
data = dict(title=title.get_text(), link=link.get('href'))
phone_link.insert_one(data)
# 传入具体的商品链接，获取商品的标题和价格，插入phone_info表单
def get_info(url):
wb_data = requests.get(url)
soup = BeautifulSoup(wb_data.text, 'lxml')
no_exist = '404' in soup.find('script', type="text/javascript").get('src').split('/')
if no_exist:
pass
else:
titles = soup.select('div.col_sub.mainTitle > h1')
prices = soup.select('span.price.c_f50')
for title, price in zip(titles, prices):
data = dict(title=title.get_text().replace(' ', '').replace('\t', '').replace('\n', ''),
price=price.get_text().replace(' ', '').replace('\t', '').replace('\n', ''))
print(data)
phone_info.insert_one(data)
# 依次获取页面为1到11的页面的标题和链接
for page in range(1, 11):
get_links(page)
# 依次从表单phone_link取出链接，并调用get_info函数
for info in phone_link.find():
url = info['link']
get_info(url)
四、细节注意
1.get_info()中，对付404被删除页面的解决办法，注意里面的双引号
no_exist = '404' in soup.find('script', type="text/javascript").get('src').split('/')
2.replace()的用法
dict(title=title.get_text().replace(' ', '').replace('\t', '').replace('\n', '')
price=price.get_text().replace(' ', '').replace('\t', '').replace('\n', ''))
3.从表单中读取信息
for info in phone_link.find():
url = info['link']
