一、作业目的
从小猪短租上爬取300+房源信息，单个页面的信息是酱紫的。
二、作业代码
from bs4 import BeautifulSoup
import requests
import re
n = 1
urls = []
a_url = 'http://sh.xiaozhu.com/search-duanzufang-p' + str(n) + '-0/'
# 从主页上爬取指向房源的链接
while n < 15:
homepage = requests.get(a_url)
homepage_soup = BeautifulSoup(homepage.text, 'lxml')
links = homepage_soup.find_all(href=re.compile("fangzi"))
for link in links:
a_link = link.get('href')
urls.append(a_link)
n += 1
def get_url(url):
wb_data = requests.get(url)
soup = BeautifulSoup(wb_data.text, 'lxml')
return soup
def get_data(soup):
title = soup.select('.pho_info > h4:nth-of-type(1) > em')
address = soup.select('.pr5')
rent_money = soup.select('.day_l')
image = soup.select('#curBigImage')
owner_pic = soup.select('.member_pic > a > img')
owner_id = soup.select('a.lorder_name')
owner_gender = soup.select('.member_pic > div')
gender = owner_gender[0].get('class')[0]
def judge_gender(a_gender):
if a_gender == 'member_ico1':
return '女'
else:
return '男'
data = {
'标题': title[0].get_text(),
'地址': address[0].get_text().replace('\n', '').replace(' ', ''),
'租金': rent_money[0].get_text(),
'图片': image[0].get('src'),
'房东图片': owner_pic[0].get('src'),
'房东昵称': owner_id[0].get_text(),
'房东性别': judge_gender(gender)
}
return data
if __name__ == '__main__':
j = 0
for url in urls:
soup = get_url(url)
print(get_data(soup))
j += 1
print("总共获取了%d个房源的信息"%j)
运行结果
运行结果
三、作业小结
本次作业的难点在于如何批量获取指向房源信息的url集合，这些信息可以通过对网站结构的分析得知。
例如每一个页面会显示24个房源信息，而搜索也的展示url是这样的：
http://sh.xiaozhu.com/search-duanzufang-p(n)-0/ #其中n为1，2，3...
按照这种方式自动获取每个搜索页的链接，代码如下：
a_url = 'http://sh.xiaozhu.com/search-duanzufang-p' + str(n) + '-0/'
后面才知道可以使用格式化和列表解析式来描述，代码是这样的：
a_url=['http://sh.xiaozhu.com/search-duanzufang-p{}-0/'.format(str(i)) for i in range(1,15)]
我自己的方法获取的是单个搜索页的链接，而后面的方法获取的是多个搜索页的集合。
接下来就是使用bs4来解析这些搜索页，从中提取出包含有房源信息的url，通过对符合条件的url进行观察可以发现，这些url里都包含fangzi这个字符串，所以使用正则表达式来匹配满足要求的url并通过get()方法，提取出href后面的链接，保存到一个列表里。
while n < 15:
homepage = requests.get(a_url)
homepage_soup = BeautifulSoup(homepage.text, 'lxml')
links = homepage_soup.find_all(href=re.compile("fangzi"))
for link in links:
a_link = link.get('href')
urls.append(a_link)
n += 1
接下来只需要从集合了url的列表里提取并解析每一个url，然后使用上一个作业中提取信息的方法，整合这些信息即可。
更进一步的话可以使用某种数据库来存储这些数据，具体怎样实现还有待后面的学习。
