依然是参考崔庆才写的关于Python爬虫的文章,大家有兴趣的话可以去他的个人博客静觅学习。
源代码还是在我的GitHub主页上。
上次将百度贴吧里帖子的文字写入txt文件,这次将其中的图片下载保存到本地。
以五月天吧中的这个帖子为例,作者是痴呆Juli,写一个程序将她发的图片下载下来。提取帖子标题和一共的页数,将第n页的所有图片都保存到名为“标题 n”的文件夹中。图片出现的位置如下图,相应的正则表达式为pattern = re.compile('<img class="BDE_Image" src="(.*?)"', re.S)
。
程序的思路是:对于每一页,
re.findall()
找出所有的图片链接以列表的形式返回,根据标题和当前页码建立相应的文件夹,将每张图片都保存到该文件夹。对应的函数有四个
def mkdir(self, path):
isExists = os.path.exists(path)
if not isExists:
os.makedirs(path)
return True
else:
return False
def getAllImgs(self, page):
pattern = re.compile('<img class="BDE_Image" src="(.*?)"', re.S)
images = re.findall(pattern, page)
return images
def saveImg(self, imageURL, fileName):
u = urllib.urlopen(imageURL)
data = u.read()
f = open(fileName, 'wb')
f.write(data)
f.close()
def saveImgs(self, images, name):
number = 1
for imageURL in images:
splitPath = imageURL.split('.')
fTail = splitPath.pop()
if len(fTail) > 3:
fTail = "jpg"
fileName = name + "/" + str(number) + "." + fTail
self.saveImg(imageURL, fileName)
number += 1
mkdir
建立文件夹,os
模块包含了很多操作系统的接口,os.path.exists(path)
查看path路径是否存在,若不存在,os.makedirs(path)
建立该路径(即在当前目录建立名为path的文件夹)。
getAllImgs()
提取当前页面所有图片的链接,以列表形式返回。
saveImg()
打开图片链接,写入名为fileName的文件。因为图片是二进制格式,所以用‘wb’,表示以二进制格式打开一个文件只用于写入,如果该文件已存在则将其覆盖,如果该文件不存在,创建新文件。注意,open之后记得close。
saveImgs
保存所有图片。由于imageURL的形式为“URL.jpg”,imageURL.split('.')
用.
将imageURL分为前后两部分,fTail = splitPath.pop()
删除列表最后一个元素并返回该值,即图片的格式,fileName = name + "/" + str(number) + "." + fTail
表示在名为name的文件夹下保存number.fTail的文件。