import re
import urllib.request
start_url = 'http://49.232.208.237/zs/'
def get_source(url):
"""
获取网页源代码。
:param url: 网址
:return: 网页源代码
"""
html = urllib.request.urlopen(url) # 获取URL页面源代码
return html.read().decode('UTF-8') # 网站编码
def getPageList(html):
"""
获取页码列表和页码链接
:param html: 页面源代码
:return: 每页链接和页标题
"""
pageListLink = []
toc_block = re.findall('<div>(.*?)</div>', html, re.S)[0] # 提取所有页列表
pageTitle = re.findall('.html">(.*?)</a>', html, re.S) # 提取页标题
urls = re.findall('href="(.*?)"', toc_block, re.S) # 提取页面链接
for url in urls:
pageListLink.append(start_url + url) # 组合链接存入列表
return pageTitle, pageListLink
def getJobInto(html):
"""
或缺每页的信息列表
:param html: 页面源代码
:return: 列表信息
"""
jobs = []
JobInto = re.findall('<div data-v-6c88a070="" class="jobP-info">(.*?)</a></section>', html, re.S) # 匹配所有工作信息
for job in JobInto: # 遍历每一个工作，提取工作的详细信息
into=[] # 提取工作的信息存入此列表
title = re.search('class="job-name fl">(.*?)</div>', job, re.S).group(1) # 提取标题
salary = re.search('class="fl">(.*?)</div>', job, re.S).group(1) # 提取薪资
city = re.search('class="ads">(.*?)</span>', job, re.S).group(1) # 提取城市
company = re.search('class="comp-name fl">(.*?)</div>', job, re.S).group(1) # 提取公司
time = re.search('class="time fr">(.*?)</div>', job, re.S).group(1) # 提取时间
into.append(title) # 将每个信息加入到列表
into.append(salary)
into.append(city)
into.append(company)
into.append(time)
jobs.append(into) # 将整理出来的工作信息加入到jobs列表
return jobs # 每个工作的信息都以列表形式存入到jobs列表里，返回该jobs列表
def save(allJob, title):
"""
将每一章保存到本地。
:param allJob: 工作列表
:param title: 页面标题
:return: None
"""
with open('c:\\Users\\ShacoZ\\Desktop\\' + title + '.txt', 'w', encoding='utf-8') as f:
for jobs in allJob: # 遍历所有工作信息，写入到文件
f.write("标题："+jobs[0]+'\n')
f.write("薪水："+jobs[1]+'\n')
f.write("城市："+jobs[2]+'\n')
f.write("公司："+jobs[3]+'\n')
f.write("发布时间："+jobs[4]+'\n')
f.write('--------------------------------------------------------------------')
f.write('\n')
if __name__ == '__main__':
page = get_source(start_url) # 获取主页源代码
title, pages = getPageList(page) # 获取页面标题和页面链接
for (job,tit) in zip(pages,title): # 遍历链接和标题
alljob = getJobInto(get_source(job)) # 将链接的页面源代码传给获取工作页面的函数，并返回所有工作列表
save(alljob, tit) # 将整理出来的工作列表传给写入文件函数
import re
import urllib.request
start_url = 'http://49.232.208.237/zd/'
def get_source(url):
"""
获取网页源代码。
:param url: 网址
:return: 网页源代码
"""
html = urllib.request.urlopen(url) # 获取URL页面源代码
return html.read().decode('UTF-8') # 编码网页
def getPageList(html):
"""
获取页码列表和页码链接
:param html: 目录页源代码
:return: 每页链接
"""
pageNumberLink = []
pageLink = re.findall('class="listhref" href="(.*?)">', html, re.S) # 提取所有页面链接
pageTitle = re.findall('.html">(.*?)</a>', html, re.S) # 页码文字
for url in pageLink:
pageNumberLink.append(start_url + url) # 将链接组合
return pageTitle, pageNumberLink # 返回链接列表和页面标题
def getBlogInto(html):
"""
或缺每页的信息列表
:param html: 正文源代码
:return: 列表信息
"""
blogs = []
blogInto = re.findall('item project-item">(.*?)</div>\s*</div>', html, re.S) # 获取页面所有文章列表
for blog in blogInto: # 遍历文章列表，提取文章信息
into=[]
if re.search('<span class="project-name">(.*?)</span>', blog, re.S): # 判断是否能匹配到，匹配不到则设置为空串
protect = re.search('<span class="project-name">(.*?)</span>', blog, re.S).group(1) # 匹配到项目名信息(标题1)
else:
protect = ''
if re.search('project-title">(.*?)</span>', blog, re.S):
title = re.search('project-title">(.*?)</span>', blog, re.S).group(1) # 标题2
else:
title = ''
if re.search('data-tooltip="国产">(.*?)</div>', blog, re.S):
domestic = re.search('data-tooltip="国产">(.*?)</div>', blog, re.S).group(1) # 是否是国产
else:
domestic = ''
if re.search('line-clamp">(.*?)</p>', blog, re.S):
text = re.search('line-clamp">(.*?)</p>', blog, re.S).group(1) # 匹配正文
else:
text = ''
if re.search('<div class="item">(.*?)</div>', blog, re.S):
collection = re.search('<div class="item">(.*?)</div>', blog, re.S).group(1) # 收藏数
else:
collection = ''
if re.search('target="_blank">(.*?)</a>', blog, re.S):
comment = re.search('target="_blank">(.*?)</a>', blog, re.S).group(1) # 评论
else:
comment = ''
if re.search('更新于 (.*)',blogInto[8],re.S):
time = re.search('更新于 (.*)',blogInto[8],re.S).group(1) # 更新时间
else:
time = ''
into.append(protect) # 将匹配的信息加入到信息列表
into.append(title)
into.append(domestic)
into.append(text)
into.append(collection)
into.append(comment)
into.append(time)
blogs.append(into) # 将单个文章信息列表加入到总列表里
return blogs # 返回所有文章信息
def save(Blogs, title):
"""
将每一章保存到本地。
:param Blogs: 文章列表
:param title: 页码标题
:return: None
"""
with open('c:\\Users\\ShacoZ\\Desktop\\' + title + '.txt', 'w', encoding='utf-8') as f:
for Blog in Blogs:
f.write("标题："+Blog[0])
f.write(Blog[1]+'\n')
if Blog[2]!='': # 如果存在国产字段则写入国产，否则不写入
f.write("国产："+Blog[2]+'\n')
f.write("正文："+Blog[3]+'\n')
f.write(Blog[4]+'\n')
f.write(Blog[5] + '\n')
f.write("更新时间：" + Blog[6] + '\n')
f.write('--------------------------------------------------------------------')
f.write('\n')
if __name__ == '__main__':
page = get_source(start_url) # 获取主链接源代码
title, pages = getPageList(page) # 匹配页码列表和列表链接
for (job,tit) in zip(pages,title):
allBlog = getBlogInto(get_source(job)) # 遍历链接和页码标题，提取每页的所有文章信息
save(allBlog, tit) # 将文章信息列表传给写入文件函数
