又一年的毕业季来临了,一大波大学生加入了找工作的大军,给这些新加入职场的学生们提供宝贵的招聘的信息,通过python爬取拉勾网的招聘的数据。
拉勾网的链接是https://www.lagou.com/,先爬取各岗位的链接地址,例如java岗位
获取不同岗位的具体代码:
接下来获取JAVA等岗位的具体信息,具体获取岗位名称,公司名称,薪水,地区,公司类型这几个主要的信息。
获取java等不同岗位的具体信息的代码:
完整代码贴在下面,采用了BeautifulSoup这个包:
最终爬取的数据存储到excel中了,效果是:
后续将对数据进行分析,统计不同地区的薪水等……