2017年1月开始学习数据分析,现在已经快半年了,交个小结作业。
先截个猴子学习群的图,基本上是按照这个顺序来的,另外参加了城市数据团的课和简书的python爬虫群,也算是超额完成任务了吧。
数据分析课程,一共写了以下文章
学习小结方面:
我的2017年大数据学习目标
学习大数据两周笔记
迄今为止最有效率的春节
终身学习:啃啃大数据分析
大数据学习 第一季度小结
R语言数据展现(5篇)
R语言做统计学习题(2篇)
R语言Quantmod金融笔记(2篇)
R语言与地产结合的初步分析(5篇)
SQL练习,主要是做完了SQLZOO的练习。SQL专栏: http://www.jianshu.com/nb/13379194
上了城市数据团的课,满满四门课,也很有收获。http://www.jianshu.com/p/9dc2edb8154e
另外还有python 爬虫。Python爬虫专栏:http://www.jianshu.com/nb/12863403
笔记功课主要发表在知乎和简书,看一下数据:
在知乎上,获得赞最多的文章是《用R语言计算统计学习题》(大概很有需求吧!)其次是《买房还是买车位》,接下来是两篇总结,《大数据学习第一季度小结》和《学习大数据两周笔记》。
获得评论最多的,也差不多是这几篇。
在简书比较久一点(不过越来越不喜欢首页的鸡汤风...),所以文章数目也多很多。差不多到目前,阅读量已经过万,可见坚持还是有成效的。
虚线是平均阅读数。
把阅读量在100以上的筛选出来,阅读量最高的是《幻想摩拜单车的美好世界》,数据学习方面,是《大数据学习第一季度小结》,很简单的一篇《利用R语言做最最初级金融分析de笔记》居然点赞数也很高,大概是因为很多人不知道R中quantmod包的强大功能吧。
5月开始学习python爬虫,在学习期间,因为每个网站的网页结构都不太相同,遇坑无数,每次爬都值得记录下来。一共写了20余篇。所以专门把爬虫这个单独列出来,看一下数据。
阅读量最高的是《简书爬虫的功课一小览》,因为比较全面。
其次是bs4和xpath比较,这篇也是点赞和评论最多的。其实写的很简单,但可能毕竟基础平实吧。
下面7月计划:
- 练习Kaggle的案例,这方面已经比很多同学落后太多了。
- 进一步拓展更深的知识,如聚类决策树,随机森林等知识。
3.继续学习统计学知识,打好基础。
加油吧!
最后做个广告:7月中会有一场直播分享,是学习的点滴心得。
我在一块听听的直播
附录:爬取简书代码。自己起先写的时候评论和赞都没爬出来,原来又是多多手加上“*//”了。基础不牢啊啊啊。
import requests
from lxml import etree
import random
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
}
for i in range(1,11):
url = 'http://www.jianshu.com/u/b062b6eb573b?order_by=shared_at&page='+str(i)
html = requests.get(url, headers=headers).content
selector=etree.HTML(html)
infos= selector.xpath('//div[@id="list-container"]/ul[@class="note-list"]/li')
for info in infos:
title=info.xpath('div/a[@class="title"]/text()')
comment = str(info.xpath('div/div[2]/a[2]/text()')[1]).strip()
#comment=info.xpath('/div[@class="meta"]/a/i[@class="iconfont ic-list-comments"]/text()')
#comment=info.xpath('*//div/div[2]/a[2]/i/text()')
like = info.xpath('div/div[2]/span/text()')[0]
#like=info.xpath('/div[@class="meta"]/span/i[@class="iconfont ic-list-like"]/text()')
#like=info.xpath('*//div/div[2]/span/i/text()')
reader = str(info.xpath('div/div[2]/a[1]/text()')[1]).strip()
print (title, ' , ',reader, ' , ',comment, ' , ',like)