分析自己在大学期间读过的书(一)

今天整理了大学期间的读书记录,看着长长的书单,觉得应该将这些书分个类,看看自己在大学期间的阅读习惯是什么样的。结果分了十几分钟连十分之一都没有分完,感觉很累。在数据分析中有个概念叫聚类,而我的目的是把书分类,这两件事是差不多的吧,那应该就有工具可以帮我做这个事情。

程序员要善于利用工具

于是我开始在网络上搜索,看有没有现成的程序可以用。

不一会儿,就在知乎上找到一个 你用 Python 做过什么有趣的数据挖掘/分析项目?

剪切式编程

可喜可贺,里面还有代码示例,看着很简短。虽然不会 python,但是照猫画虎还是可以的。将代码拷贝下来,改了改。中间遇到一些中文编码的问题,磕磕碰碰的,但最后也搞定了。

生成的图片如下:


book history

图片中显示的文字越大,说明词频越高,从图片看来,我读过最多的是 XXX 程序设计 这类的书,嗯,很有道理。

有待完善

不过从这个图本身看来,还有不少小问题,比如

  1. 分词不够理想,皮格马利翁是一个词,不应该被分开
  2. 出现了重复的词,Java 在图片上出现好几次,按理说,同一个词根据词频的高低不同显示为不同的大小之后,只会出现一次。仔细看可以发现,图片上出现的三个 Java 其实是不同的,第一个只有 Java 这个单词,第二个是 Java 中文,第三个是 Agile Java。这么看来,还是 分词 的问题

虽然从这个图片中看不到太多有用的信息,但是整个过程还是挺有意思的。而且,我还可以继续从读书记录里面挖掘出来更多的信息。很容易想到的就是,我可以给书加标签,用标签来给书做聚类分析,这样应该可以得到更有价值的信息。

新的思路

不过给两百多本书加标签,比分类的工作量要大得多,毕竟每本书可以加若干个标签。

于是,我又想到,可以借鉴使用豆瓣上现成的标签

豆瓣图书标签

这样就不用自己加标签了。我只需要请求豆瓣的 API,拿到读书记录中所有书的标签就行了,工作量一下子小了很多。

找了一圈,发现原来豆瓣没有根据书名直接招书的 API,想要精确的定位一本书,需要用 ISBN。想想也有道理,同名的书可能有很多,根据书名确实无法唯一地定位一本书。那该怎么办呢?

未完待续……

今天时间不多,就先到这里吧,挖个坑以后慢慢埋……

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,711评论 5 468
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 83,932评论 2 376
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,770评论 0 330
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,799评论 1 271
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,697评论 5 359
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,069评论 1 276
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,535评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,200评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,353评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,290评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,331评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,020评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,610评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,694评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,927评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,330评论 2 346
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,904评论 2 341

推荐阅读更多精彩内容

  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 171,263评论 25 707
  • 前情提要 昨天,我使用 结巴分词 跟 词云 两个 python 库,达到了 提取读书记录频率 及 按照词频高低显示...
    afaren阅读 207评论 0 0
  • 前情提要 前一篇文章中,因为豆瓣的 API 请求限制,我无法一次性请求整个读书记录的信息列表,于是想到在每个请求前...
    afaren阅读 763评论 0 1
  • 岁月是一束开不败的花, 岁月是一首唱不完的歌; 岁月是一条走不尽的路, 岁月是一首写不完的诗。 花开花落,时光轮回...
    水墨莲心阅读 334评论 1 6
  • 在开战之前,没有任何一个人感觉过我们LPL能赢? 能夺冠。 甚至在比赛中,也因为选手的种种表现,一场比赛的得失,我...
    黄铜刀阅读 205评论 1 3