Python 实现字符识别—Part4

如果你看的比较困惑的话,可以参考
Python 实现字符识别—Part1:关于PIL库的使用
http://www.jianshu.com/p/0a94d8ea2bf3
Python 实现字符识别—Part2:关于图形格式的基础知识和我的一个问题(欢迎大神来指点迷津)
http://www.jianshu.com/p/252ff113d1d0
Python 实现字符识别—Part3:关于完成验证码识别的前置操作,字符的提取和图像的分割
http://www.jianshu.com/p/4ff1559c1cf6
Python 实现字符识别—Part4 : 关于空间向量搜索算法paper的介绍
http://www.jianshu.com/p/b13b3905cc7d
Python 实现字符识别—Part5:关于使用空间向量搜索算法实现字符识别
http://www.jianshu.com/p/1905bf78f0bd

完成了字符的切分之后,下面就到了字符的识别。字符识别的方法有很多种,机器学习,深度学习,神经网络等。

下面要写得是通过特征向量来做的字符识别,主要是通过《Basic Vector Space Search Engine Theory》(基本向量空间搜索引擎)这篇文章提出的方法。
文章的下载连接:http://ondoc.logand.com/d/2697/pdf

举个例子,来简单的概括一下这篇paper:

如果比较两个html网页的相似度(这应该是 谷歌提出的Page Rank算法系列里面的一个算法,用来解决网页相似度的问题)。比如在做搜索引擎的时候,经常会遇到爬虫 爬到两个不同的url,指向同一个网页。
在处理这些网页的时候,很重要的一个算法就是去重。去除内容相同的网页,或者是类似的网页。这样就需要一个提出一种机制来衡量 两个网页的相似度。这篇文章,简单的概括就是讲这个的。

举个例子
网页1 :

<html>
<h1> write the code ,change the world  </h1>
</html>

网页2:

<html>
<h1> copy the code ,paste the code   </h1>
</html>

首先这个算法得出 term space (这个不知道怎么翻译,就不翻译了)

  1. 去除网页种的html标签
  2. 合并相同的单词,比如‘running’,‘runer’,‘runs’ (缩小向量空间的大小)
  3. 删除stop word,比如‘the’ (因为这些词并不会改变语义)
  4. 统计term space 出现的次数

那么这样网页1的term space 是 (write ,code,change,world),出现的次数是(1,1,1,1)
网页2的term space 是(copy ,code , paste),出现的次数是(1,2,1)

image.png

所以,
网页1的向量是 v1=(1,1,1,0,1,0)
网页2的向量是 v2=(0,0,2,1,0,1)

这是时候,网页3来了,要比较和他网页1和网页2的相似度
网页3的内容是

<html>
<h1> copy the code ,paste</h1>
</html>

那么网页3的向量是 Q=(0,0,1,1,0,1)

下面,通过这个公式来计算相似度:


image.png

网页3和网页1的计算结果是:0.28
网页3和网页2的计算结果是:0.943

所以,网页3和网页2相似度更高。 这个就是 向量空间搜索的方法。但是这个方法的有点是
不需要大量的训练迭代;不会过拟合;可以查看测试集合和所有训练集的拟合度;

缺点:慢。如果训练集很大的话,比其他深度学习的方法要慢很多。
下一篇文章应该写得是,关于向量空间搜索的算法在字符识别上面的应用。

Python 实现字符识别—Part1
http://www.jianshu.com/p/0a94d8ea2bf3
Python 实现字符识别—Part2
http://www.jianshu.com/p/252ff113d1d0
Python 实现字符识别—Part3
http://www.jianshu.com/p/4ff1559c1cf6
Python 实现字符识别—Part4
http://www.jianshu.com/p/b13b3905cc7d
Python 实现字符识别—Part5
http://www.jianshu.com/p/1905bf78f0bd

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,636评论 5 468
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 83,890评论 2 376
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,680评论 0 330
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,766评论 1 271
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,665评论 5 359
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,045评论 1 276
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,515评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,182评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,334评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,274评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,319评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,002评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,599评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,675评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,917评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,309评论 2 345
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,885评论 2 341

推荐阅读更多精彩内容

  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 171,263评论 25 707
  • 最近自己写的简书文章太多了,导致很难找到之前写的文章。 于是,我想整理一篇目录,使用搜索快捷键:ctrl+F,即可...
    张云钱阅读 1,603评论 0 1
  • 这篇文章写得是,关于向量空间搜索的算法在字符识别上面的应用。 如果你看的比较困惑的话,可以参考Python 实现字...
    DayDayUpppppp阅读 3,638评论 0 1
  • 导读: 有一种艺术传承千年,它千变万化,形式多样,色彩斑斓,有着独特的艺术魅力。最奇特的就是扎结各种花,染色后即使...
    烟头不上火阅读 1,318评论 1 9
  • 楚二爱吃菜不爱吃肉。 楚二爱网淘不爱名牌。 楚二爱睡觉不爱出门。 楚二爱喝水不爱酒饮。 楚二爱节俭不爱浪费。 恰逢...
    萌po阅读 273评论 0 0