上学期读了有关word2vec的两篇paper之后，不是很明白，这学期重新花时间再读，并且根据这两篇paper进行一个词向量相关的实验，选来选去，发现网上有大神就wiki中英文语料库进行训练，鉴于渣渣水平，于是就选择了训练使用词向量来训练wiki中英文语料库。

整个过程参考：“我爱自然语言处理”：www.52nlp.cn

准备工作

为了训练语料库，当然需要去下载。英文wiki语料库（11.9G) 中文wiki语料库(1.2G)

然后就是准备好编译环境，语言选择的是python，使用了gensim的库，该库是由Radim Řehůřek博士基于google发布的C语言版本的word2vec编写的Python库。如何安装该库就不多说了。

处理流程

1、英文wiki训练

首先需要将xml的文件转换成txt文件，主要通过process_wiki.py这个脚本来进行，在参考文考网页中提出了注意“wiki = WikiCorpus(inp, lemmatize=False, dictionary={})"将lemmatize设置为False避免使用Pattern来讲英文单词词干化处理，以免变得很慢，于是就华丽丽的接受。整个过程大概用了5个小时左右，共有差不多400W的articles。

执行命令为：python3 process_wiki.py enwiki-latest-pages-articles.xml.bz2 wiki.en.text

生成了wiki.en.text，生成的效果如下：

wiki.en.text效果图

接下来就是拿wiki.en.text的文本进行词向量的调用处理，通过train_word2vec_model.py的脚本对该文件进行处理。

执行的命令为：

python3 train_word2vec_model.py wiki.en.text wiki.en.text.model wiki.en.text.vector. 

同样采取参考blog的方式，保存了vector方便debug。训练了大概8个小时左右，之后在ipython中对已经训练好的model进行调试，调试如下：

英文wiki结果图(一)

英文wiki结果图(二)

在这里调试的时候并没有遇到参考blog中说到得问题，这里具体原因是什么,还是需要讨论。但是可以看出效果其实不怎么好，以后有机会会使用word2vec的C版本进行试验。当然，这里可以使用model的其他函数进行调试，具体可以看gensim的文档进行查看。

2、中文wiki训练

同样地和英文一样，使用process_wiki.py 进行脚本处理，处理了10分钟，执行命令为：

python3 process_wiki.py zhwiki-latest-pages-articles.xml.bz2 wiki.cn.text

处理得到的效果如下：

wiki.cn.text效果图

咦，全是繁体字，那么由于某种原因，wiki中文版本都是繁体字的语料，而且可以看出有一些英文，还有一些其他字符，而且还需要对中文进行分词，这些都是需要处理的部分。那么我们一步一步的来。

1）繁体转简体

繁体转成简体，通过blog得知了一种叫opencc的工具:OpenCC（github地址）

由于是OS X的系统，参见安装说明，但是发现并没有安装brew，于是又去安装brew，兴致冲冲的点进homebrew安装，结果发现主页无法进去，无奈又开始寻找解决方法，百度之。百度排名第一的英文界面貌似可以解决。

百度brew效果图

然而点进去，依然无法找到网页，于是机智的我点了百度快照。

安装brew代码

接下来就是一路安装，完成OpenCC的安装后。

执行命令：opencc -i wiki.cn.text -o wiki.cn.text.jian -c t2s.json

2）分词

中文不像英文一样，天生自带空格，于是就有了中文分词，在python中中文分词做的比较好的库是jieba分词库jieba（github地址）

通过代码库的实例，于是写了分词脚本seperate_words.py.

执行命令：python3 separate_words.py wiki.cn.text.jian wiki.cn.text.jian.seq 

得到了分好词的文件

3）去除多余的其他字符

最后通过python中自带的re库，使用正则表达式将其他字符去除，代码在remove_words.py

执行命令：python3 separate_words.py wiki.cn.text.jian.seq wiki.cn.text.jian.removed

之后就和英文分词一样，通过train_word2vec_model.py 进行处理

执行命令：python3 train_word2vec_model.py wiki.cn.text.jian.removed wiki.en.text.jian.model wiki.en.text.jian.vector.

最后测试一下运行的效果：

中文wiki结果图（一）

中文wiki结果图（二）

中文wiki效果图（三）

代码：word2vec-for-wiki

----

代码已经进行了review，在python3的情况下，存在bytes和str不兼容的问题已经解决了，另外将所有py文件全部放入一个文件中不同函数，在main()函数中也已经进行了各种处理的demo。由于gensim版本变化快，所以在载入model的时候可以参考最新gensim的api。

个人公众号，分享一下所思所想