05 ML 朴素贝叶斯入门

代码来自: ML In Action

from numpy import *
import re

def load_dataset():
    post_list =[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
                 ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
                 ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
                 ['stop', 'posting', 'stupid', 'worthless', 'garbage'],
                 ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
                 ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]
    classes = [0,1,0,1,0,1]  # 垃圾与非垃圾邮件
    return post_list, classes

# 创建词汇表
# 集合的并集 相当于把 dataset 中的数据去重
def create_vocab_list(dataset):
    vocab_set = set([])   
    for document in dataset:
        vocab_set = vocab_set | set(document) 
    return list(dataset)

# 把 input_set 中在 vocab_list 的返回来 
# 这个就是返回了 input_set 中各个词 在 词汇表中的位置
# 将单词转换为数字 便于计算
# -> [0, 0, 1, 0, 0, 1, 1....]
def words_to_vector(vocab_list, input_set):
    vector = [0]*len(vocab_list) # 为0的向量
    for word in input_set:
        if word in vocab_list:
            vector[vocab_list.index(word)] = 1 
        else: 
            print "the word: %s is not in my Vocabulary!" % word
    return vector

# 朴素贝叶斯通常有 贝努利模型实现和多项式模型实现
# 朴素贝叶斯分类器训练函数
# trainMatrix 为 word 转换后的数字 matrix 方便计算
# trainCategory [0,1,0,1,0,1]
def train_NB0(trainMatrix, trainCategory):
    numTrainDocs = len(trainMatrix)
    numWords = len(trainMatrix[0])

    pAbusive = sum(trainCategory)/float(numTrainDocs) # 辱骂性的概率
    p0Num = ones(numWords)      # 初始化概率 初始化为1
    p1Num = ones(numWords)      #change to ones() 

    p0Denom = 2.0 # 防止出现0向量的时候 结果为0
    p1Denom = 2.0                        #change to 2.0

    for i in range(numTrainDocs):
        if trainCategory[i] == 1:          # 根据类别来统计
            p1Num += trainMatrix[i]        # 向量相加 每个分向量相加
            p1Denom += sum(trainMatrix[i]) # 总的词数也相加 
        else:
            p0Num += trainMatrix[i]
            p0Denom += sum(trainMatrix[i])

    p1Vect = log(p1Num/p1Denom)   # 防止一堆小数溢出
    p0Vect = log(p0Num/p0Denom)     
    return p0Vect,p1Vect,pAbusive

# 贝叶斯决策
def classify_NB(vec2Classify, p0Vec, p1Vec, pClass1):
    # 这里 log + log 实际上就是 ln(x * y)
    # 先计算出分向量的概率和
    p1 = sum(vec2Classify * p1Vec) + log(pClass1)   
    p0 = sum(vec2Classify * p0Vec) + log(1.0 - pClass1)
    if p1 > p0:
        return 1
    else: 
        return 0

def testing_NB():
    listOPosts,listClasses = loadDataSet()
    myVocabList = createVocabList(listOPosts)
    trainMat=[]
    for postinDoc in listOPosts:
        trainMat.append(setOfWords2Vec(myVocabList, postinDoc))

    p0V,p1V,pAb = train_NB0(array(trainMat),array(listClasses))

    testEntry = ['love', 'my', 'dalmation']
    thisDoc = array(setOfWords2Vec(myVocabList, testEntry))
    print testEntry,'classified as: ',classifyNB(thisDoc,p0V,p1V,pAb)

    testEntry = ['stupid', 'garbage']
    thisDoc = array(setOfWords2Vec(myVocabList, testEntry))
    print testEntry,'classified as: ',classifyNB(thisDoc,p0V,p1V,pAb)

# 词袋模型 一个词可能在文档中出现多次
def bagOfWords2VecMN(vocabList, inputSet):
    returnVec = [0]*len(vocabList)
    for word in inputSet:
        if word in vocabList:
            returnVec[vocabList.index(word)] += 1
    return returnVec

def textParse(bigString):    #input is big string, #output is word list
    listOfTokens = re.split(r'\W*', bigString)
    return [tok.lower() for tok in listOfTokens if len(tok) > 2] 

# 测试的邮件数据地址: 
# https://github.com/start-program/machinelearninginaction/blob/master/Ch04/email.zip
def spam_test():
    docList=[]
    classList = []
    fullText =[]

    # 导入解析的文本文件
    for i in range(1,26):
        wordList = textParse(open('email/spam/%d.txt' % i).read())
        docList.append(wordList)
        fullText.extend(wordList)
        classList.append(1)

        wordList = textParse(open('email/ham/%d.txt' % i).read())
        docList.append(wordList)
        fullText.extend(wordList)
        classList.append(0)

    print('parse ham and spam success..')

    # 随机构建训练集
    vocabList = create_vocab_list(docList)#create vocabulary

    print('create_vocab_list success..')

    trainingSet = range(50)
    testSet=[]           #create test set
    for i in range(10):
        randIndex = int(random.uniform(0,len(trainingSet)))
        testSet.append(trainingSet[randIndex])
        del(trainingSet[randIndex])  

    trainMat=[]
    trainClasses = []

    for docIndex in trainingSet: 
        trainMat.append(bagOfWords2VecMN(vocabList, docList[docIndex]))
        trainClasses.append(classList[docIndex])

    print('bagOfWords2VecMN success..')
    p0V, p1V, pSpam = train_NB0(array(trainMat),array(trainClasses))

    print('p0V p1V pSpam success')
    # 对测试集进行分类
    errorCount = 0
    for docIndex in testSet:        #classify the remaining items
        wordVector = bagOfWords2VecMN(vocabList, docList[docIndex])
        result = classify_NB(array(wordVector), p0V, p1V, pSpam)
        if  result != classList[docIndex]:
            errorCount += 1
        print "classification: ", result, classList[docIndex]
    print ('the error rate is: ', float(errorCount)/len(testSet), errorCount, len(testSet))
    #return vocabList,fullText

spam_test()

# classification:  0 1
# classification:  0 0
# classification:  0 0
# classification:  0 1
# classification:  0 0
# classification:  0 0
# classification:  0 1
# classification:  0 1
# classification:  0 1
# classification:  0 0
# ('the error rate is: ', 0.5, 5, 10)
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 202,980评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,178评论 2 380
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,868评论 0 336
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,498评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,492评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,521评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,910评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,569评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,793评论 1 296
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,559评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,639评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,342评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,931评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,904评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,144评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,833评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,350评论 2 342

推荐阅读更多精彩内容