机器学习第一课达观杯

网站

代码

"""
Created on Thu Sep 20 00:08:08 2018
@author: Taylen 
"""
 
print("Start.................")
 
"""导入所需要的安装包""" 
import pandas as pd    #是python的一个数据分析包，该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。
from sklearn.linear_model import LogisticRegression
from sklearn.feature_extraction.text import CountVectorizer
 
 
'''
# 功能简介：从硬盘上读取已经下好的数据，并进行简单处理
# 知识点定位：数据预处理
'''
df_train = pd.read_csv('D:/program/ml_code/v0.0/train_set.csv')
df_test = pd.read_csv('D:/program/ml_code/v0.0/test_set.csv')
df_train.drop(columns=['article', 'id'], inplace=True)  #.drop()删除指定列，inplace可选参数。如果手动设定为True（默认为False），那么原数组直接就被替换，不需要进行重新赋值。
df_test.drop(columns=['article'], inplace=True)
 
 
'''
#功能简介：将数据集中的字符文本转换为数字向量，以便计算机能够进行处理（一段文字→→→一个向量）,即矢量化
#知识点定位：特征工程
'''
'''
@@@ CountVectorizer()参数说明：
① ngram_range:词组切分的长度范围;
② max_df:可以设置为范围在[0.0 1.0]的float，也可以设置为没有范围限制的int，默认为1.0。这个参数的作用是作为一个阈值，
当构造语料库的关键词集的时候，如果某个词的document frequence大于max_df，这个词不会被当作关键词。
如果这个参数是float，则表示词出现的次数与语料库文档数的百分比，如果是int，则表示词出现的次数。
如果参数中已经给定了vocabulary，则这个参数无效;
③ min_df:类似于max_df，不同之处在于如果某个词的document frequence小于min_df，则这个词不会被当作关键词；
④ max_features:默认为None，可设为int，对所有关键词的term frequency进行降序排序，只取前max_features个作为关键词集。
CountVectorizer是通过fit_transform函数将文本中的词语转换为词频矩阵，矩阵元素a[i][j] 表示j词在第i个文本下的词频。
即各个词语出现的次数，通过get_feature_names()可看到所有文本的关键字，通过toarray()可看到词频矩阵的结果。
'''
vectorizer = CountVectorizer(ngram_range=(1, 2), min_df=3, max_df=0.9, max_features=100000)
#x_train=vectorizer.fit_transform(df_train['word_seg'])等同于以下两行代码。注：fit_transform(X)拟合模型，并返回文本矩阵
vectorizer.fit(df_train['word_seg'])
x_train = vectorizer.transform(df_train['word_seg'])
x_test = vectorizer.transform(df_test['word_seg'])
y_train = df_train['class']-1
 
 
'''
#功能简介：训练一个分类器
#知识点定位：传统监督学习算法之线性逻辑回归模型
'''
'''
@@@LogisticRegression()参数说明：
① c：正则化系数λ的倒数，float类型，默认为1.0。必须是正浮点型数。像SVM一样，越小的数值表示越强的正则化；
② dual：对偶或原始方法，bool类型，默认为False。对偶方法只用在求解线性多核(liblinear)的L2惩罚项上。当样
本数量>样本特征的时候，dual通常设置为False；
③ 补充参数说明--penalty：惩罚项，str类型，可选参数为l1和l2，默认为l2。用于指定惩罚项中使用的规范。
newton-cg、sag和lbfgs求解算法只支持L2规范。L1G规范假设的是模型的参数满足拉普拉斯分布，L2假设的模型
参数满足高斯分布，所谓的范式就是加上对参数的约束，使得模型更不会过拟合(overfit)，但是如果要说是不是
加了约束就会好，这个没有人能回答，只能说，加约束的情况下，理论上应该可以获得泛化能力更强的结果。
'''
lg = LogisticRegression(C=4, dual=True)
lg.fit(x_train, y_train)
"""根据训练好的分类型对测试集的样本进行预测"""
y_test = lg.predict(x_test)
"""保存预测结果至本地"""
df_test['class'] = y_test.tolist()  #tolist()将数组或者矩阵转换成列表
df_test['class'] = df_test['class'] + 1
df_result = df_test.loc[:, ['id', 'class']]
df_result.to_csv('D:/program/ml_code/v0.0/result.csv', index=False)
 
print("finish..................")
详细解释

https://blog.csdn.net/u011591807/article/details/82861415
机器学习第一课 达观杯

网站

代码

详细解释

机器学习第一课达观杯
