一、图像处理
实验内容
使用caffe框架训练和测试自己的图片
实验数据
在一篇博客中找到了一份数据集,共有500张图片,分为大巴车、恐龙、大象、鲜花和马五个类,每个类100张。每类选出20张作为测试,其余80张作为训练。因此最终训练图片400张,测试图片100张,共5类。
数据处理
利用caffe自带的接口将图片转化为lmdb格式。
#!/usr/bin/env sh
MY=examples/myfile
echo "Create train lmdb.."
rm -rf $MY/img_train_lmdb
build/tools/convert_imageset \
--shuffle \
--resize_height=256 \
--resize_width=256 \
/home/cuzibl/caffe/data/re/ \
$MY/train.txt \
$MY/img_train_lmdb
echo "Create test lmdb.."
rm -rf $MY/img_test_lmdb
build/tools/convert_imageset \
--shuffle \
--resize_width=256 \
--resize_height=256 \
/home/cuzibl/caffe/data/re/ \
$MY/test.txt \
$MY/img_test_lmdb
echo "All Done.."
计算图片均值
利用caffe程序提供的计算均值的文件compute_image_mean.cpp来计算图片均值,用以提高训练的速度和精度。
#sudo build/tools/compute_image_mean examples/myfile/img_train_lmdb examples/myfile/mean.binaryproto
创建模型并修改配置文件
使用caffe自带的caffenet模型,将models/bvlc_reference_caffenet/文件夹下的solver.prototxt和train_val.prototxt复制到myfile文件夹内,并修改部分参数。
训练和测试
#sudo build/tools/caffe train -solver examples/myfile/solver.prototxt
运行结果
accuracy=0.94
二、文本处理
实验内容
真假论文识别
实验数据
真论文:ijcai,将其中100篇挑出作为测试数据
假论文:1000篇假论文
均为txt格式,一篇论文对应一个txt文件
实验环境及工具
ubuntu14.04
python 2.7
collections、libsvm
数据处理
1、数据清洗。去除所有符号、数字、和停用单词。
2、建立字典,统计词频。调用collection.OrderedDict(),对每一篇论文建立有序字典,将前三百个出现次数最多的词出现的次数记录下来。
训练和测试
1、调用svm_problem(label,value_set)函数将数据转化为标准svm输入格式
调用svm_train(prob,param)进行训练
2、调用svm_predict(label,data_set,model)函数进行测试