批量录入

啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊,组织语言真的好困难,希望自己慢慢会有进步

最近做了一个批量录入题目的项目,技术实现整体来说并不难。需求主要是将一份有着特定格式的.docx文件解析成后端需要的数据。

流程如下:

  • 将一个已经编辑好题目内容、规定格式的.docx文件和一个从这个.docx文件转化出来的.txt文件上传到到文件上传界面;
  • 文件上传界面将文件上传到批量录入服务器,在该服务器中进行内容提取和转化,生成后端需要格式的数据,并返回给操作页面;
  • 工作人员对返回数据确认后即可提交到后端。
批量录入流程.png

这个项目的主要工作在于中间的批量上传服务器的实现,我们这里采用了node作为技术支持,服务器需要有文件获取与数据返回、文件内容提取与转化的功能。

批量录入服务器

文件获取与数据返回

1.为了快速实现一个文件上传服务器,这里用了koa框架:

const http = require('http');
const Koa = require('koa');
const app = new Koa();
const koaBody = require('koa-body');
const router = require('koa-router')();

2.因为上传文件给这个服务器的页面是来自公司后台,存在跨域,所以还用了koa-cors来允许跨域:

const cors = require('koa-cors');
...
app.use(cors());

3.上传的文件有题目和知识点两类,因此写了两个接口,不过基本类似,大同小异:

router.post('/upload/topic', async ctx => {
    console.log('收到数据了');
    ctx.response.type = 'json';
    try {
        ctx.response.body = await transform(ctx, 'topic');
        return;
    } catch (e) {
        const data = {
            code: 403,
            data: null,
            message: '数据解析错误,请检查文件后重新上传!'
        };
        ctx.response.body = JSON.stringify(data);
    }
});

app.use(router.routes());

http.createServer(app.callback()).listen(9082);

其中transform方法就是负责获取上传文件,然后把文件交给相应的内容提取转换的方法,并把最终处理后的数据作为相应内容返回给前端页面。transform代码如下:

(ctx, type) => {
  return new Promise(resolve => {
        const hash = Date.now();
        let finishedStream = 0;
        const data = {
            code: 0,
            data: {},
            message: 'ok'
        };
        try {
            fs.accessSync('upload');
        } catch (e) {
            fs.mkdirSync('upload');
        }
        for (let i = 1; i <= 2; i++) {
            const file = ctx.request.body.files[`files${i}`];
            const reader = fs.createReadStream(file.path);  // 创建可读流
            const fileNames = file.name.split('.');
            const ext = fileNames.pop();        // 获取上传文件扩展名
            const upStream = fs.createWriteStream(`upload/question${hash}.${ext}`);     // 创建可写流
            reader.pipe(upStream);  // 可读流通过管道写入可写流
            upStream.on('close', async () => {
                finishedStream ++;
                if(finishedStream === 2) {
                    data.data = await getData('upload', `question${hash}`, type);
                    resolve(JSON.stringify(data));
                }
            });
        }
    });
}

为了方便,上传文件页面上选择一个文件夹进行上传,而后先由前端获取文件夹中的两个文件,再发送到node服务器。因此服务器一次会收到两个文件,transform方法把两个文件以question加时间戳作为文件名保存到/upload目录。保存完成后,调用getDate方法对文件进行后续处理。

文件内容提取与转化

有待优化的地方

整个处理过程中自处理服务器接收到文件后,先将文件保存至/upload目录,然后将保存好的.docx文件解压到同一目录,再把解压出来的图片发布到线上,接着读取.txt文件,把图片的线上地址填入其中...最后处理完后返回数据。
这中间有多次在磁盘读写文件的过程,由于刚开始对node和解压工具不熟悉,导致对处理流程的规划不尽合理,这些读写磁盘的次数还可以大大减少,甚至完全省略(现在处理完毕之后确实也不产生任何磁盘文件)。

文件上传界面

问题: 在不刷新界面的情况下,两次上传相同的文件,不触发change事件。
原因:在上传文件中,change事件监测文件是否发生改变,如果文件没有发生改变,则不触发改该事件。

在网上查看了许多解决方案,虽然我试了都不奏效(也可能是我使用姿势有问题),但是思路是确定的,即清空 file文件域
该项目采用了vue,所以可以轻松通过v-if来实现dom的移除和渲染【ps: 尝试使用了原生jsdom节点移除和重新渲染,然而并没有奏效】

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,636评论 5 468
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 83,890评论 2 376
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,680评论 0 330
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,766评论 1 271
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,665评论 5 359
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,045评论 1 276
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,515评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,182评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,334评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,274评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,319评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,002评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,599评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,675评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,917评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,309评论 2 345
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,885评论 2 341

推荐阅读更多精彩内容