智能问答实现方案总概述

仅代表个体调研结果,非官方素材,内容仅供参考。在此特别感谢小达同学的分享交流。

智能问答实现方案有多种:

问答对、推理问答(知识图谱)、任务型、闲聊型等,不同的系统实现不同。也可以多个搭配使用,通过判断用户意图或者通过概率等分发到对应的系统进行回答任务(所以这里还有个意图识别的过程需要做)。

比如用户提问 “你好,今天天气怎么样”,就可以分发到闲聊型系统。输入“新手玩家攻略”,就分发到问答对或者知识图谱的系统进行答复。

1、问答对系统:

其实就是检索似问答或者匹配问答,事先拥有QA库,当用户输入问题时,找到QA库中最相似那个问题,然后将答案回复给用户进行答复。


问答对系统包含:预处理,召回,相似度计算,排序,答案生成,用户反馈,模型更新

预处理: 对用户的请求进行,文字纠错,同义词替换等

召回:假如数据库拥有10w个问题,当用户输入一个问题时,如果将该问题与数据库每个问题进行相识度计算的话,效率很低效。 所以要事先比如从 elasticsearch中粗略的召回100个问题,然后将该问题与这100问题一个一个进行相识度计算,

Es进行召回的时候一般没有语义,匹配到文字就会召回,所以可以使用Faiss或者annoy工具做向量索引,就能做语义层面的召回了

相似度计算:基于深度学习模型bert或者上步中的Faiss,annoy也可以做

排序:根据相似度排序,拿第一个或者多个回复给用户

用户反馈:判断有没有实质解决用户问题,以及用户的历史提问,后续进行模型更新

模型更新:替换QA库中的问题,或者对预处理,召回,相识度计算进行优化

参考链接:https://zhuanlan.zhihu.com/p/50799128

2、推理问答:

推理问答是基于知识图谱的,知识图谱是一种数据结构,它由三元组实体,关系,属性组成,形式为<实体, 关系, 实体>或者<实体, 属性, 属性值>

<实体, 关系, 实体>

例如:

<丽江,属于,云南>

<大理,属于,云南>

<洱海,属于,大理>

<小秦,住在,丽江>

<小明,住在,大理>

<小明,朋友,小秦>


<实体, 属性, 属性值>

例如:

<姚明,国籍,中国>

<姚明,性别,女>


推理问答包含2个主要部分 1:自然语言理解  2:知识管理

大概的意思是当用户提问“丽江属于哪里。。。”,自然语言理解模块(需要提前基于深度学习训练等)会解析出实体(丽江)以及关系(属于) 最终转换成 一条知识图谱可以理解的查询语句例如(select province from area='丽江')

比起问答对系统,知识图谱的优势可以推理复杂的问题,比如“小明的朋友小秦住在哪个省份”,知识图谱会进行一步步推理,先推理出住在丽江,在推理出丽江属于云南。而问答对的数据库需要有小明的朋友小秦住在哪个省份这个问题才能解答出。

乍一看问答对实现更简单,但是如果小明的朋友有1000个,那我就要记录1千个QA对,如果实体与实体之间关系更复杂 比如 小明的朋友小秦的朋友小红住在哪,可以想象拿 问答对系统处理的话,数据库要枚举非常多的问题,还有一点就是假如哪天小明改名字,要更新数据库中所有有关小明名字的问答对。

3、任务型问答

任务型问答一般有特定的业务场景,比如订电影票,列出所有订电影票需要的制定成一个模版如:

机器人要在和客户的对话过程中把这些模版的信息都填充完毕,或者有可以根据用户地理位置等信息推断出模版需要添的,等填充完毕后就生成回答回复给用户

4、闲聊型问答

一般接入开放的接口,自己实现要训练庞大的语料库。比如现在的chagpt就属于生成式的大模型,可以支持闲聊同时具备了一定的推理能力。


总结:

智能问答系统有多种不同实现,可以选择其中一种,也可以选择多种根据用户意图进行切换

问答对系统适合公司业务的产品介绍,以及一些专业领域知识的介绍,无法做困难的解答

推理问答系统构建了实体与实体的关系,以及实体的属性,可以做两个实体间距离比较“远的“的推理

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
禁止转载,如需转载请通过简信或评论联系作者。
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,456评论 5 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,370评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,337评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,583评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,596评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,572评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,936评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,595评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,850评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,601评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,685评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,371评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,951评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,934评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,167评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,636评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,411评论 2 342

推荐阅读更多精彩内容