搞一个中文版的WikiData项目

打算搞一个中文世界的类WikiData的项目,用来收集整理中文世界的所有知识体系。
先把基础的存储、展示、众包协同等实现,再按数据领域一个个的进行数据建设。
因为是对标WikiData,价值分析、市场机会分析等在前面的几篇文章中也有说明,在这里就不赘述了,直接上计划!

欢迎观摩:http://www.kgopen.com/

功能模块

1.实体展示
单个实体的详情展示页面,有一套通用的展示模板,针对不同类型的实体可能需要特殊的展示模板;
2.实体搜索
根据实体名、别名搜索实体,根据实体名+属性名搜索实体的属性
3.用户管理
注册、登录、找回密码、个人资料、社交帐号、关注/被关注、操作动态、成就奖励等
4.单实体增删改
基于页面表单形式的单个编辑,主要面向普通小白用户,小规模、快速的特点
5.实体批量增删改
针对有批量数据处理能力的开发人员,需要考虑schema相关的制定、验证等
6.应用&API
基于知识库之上的面向最终用户的产品应用,或为这些应用提供高效易用的api

技术选型

1.实体与实体关系的存储主要采用MongoDB,会搭配使用Redis,
会用到JSON相关的技术,诸如JSON-LD,JSON-Schema等;
2.用户帐号系统等互联网成熟功能模块的数据存储会使用MySQL;
3.编程语言采用Python, Web开发框架采用Web.py;
4.实体检索会使用Lucene的python版本pylucene;
5.前端会使用Bootstrap和jQuery+Mustache.js,
太先进的前端技术诸如Angular/React/Vue,以及打包工具Webpack之类的暂时先不使用;
6.服务器先采用百度开放云的BAE产品;
如何让BAE支持pyLucene,目前还没定论
7.使用Git管理源代码;

Roadmap

先实现业务模型,再考虑性能优化
1.以汉字领域为首个case,实现单条实体的详情展示页/随机展示
2.把实体领域集、属性集当成比较特殊的数据领域,存储起来?
3.实体搜索 (query 解析)
需要用到lucene,但是bce没有docker容器,先实现-再考虑部署?
数据量少情况下的临时替代方案,mongodb的search功能?
由于BAE环境问题,需要综合考虑Lucene,Xapian, Elasticsearch,Whoosh等几种方案。
4.实体+属性的搜索
5.用户登录/注册(mobile-昵称-头像-微博-微信-QQ-Email)/找回密码
6.向个人库提交数据 (增、删、改、查)
数据校验、提交日志
7.个人库-主库的实体建立对应关系 (主库已有的实体,主库还没有的实体)
8.数据抽样机制
9.实现数据由个人库向主库的导入
10.单条记录新增 (变更日志 沙盒-审核-正式的机制实现)
11.单条记录编辑 (属性级、实体级的锁定机制实现)
实体关系
12.schema工具 - 编辑、展示、版本变更对已有数据的影响
json-schema
json-ld ?
与schema.org的关系
属性归一
提示-自动补全-智能推断等
10.应用&API (nlp-基础语料库)

  • 汉字处理: 繁简转换,汉字拼音转换,同音字(谐音)(河蟹-和谐),文学押韵等
  • 一词多义: 文章? 李娜
  • 别名问题: 刘德华 老婆 == 华仔 太太,网页收录/索引建库前对关键词做归一处理
  • 简称/全称:卫计委、计生办、sb等,也算一种别名问题;
  • 中文分词:本质上还是基于词典的分词,若基于知识库,可以进一步把分出来的词和知识库中的实体、属性建立对应关系;
  • 实体相似度:香蕉-苹果-梨子,哪个最不一样?

相关链接

https://www.wikidata.org/
http://schema.org/
http://json-schema.org/
http://json-ld.org/
http://www.json.org/
https://www.mongodb.org/
http://redis.io/
https://www.mysql.com/
https://www.python.org/
http://webpy.org/ ,轻量级python web开发框架
http://jquery.com/
http://v3.bootcss.com/ , bootstrap
https://github.com/janl/mustache.js , js模板引擎
https://bce.baidu.com/

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,271评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,275评论 2 380
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,151评论 0 336
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,550评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,553评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,559评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,924评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,580评论 0 257
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,826评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,578评论 2 320
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,661评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,363评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,940评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,926评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,156评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,872评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,391评论 2 342

推荐阅读更多精彩内容