MongoDB表连接空值问题

由于MongoDB的数据非结构化,在进行表连接时经常会碰到一些问题,而空值则是非常常见的。
假设有两个collection,如下:

department:

/* 1 */
{
    "_id" : ObjectId("59c137a7f6c0f783dff3f803"),
    "deptNo" : "1001",
    "description" : "HR"
}

/* 2 */
{
    "_id" : ObjectId("59c137a7f6c0f783dff3f804"),
    "deptNo" : "1002",
    "description" : "IT"
}

/* 3 */
{
    "_id" : ObjectId("59c13862f6c0f783dff3f805"),
    "deptNo" : null,
    "description" : "marketing"
}

employee:

/* 1 */
{
    "_id" : ObjectId("59c137a7f6c0f783dff3f7fc"),
    "eno" : "2001",
    "name" : "Jack",
    "department" : "1001",
    "gender" : "male"
}

/* 2 */
{
    "_id" : ObjectId("59c137a7f6c0f783dff3f7fd"),
    "eno" : "2002",
    "name" : "Tom",
    "department" : "1001",
    "gender" : "male"
}

/* 3 */
{
    "_id" : ObjectId("59c137a7f6c0f783dff3f7fe"),
    "eno" : "2003",
    "name" : "Tony",
    "department" : "1001",
    "gender" : "male"
}

/* 4 */
{
    "_id" : ObjectId("59c137a7f6c0f783dff3f7ff"),
    "eno" : "2004",
    "name" : "Alice",
    "department" : "1002",
    "gender" : "female"
}

/* 5 */
{
    "_id" : ObjectId("59c137a7f6c0f783dff3f800"),
    "eno" : "2005",
    "name" : "Jenny",
    "department" : "1002",
    "gender" : "female"
}

/* 6 */
{
    "_id" : ObjectId("59c137a7f6c0f783dff3f801"),
    "eno" : "2006",
    "name" : "Angel",
    "department" : null,
    "gender" : "female"
}

然后我们用aggregate管道进行lookup操作将两张表连接起来

db.employee.aggregate([
    {
        $lookup:{
            from:"department",
            localField:"department",
            foreignField:"deptNo",
            as:"departmentInfo"
        }
    },
    {
        $unwind:{
            path:"$departmentInfo",
            preserveNullAndEmptyArrays:true
        }
    }
])

通过robomongo管理工具可以清晰地看到employee中department为null的记录连接上了一条department的记录

image.png

通过查看代码发现连接的是department中的deptNo为null的记录

{
    "_id" : ObjectId("59c137a7f6c0f783dff3f801"),
    "eno" : "2006",
    "name" : "Angel",
    "department" : null,
    "gender" : "female",
    "departmentInfo" : {
        "_id" : ObjectId("59c13862f6c0f783dff3f805"),
        "deptNo" : null,
        "description" : "marketing"
    }
}

到这里我们可以发现,MongoDB在进行表连接时会通过null来进行等值连接。那么我们该如何解决这个问题呢?
我们可以在lookup操作前新增一个字段用以进行lookup,当作为“外键”的字段为null是将其修改为不能用以连接的数据,比如:

db.employee.aggregate([
    {
        $addFields:{
            deptNumber : {
                $cond : {
                    if : {$eq : ["$department", null]},
                    then : "invalidNumber",
                    else : "$department"
                }
            }
        }
    },
    {
        $lookup:{
            from:"department",
            localField:"deptNumber",
            foreignField:"deptNo",
            as:"departmentInfo"
        }
    },
    {
        $unwind:{
            path:"$departmentInfo",
            preserveNullAndEmptyArrays:true
        }
    }
])

通过上面的操作之后我们可以发现department为null的记录不再连接department表中的记录。


image.png

上面这种操作似乎已经解决了问题,但是我们先看一下以下例子。
往department表中插入一条新记录:

db.department.insert({description : "financial"})

往employee表中也插入一条新记录:

db.employee.insert(
    {eno : "2007", name : "Zoe", gender : "female"}
    )

可以注意到,这两条记录都没有关于department number的字段,用上面讲过改良的方法进行lookup,结果如下:

image.png

我们惊奇地发现,刚才新添加记录竟然连接了两条department的记录,
查看代码

/* 7 */
{
    "_id" : ObjectId("59c14a9bf6c0f783dff3f808"),
    "eno" : "2007",
    "name" : "Zoe",
    "gender" : "female",
    "departmentInfo" : {
        "_id" : ObjectId("59c13862f6c0f783dff3f805"),
        "deptNo" : null,
        "description" : "marketing"
    }
}

/* 8 */
{
    "_id" : ObjectId("59c14a9bf6c0f783dff3f808"),
    "eno" : "2007",
    "name" : "Zoe",
    "gender" : "female",
    "departmentInfo" : {
        "_id" : ObjectId("59c14a24f6c0f783dff3f807"),
        "description" : "financial"
    }
}

发现name为Zoe,部门编号没有说明的这条记录连上了deptNo为null和没有deptNo的两条记录。MongoDB在进行lookup操作的时候同时将不存在视为null,所以这里lookup了两条记录。而上面我们只对字段为null进行了处理,而没有将字段不存在进行处理,所以这里仍然出现了问题。
通过查阅官方文档,可以知道$ifNull操作可以将值为null或者不存在的字段进行替换。所以将解决方法修改如下:

db.employee.aggregate([
    {
        $addFields:{
            deptNumber : {
                $ifNull : ["$department", "invalidNumber"]
            }
        }
    },
    {
        $lookup:{
            from:"department",
            localField:"deptNumber",
            foreignField:"deptNo",
            as:"departmentInfo"
        }
    },
    {
        $unwind:{
            path:"$departmentInfo",
            preserveNullAndEmptyArrays:true
        }
    }
])

结果如下:

image.png

部门编号为null或者不存在的记录将不会连接到department表。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 202,529评论 5 475
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,015评论 2 379
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,409评论 0 335
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,385评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,387评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,466评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,880评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,528评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,727评论 1 295
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,528评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,602评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,302评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,873评论 3 306
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,890评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,132评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,777评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,310评论 2 342

推荐阅读更多精彩内容

  • 1. Java基础部分 基础部分的顺序:基本语法,类相关的语法,内部类的语法,继承相关的语法,异常的语法,线程的语...
    子非鱼_t_阅读 31,555评论 18 399
  • SQL语言基础 本章,我们将会重点探讨SQL语言基础,学习用SQL进行数据库的基本数据查询操作。另外请注意本章的S...
    厲铆兄阅读 5,297评论 2 46
  • 一. Java基础部分.................................................
    wy_sure阅读 3,784评论 0 11
  • 5.多表查询 多表查询 目的:从多张表获取数据 前提:进行连接的多张表中有共同的列 等连接 通过两个表具有相同意义...
    乔震阅读 1,192评论 0 0
  • 重庆 重庆是我第一次过来 一直对这座城市心生向往 可能就是因为没来过 …… 但是发现这个城市对外地人并不怎么友好 ...
    金澜爱写作阅读 173评论 2 1