网格生成之TSDF算法学习笔记

本博客内容来源于网络以及其他书籍,结合自己学习的心得进行重编辑,因为看了很多文章不便一一标注引用,如图片文字等侵权,请告知删除。

传统2D计算机视觉学习笔记目录------->传送门
传统3D计算机视觉学习笔记目录------->传送门

前言

国庆结束,又是一段漫长的工作期,有点烦,~~~~ (>_<) ~~~~ 。本篇文章为大家介绍一个非常经典也非常重要的算法,TSDF,kinFusion的灵魂所在。不知道kinfusion,那没关系,看完这篇文章你就把kinfusion里面的精髓学到了。

TSDF 算法简介

TSDF ,全称:truncated signed distance function,基于截断的带符号距离函数,是一种常见的在3D重建中计算隐势面的方法。著名的Kinfusion就是才用TSDF来构建空间体素的,通过求去每个体素的值,然后再使用之前提到的Marching Cube来提取表面的。

TSDF是在SDF进行改进的,是在SDF提出了截断距离,具体内容我们们在下面讲 ,很简单的。SDF是在2003年由S Osher提出。在拥有大内存的显卡并行计算的情况下,使用TSDF可以做到实时的重建效果,获得了很多方面的落地使用。

下面我们一起来看一下,TSDF的具体的算法思路。

TSDF 算法思路

TSDF的算法的思路很朴素,就是用一个大的空间(我们称之为volume)作为要建立的三维模型,这个空间可以完全包括我们的模型,volume由许多个小的体素(我们称之为voxel,就是小立方体)组成,

每个voxel对应空间中一个点,这个点我们用两个量来评价:

  1. 该voxel到最近的surface(当然我们已开始不知道,我们假设有)(一般称作zero crossing)的距离,我们记作tsdf(x),即带符号距离
  2. 体素更新时的权重,我们记作w 。

假设我们真是的面到相机的深度是ds,相机采集到的深度dv,那么符号距离值就是d(x) = ds - dv, 当d(x)>0 时说明该体素在真实的面的前面,小于0 ,则说明该体素在真实的面的后面。

可能你会说,这不是废话嘛,我要是知道真是的面在哪里,还用什么TSDF啊。每一次相机采集出来的数值,我们都认为是最大可能真实面,在相机前后也有可能是真实面,但是概率要小。这个前后距离我们对它进行一定的限制,因为离得特别远的话,其概率也是很小,我们就忽略了。

在计算新的拍摄帧的体素的符号距离值和体素更新的过程中,我们不是所有的体素都查找和更新,而是只查找更新截断距离内的体素,这也是TSDF与SDF不同的一点,大大缩短了计算量,并提高了精度。

下面来看一下其具体的计算过程会有更清晰的理解。

TSDF 算法的步骤

TSDF 算法我们分为一下这3部分:

  1. 准备工作
  2. 计算当前帧的TSDF值以及权重
  3. 当前帧与全局融合结果进行融合

1. 准备工作

  1. 建立长方体包围盒,能够完全包围要重建的物体。
  2. 划分网格体素,对包围盒尽心划分n等分,体素的大小取决于包围盒和划分体素的数目决定。我们将整个空间的体素全部存入GPU运算,每个线程处理一条(x,y)。即对于(x,y,z)的晶格坐标,每个GPU进程扫描处理一个(x,y)坐标下的晶格柱。
  3. 对于构造的立体中的每个体素g,转化g为世界坐标系下得三维位置点 p(根据体素的大小,以及体素的数目);

2. 计算当前帧的TSDF值以及权重

这一步我们遍历所有的体素,以一个体素在世界坐标系三维位置点p为例

  1. 由深度数据的相机位姿矩阵,求世界坐标系下点p在相机坐标系下得映射点v,并由相机内参矩阵,反投影v点求深度图像中的对应像素点x,像素点x的深度值为value(x),点v到相机坐标原点的距离为distance(v);
  2. 那么p的sdf值为 sdf(p) = value(x)- distance(v)。现在我们就要引入截断距离了,计算出tsdf(p), 公式写出来比较复杂,直接描述就是在截断距离u以内,tsdf(p) = sdf(p)/|u|, 否则,如果sdf(p) >0,tsdf(p) = 1,sdf(p) <0,tsdf(p) = -1。
  3. 权重w(p)的计算公式:
    w(p) = cos(θ)/distance(v),其中θ为投影光线与表面法向量的夹角。

经过我们这一步就算出这一帧的所有体素的tsdf值以及权重值。

3. 当前帧与全局融合结果进行融合

如果当前帧是第一帧,则第一帧即是融合结果,否则需要当前帧与之前的融合结果在进行融合。我们命名大写TSDF(p)为体素p的融合TSDF值,W(p)为融合权重值,tsdf(p)为体素p当前帧的TSDF值,w(p)为当前帧权重值。现在我们要通过tsdf(p)更新TSDF(p)。公式如下:

通过上述公式就可以将新的帧融合进融合帧内。

第一部分完成后,就是每添加一帧深度数据,执行一遍2,3步的计算,知道最后输出结果给Marching Cube计算提出三角面。

TSDF 算法的特点

TSDF 算法的特点就是计算非常简单,没有复杂的计算,但是其需要大量的并行。所以在大规模并行化显卡出现 之前,其计算需要非常长的时间。而用上显卡之后,其计算速度非常快,可以做到实时,需要比较大显存的显卡。

TSDF 生成的网格的细节保持比较好,而且精确度也比较好,但是在边缘处以及前后景交界处,会出现较大的拖尾现象。因为在体素p向像素坐标系投影时会有一定的误差。

总结

TSDF 可以说是极大的促进了3维重建的平民化以及落地进程,可以出说初入门三维重建必须要学习的一个算法。其实写完了,才发现之前的理解竟然有的地方有错误,还是要用文字表达出来,学的才能更彻底。

惭愧惭愧

重要的事情说三遍:

如果您看到我的文章对您有所帮助,那就点个赞呗 ( * ^ __ ^ * )

如果您看到我的文章对您有所帮助,那就点个赞呗( * ^ __ ^ * )

如果您看到我的文章对您有所帮助,那就点个赞呗( * ^ __ ^ * )

传统2D计算机视觉学习笔记目录------->传送门
传统3D计算机视觉学习笔记目录------->传送门

任何人或团体、机构全部转载或者部分转载、摘录,请保留本博客链接或标注来源。博客地址:开飞机的乔巴

作者简介:开飞机的乔巴(WeChat:zhangzheng-thu),现主要从事机器人抓取视觉系统以及三维重建等3D视觉相关方面,另外对slam以及深度学习技术也颇感兴趣,欢迎加我微信或留言交流相关工作。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,324评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,303评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,192评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,555评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,569评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,566评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,927评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,583评论 0 257
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,827评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,590评论 2 320
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,669评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,365评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,941评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,928评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,159评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,880评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,399评论 2 342

推荐阅读更多精彩内容

  • 题目:单目视觉-惯性融合自动导航 摘要 自主微型飞行器(MAV)具有成本和机动性优势,使其成为航空摄影,监视和搜索...
    陌上尘离阅读 2,768评论 0 1
  • 个人为了看的方便没有广告,转载自泡泡机器人:https://www.sohu.com/a/161346283_71...
    Maxsium阅读 38,897评论 0 8
  • /**转载自https://blog.csdn.net/xiaoxiaowenqiang/article/deta...
    Maxsium阅读 608评论 0 0
  • (第一次发表,可能有点长,请耐心,笔芯) 终其一生,我们都在割裂与愈合中行进,从软弱走向坚强。 ...
    L木笔_阅读 287评论 0 1
  • 那一夏,漫天花雨,梓幽湖畔与你相遇。 那一言,勾魂夺魄,卿诉离别舍梦其归。 那一念,奢靡宝刹,故人不知西垒何话。 ...
    放牛郎李沐宸阅读 239评论 1 1