Metal与图形渲染二:透明图片的渲染

零. 前言

这是我在Metal系列进行探索的第二篇文章,本章主要会介绍透明通道的素材如何渲染到屏幕上中,在Metal与图形渲染入门篇:绘制图片已经成功渲染出一张图片,现在让我们乘着温热的知识,再进一步,通过提取一张含透明通道的图片的信息,渲染出我们想要的透明图片的效果。什么意思呢?

比如:下面的图片中,左边代表着正常的图片数据,右边代表着该像素对应的透明数据,如果是白色则不透明,黑色则代表透明。美术那边会导出一个正常的视频,再导出一个只含透明度的视频,将两个视频合二为一得到:

我们需要得到以下的效果:

一. 基本思路

对于合二为一的分开图片,你第一感觉肯定是想到:分割处理,没错,这次我们的核心就是需要将同一张图片分开两次采样,合二为一得到一个rgba。

如果你对纹理还有点印象,那么你的想法应该是这样的:我需要取左半边的纹理进行采样,取其rgb值,再对右半边的纹理进行采样,取其r值(注意不是a值,白色的r>0,黑色r=0,因此我们取r值作为输出的alpha通道即可),即可得到(r1,g1,b1,r2)的片段着色器输出了!

二. 修改数据结构

还记得我们第一张渲染图片时用的数据结构吗?是xyzw的顶点坐标和xy的纹理坐标集合。

typedef struct {
    float4 vertexPosition [[ position ]];
    float2 textureCoor;
} RasterizerData;

那么这次我们既然多了一个纹理,则需要修改为如下数据结构:

typedef struct {
    float4 vertexPosition [[ position ]];   // 顶点坐标
    float2 textureCoorRgb;                  // 取RGB值的纹理坐标
    float2 textureCoorAlpha;                // 取Alpha值的纹理坐标
} RasterizerData;

作为顶点着色器的输出和片段着色器的输入,修改了该数据结构,我们就可以针对同一个数据结构的不同纹理进行采样,最后生成一个rgba值了!

二. 修改顶点着色器及输入缓冲值

还记得顶点着色器的缓冲值吗,他的句柄为[[buffer(index)]],index即允许我们输入多个图像信息,所以,我们可以这样来修改顶点着色器:

vertex RasterizerData vertexShader(uint vertexId [[ vertex_id ]],
                                   constant HobenVertex *rgbVertexArray [[ buffer(0) ]],
                                   constant HobenVertex *alphaVertexArray [[ buffer(1) ]]) {
    RasterizerData out;
    out.vertexPosition = rgbVertexArray[vertexId].position;
    out.textureCoorRgb = rgbVertexArray[vertexId].textureCoordinate;
    out.textureCoorAlpha = alphaVertexArray[vertexId].textureCoordinate;
    return out;
}

观察上面的图像,我们可以知道需要“各取一边”以进行采样,即纹理坐标对半分,对应的纹理顶点我们这样来分成两块来处理:

HobenVertex rgbVertices[] = {
    // 顶点坐标 x, y, z, w  --- 纹理坐标 x, y
    { {-widthScaling,  heightScaling, 0.0, 1.0}, {0.0, 0.0} },
    { { widthScaling,  heightScaling, 0.0, 1.0}, {0.5, 0.0} },
    { {-widthScaling, -heightScaling, 0.0, 1.0}, {0.0, 1.0} },
    { { widthScaling, -heightScaling, 0.0, 1.0}, {0.5, 1.0} },
};

self.rgbVertices = [_device newBufferWithBytes:rgbVertices length:sizeof(rgbVertices) options:MTLResourceStorageModeShared];
self.numVertices = sizeof(rgbVertices) / sizeof(HobenVertex);

CGFloat offset = .5f;

HobenVertex alphaVertices[] = {
    // 顶点坐标 x, y, z, w  --- 纹理坐标 x, y
    { {-widthScaling,  heightScaling, 0.0, 1.0}, {0.0 + offset, 0.0} },
    { { widthScaling,  heightScaling, 0.0, 1.0}, {0.5 + offset, 0.0} },
    { {-widthScaling, -heightScaling, 0.0, 1.0}, {0.0 + offset, 1.0} },
    { { widthScaling, -heightScaling, 0.0, 1.0}, {0.5 + offset, 1.0} },
};
self.alphaVertices = [_device newBufferWithBytes:alphaVertices length:sizeof(alphaVertices) options:MTLResourceStorageModeShared];

在输入缓冲的接口改成双输入即可:

// 设置rgb顶点数据
[renderEncoder setVertexBuffer:self.rgbVertices offset:0 atIndex:0];
// 设置透明半边顶点数据
[renderEncoder setVertexBuffer:self.alphaVertices offset:0 atIndex:1];

三. 修改片段着色器

片段着色器的修改也非常简单,既然我们已经传入了一个“含1个顶点坐标、2个纹理坐标”的数据结构了,我们分开对其进行采样就可以了:

fragment float4 fragmentShader(RasterizerData input [[ stage_in ]],
                               texture2d <float> colorTexture [[ texture(0) ]]) {
    constexpr sampler textureSampler (mag_filter::linear, min_filter::linear);
    float3 rgbColorSample = colorTexture.sample(textureSampler, input.textureCoorRgb).rgb;
    float alphaColorSample = colorTexture.sample(textureSampler, input.textureCoorAlpha).r;
    return float4(rgbColorSample, alphaColorSample);
}

修改完上面的代码,满怀欣喜地跑一跑:

???我明明将背景色设为灰色了呀,这飞机怎么看上去还是不透明的???

经过一番搜索,终于在万能的Stack Overflow搜索出了解答,原来MTKView的默认是不透明的,需要将他的不透明设置为NO。

self.mtkView.opaque = NO;

好啦,大功告成!

四. 总结

经过上一个从零开始章节的折磨,你会发现这个章节异常地简单,这是因为对于图形渲染的原理有所入门之后,了解到了纹理、采样的一些知识,对于这个需求也便得心应手了。

这一章主要介绍了如何将顶点着色器变为多个输入,以及如何按照自己的需求对纹理进行采样。

但是如果这是个视频格式的话,还需要额外进行一些处理,接下来将继续在Demo中探索如何渲染出一个透明通道视频,继续加油!

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 200,667评论 5 472
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 84,361评论 2 377
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 147,700评论 0 333
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,027评论 1 272
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,988评论 5 361
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,230评论 1 277
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,705评论 3 393
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,366评论 0 255
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,496评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,405评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,453评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,126评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,725评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,803评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,015评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,514评论 2 346
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,111评论 2 341

推荐阅读更多精彩内容