OpenGL渲染使用客户端client<——>服务端server的形式实现,客户端是我们编写的代码,服务端是计算机图形硬件厂商所提供的OpenGL实现。在移动端OpenGL ES框架相当于Client去发起图像处理请求,GPU相当于Server负责处理图形操作。
OpenGL是基于C的API,与基于OC的Cocoa应用程序无缝集成,提供应用程序用于生成2D或3D图像的函数,应用程序将渲染的图像呈献给屏幕或将它们复制回自己的内存。OpenGL规范没有提供自己的窗口层,它依赖于OSX定义的功能来将OpenGL绘图与窗口系统集成。
client
application中的代码和OpenGL API是存储在CPU中的,属于client,由应用程序执行,在主系统内存的驱动程序中执行,驱动程序将数据不断地传递给server。server
OpenGL中直接操作GPU绘制图形的部分是server,client与server是独立异步执行的,他们分属于不同的软件块或硬件块。在server端,顶点着色器处理client传递过来的顶点数据,然后将图形进行光栅化,再由片元着色器填充颜色,完成图形的渲染。通道:Attributes、Uniforms、Texture Data
OpenGL API向GPU传递数据有三个通道,分别是Attributes属性、Uniforms和Texture Data纹理数据,根据场景合理的使用对应的管道
Attributes属性:属性传递的是不断发生改变的数据,传入的数据包括顶点坐标、纹理坐标、颜色值、位移、光照法线等,属性可以是整型、浮点型、布尔、4维向量等。Attributes只能传到顶点着色器,不能传到片元着色器,可以通过GLSL代码间接传递。
属性总是以4维向量的形式进行内部存储,顶点坐标是(x,y,z),占3个分量;属性会从本地client内存中复制存储在图形硬件中的一个缓冲区上,这些属性只提供给顶点着色器使用。Uniforms:Uniform变量传递的是统一的数据,如旋转矩阵、变换矩阵等
图形旋转的实现是每一个顶点乘以旋转矩阵,确定旋转角度后旋转矩阵不会发生改变,这个旋转矩阵就可以通过Uniform传递,传递的数据类型有整型、浮点型、布尔、4维向量等。最常见的应用是在顶点渲染中设置变换矩阵。uniform值可以直接传递到顶点着色器和片元着色器。uniform变量还可以是标量类型、矢量类型、uniform矩阵。
tips:不能为了达到目的而使用Uniform值传递颜色值到片元着色器,颜色值只能从Attributes值间接传递到片元着色器。
视频解码渲染使用到的颜色空间是YUV颜色值,需要将YUV乘以转换矩阵转换成RGBA来填充颜色以正确地渲染到屏幕上,这时的旋转矩阵可以通过Uniform传递到片元着色器。
- Texture Data纹理数据:传递图片,渲染图形时的线框填充、颜色填充、纹理填充、像素填充等对图片的处理,在顶点着色器、片元着色器中都可以对纹理数据进行采样和筛选。
滤镜的实现就是在读取颜色的时候对像素点颜色的处理,可以读取多张纹理使用颜色混合对像素进行填充
典型的应用场景:片段着色器对一个纹理值进行采样,然后在一个三角形表面应用渲染纹理数据。
- GPU渲染流程名词解释
ins输入:将数据拷贝到着色器中
Vertex Shader顶点着色器:client从三个通道Attributes、Uniforms、Texture Data将数据传递到顶点着色器,顶点着色器只处理Attributes、Uniforms数据,不处理Texture Data纹理数据。顶点着色器处理传入的顶点数据,包括顶点位置、顶点颜色、光照等,每个顶点都会执行一次
Position Vertex顶点位置
Primitive Assembly图元装配/光栅化:将顶点链接起来组成点、线、面(三角形)三种不同的图元,然后对超出屏幕的部分进行裁剪,这是对图形进行裁剪、透视分割、视口变换、光栅化等操作,这部分开发者是无法参与的
Fragment Shader片元着色器:Attributes值无法直接传递到片元着色器,片元着色器需要的Attributes值需要通过顶点着色器传递过来,Uniforms、Texture Data数据可以直接传递过来,片元着色器计算每个像素点的颜色并填充
outs输出:将数据从一个阶段传递到下一个阶段,开发者无法参与干预其过程
Render渲染:渲染图形
参考链接:
【OpenGL】OpenGL渲染流程详解