理解光栅化：数字图像中像素的威力 (光栅化过程)

引言

光栅化是图像处理中一项基本技术，它将连续色调图像转换为离散像素数组。在本文中，我们将深入了解光栅化的过程，探讨其重要性和在数字图像中的应用。

光栅化过程

光栅化过程涉及将连续色调图像分解为一系列更小的方格或像素。每个像素分配一个特定颜色，这些颜色共同构成图像的整体外观。光栅化过程通常遵循以下步骤：1. 采样：图像被划分为一个网格，称为采样网格。 2. 量化：每个样品的颜色值被离散化到有限数量的等级。 3. 存储：每个像素的颜色值以数字形式存储。

像素的重要性

像素是光栅化图像的基本构建块，它们决定了图像的以下关键属性：分辨率：图像中像素的数量，以每英寸像素数 (PPI) 为单位测量。更高分辨率的图像具有更精细的细节和更流畅的渐变。颜色深度：像素持有的每个颜色的位数。较高的颜色深度允许更广泛的颜色范围，从而产生更真实的图像。像素大小：单个像素的物理尺寸。较大的像素尺寸可产生较小的文件大小，但可能会导致图像质量下降。

光栅化在数字图像中的应用

光栅化在各种数字图像应用中发挥着至关重要的作用，包括：显示：光栅化图像可以在显示器、电视和投影仪上显示。存储：光栅化图像可以压缩并存储在计算机文件中，例如 JPEG 和 PNG 格式。编辑：可以对光栅化图像进行编辑，例如调整颜色、亮度和对比度，或添加文本和图形。打印：光栅化图像可以打印到纸张、画布和其他介质上。

光栅化与矢量图像

光栅化图像与矢量图像形成对比，后者由数学方程和路径描述。而光栅化图像受分辨率和像素大小的限制，矢量图像可以无限缩放 mà 不损失质量。

优缺点

光栅化图像的优点：逼真的颜色和渐变可以捕获复杂细节广泛用于显示和存储光栅化图像的缺点：受分辨率和像素大小的限制文件大小可能很大缩放时可能会出现失真

结论

光栅化是将连续色调图像转换为数字形式的关键技术。它使我们能够显示、存储、编辑和打印图像，为广泛的应用提供了灵活性。了解光栅化过程和像素的重要性对于优化数字图像并在各种环境中有效使用它们至关重要。

---

《Real-Time Rendering》第四版学习笔记——Chapter 2 The Graphics Rendering Pipeline

渲染管线的主要任务是在给定三维物体、光源、材质等条件下，生成二维图像。 物体在图像中的位置、形状和外观取决于它们的几何、环境特征以及相机的位置。 物体的材质属性、光源、纹理和着色方程决定了物体的外表。 实时渲染管线大致分为四个主要步骤，每个步骤包含若干子步骤。 步骤间有逻辑分割，但在实际实现中部分步骤可能会合并执行。 应用阶段在CPU上运行，开发者全权控制。 此阶段的关键是将几何信息传递给几何处理阶段。 应用阶段基于软件实现，可以利用CPU多核提升性能。 碰撞检测、接收外部输入（如键盘、鼠标）和实现加速算法通常在此阶段完成。 几何处理阶段在GPU上执行，主要负责顶点着色、投影、裁剪和屏幕映射。 顶点着色分为顶点着色器、模型变换、视图变换和投影变换。 细分着色、几何着色和流输出是可选步骤，取决于GPU硬件能力和需求。 曲面细分产生适当数量的三角形表示曲面，几何着色处理图元产生新顶点，流输出使GPU成为几何引擎。 这些步骤按照细分、几何着色和流输出的顺序执行。 裁剪阶段筛选出视图体内的图元，将图元传递至光栅化步骤。 裁剪使用4维齐次坐标，第四值在透视投影中确保正确的三角形插值和裁剪。 屏幕映射将坐标系转换为屏幕坐标，与深度值和其他着色信息结合，准备进入光栅化阶段。 光栅化阶段将屏幕空间的顶点及其对应的深度值转换为屏幕像素。 判断像素是否位于三角形内部是此阶段关键部分。 图元装配计算三角形的差分、边界方程及其他数据，用于三角形遍历和数据插值。 三角形遍历查找像素是否在三角形内。 像素处理分为像素着色和合成两步。 像素着色阶段由可编程的GPU核执行，开发者提供像素着色器程序计算颜色值。 合成阶段融合像素着色产生的颜色数据，并解决可见性问题，包括深度测试和半透明物体的绘制顺序。 模版缓冲用于控制渲染数据写入。 合成操作统称为混合操作。 帧缓冲包含所有缓冲。

计算机图形学-Computer Graphics（1）

计算机图形学是利用计算机合成和操作视觉信息的学科。 它的应用领域广泛，包括游戏、电影、虚拟现实(VR)、增强现实(AR)、用户界面(GUI)、数字照片、地图绘制、3D打印、建筑设计等。 在计算机图形学中，涉及到的知识多而复杂。 首先，要解决的是如何建模，例如绘制一个立方体。 假设立方体长宽高为2*2*2，中心在三维坐标轴中心（0,0,0）。 立方体的八个顶点坐标分别为：A(1,1,1)，B(-1,1,1)，C(1,-1,1)，D(-1,-1,1)，E(1,1,-1)，F(-1,1,-1)，G(1,-1,-1)，H(-1,-1,-1)。 接下来，需要解决的是如何将三维空间中的立方体投影到二维平面上，即用数字描述在屏幕上显示立方体的过程。 投影的基本策略包括将三维顶点投影成二维平面上的点，然后将这些点连接起来。 透视投影是基于“近大远小”的原理，通过小孔成像原理，将三维物体显示在二维平面上。 具体公式为：v = y/z, u = x/z，其中x, y, z指的是顶点到相机小孔C的水平、竖直和横向距离，而不是顶点在三维空间中的坐标。 接着，我们需要了解像素（Pixel）的概念。 一个像素由红绿蓝三原色和色彩空间（透明度）信息组成，以32位（相当于一个浮点数）存储，每个值范围为0-255。 显示屏由许多像素组成，1920*1080分辨率表示横向1080个点，纵向1920个点，共约200万个点。 显示像素的方法有LCD和DMD等。 光栅化是指将连续的物体（如线、多边形）用像素网格表示。 对于线段的光栅化，可以采用Diamond Rule，即只在直线穿过正方形中间的菱形区域时点亮整个正方形像素。 通过求解线段的斜率，可以简化光栅化过程。 通过建模和光栅化，我们可以在屏幕上显示3D物体。 下一节将学习如何绘制更复杂的平面图形，以及处理锯齿问题。 理解3D物体的建模和光栅化过程是计算机图形学的基础，为后续学习更复杂的表面描绘、光照模拟、材质属性和物体运动做好准备。 学习计算机图形学是一个循序渐进的过程，从简单的二维绘图到复杂的三维渲染，涵盖了数学、几何、计算机视觉等多个领域。 通过不断实践和学习，可以逐步掌握这一领域的知识和技能。

渲染管线与GPU（Shading前置知识）

渲染管线与GPU（Shader前置知识）渲染管线是实时渲染的核心组件，其目的通过虚拟相机、三维物体、光源等生成二维画面。 它一般分为四个大阶段——应用阶段、几何运算、光栅化、像素运算。 应用阶段由应用程序驱动，主要任务包括用户输入处理、碰撞检测、动画、物理模拟、全局加速算法等，通常在CPU端执行。 这个阶段决定了渲染的效率，因此许多渲染优化，如各种剔除算法，都在此阶段进行。 部分应用阶段的工作可以通过Compute Shader交给GPU处理，实现GPU的高并行计算能力。 几何运算阶段负责处理形体变换、投影和其他逐顶点或逐三角面的几何操作，决定绘制对象是什么、如何绘制和绘制位置。 此阶段可以细分为顶点Shading阶段、投影阶段、剪裁阶段、屏幕映射阶段。 顶点Shading阶段负责顶点位置计算、输出法线、纹理坐标等信息。 几何运算阶段包含细分曲面、几何Shading和流输出等可选过程，这些过程在GPU中可以独立实现。 光栅化阶段将屏幕空间的二维顶点及其深度等数据转化到屏幕像素内，分为三角面设置（图素集合）阶段与三角形遍历阶段。 最后是像素运算阶段，通过前面所有阶段后，图素内的像素被传递到此阶段，进行深度测试和颜色确定。 此阶段分为像素Shading阶段与合并阶段，像素Shading阶段使用插值Shading数据作为输入，输出颜色传入合并阶段，而合并阶段负责将像素shading算出的颜色与当前颜色缓存的颜色进行混合。 渲染管线中，GPU的高并行计算能力通过流水线实现，将大量简单任务同时处理，从而大幅度提高了渲染效率。 通过细分曲面、几何Shading等可选过程，GPU能对模型进行优化，增加细节表现力。 同时，GPU在像素运算阶段提供高度可编程性，允许用户实现各种复杂的渲染效果，如纹理贴图、Alpha测试等。 综上所述，渲染管线与GPU紧密合作，通过高效的数据处理和并行计算，实现实时、高质量的三维图像渲染。 了解渲染管线的工作原理和GPU在其中的作用，对于掌握Shader技术、提高渲染效率至关重要。

对多重采样（MSAA）原理的一些疑问？

深入探讨多重采样（MSAA）的神秘世界，让我们从Khronos和微软的官方文档出发，理解这个抗锯齿技术的运作原理。 OpenGL和DX中的MSAA，其核心是每个像素的覆盖掩码（4-bit）和样本（4个深度值），它们的协同工作确保了图像的平滑性。

光栅化、片段着色与裁剪

在渲染流程中，先经历光栅化，将几何形状转换为像素。 接着，片段着色器单独处理每个像素，但它并未考虑覆盖情况，只计算单个样本的颜色。 裁剪阶段则是关键，因为我们需要考虑scissor区域，以确定哪些样本是有效的。 在此之后，MSAA的合成过程在片段着色器之后进行，以便利用裁剪信息。

4x MSAA的执行策略

关于4x MSAA的执行，有两种可能的解释：一种是逐个样本执行，即一次处理四个样本；另一种是整体一次性处理。 样本颜色的来源可能各异，可以是每个位置独立采样或所有样本共享中心颜色，这取决于具体实现的技术细节。

默认情况下，每个像素仅进行一次采样，中心颜色会被复制到四个样本中。 这可能源于像素中心或内部样本，以避免Outerpolate现象。 提升Pixel Frequency虽能提高效率，但可能影响视觉效果，这时Sample Frequency提供了选择，让每个像素的样本独立由片段着色器处理。

MSAA的深度与透明度处理

MSAA（如4x）的默认操作是对样本颜色进行加权平均，深度和模板值通常是四个独立值。 如果深度测试失败，相应的样本会被忽略。 Alpha to Coverage通过改变覆盖掩码，实现了顺序无关的透明度处理。 尽管Alpha Test在某些情况下效果不佳，Alpha Blend则提供了更佳的边缘融合，但需要遵循特定顺序。 Alpha to Coverage类似于基于样本的Alpha Test，提供了更灵活的解决方案。

在处理方式上，MSAA与Supersampling的主要区别在于，MSAA对所有位置进行处理，而不仅仅是边缘。 最终，MSAA输出的图像以100x100分辨率的像素为单位，每个像素包含四个样本的均值，这个过程通常通过双线性插值（Bilinear resolve）来实现。 值得注意的是，样本颜色可能来自不同的三角形，取Z测试通过的三角形颜色作为最终结果。

通过深入了解MSAA的这些细节，我们能够更好地欣赏到它在消除锯齿、提升图像质量方面的独特贡献，以及在实际应用中的灵活调整选项。

计算机图形学三:光栅化

经过变换之后,不管是正交投影还是透视投影,都被变换成[-1,1]的立方体,接下来就是要绘制在屏幕上,叫做光栅化 1.相机的可视面,宽高,可以得到长宽比 (field of view视场角),根据垂直可视角度fovY和长宽比可以得到水平可视角度fovX 1.右边是视椎的近平面,点(1,t,n)与z轴的夹角是fovY/2 2.t是z的值,b是-t,近平面的高就是2t,r就是x的值,l是-r,近平面的宽就是2r 3.于是可以得到右边两个等式 1.左下角是原点,每个像素用(x,y)整数表示,图中蓝色像素是(2,1) 2.像素的宽高是1,像素的中心是(x+0.5,y+0.5) 3.屏幕的范围是从(0,0)到(width,height) 1.忽略z,实质还是一次平移加一次缩放 2.因为MVP得到的是中心在原点,所以要先平移,让左下角位于原点,然后把x和y拉伸到屏幕的大小 不管是二维还是三维,图形都可以分解成一定数量的三角形 1.实质就是判断点否在三角形内 2.定义一个函数inside(tri,x,y)来输出是否在三角形内,然后遍历整个屏幕中的像素 1.利用向量的叉乘,p2p0 x p2q,p0p1 x p0q,p1p2 x p1q三个结果如果是同号的,则在三角形内,否则在三角形外 在边缘上的点再不同情况下可以算也可以不算. 1.将三角形包围在内的矩形叫做bounding box 2.p1,p2,p3中取maxX和maxY,就得到一个优化后的bounding box,可以提高效率,除此之外还有很多优化方案 三角形光栅化之后,由于像素点本事有大小,因此就会产生锯齿(Aliasing) 锯齿产生的原因是采样率的问题,采样的概念在图片,视频.音频中通用,低采样率可以降低质量,加快处理速度,但是会产生走样(Artifacts),锯齿便是其中一种情况. 显示器会在刷新的时候隔行刷新,例如第一帧刷新奇数行第二帧刷新偶数行,以此提高效率,但是会在一定程度上造成走样,或者叫做瑕疵. 上图中叫做摩尔纹,是采样的时候,为了降低质量去除奇数行或者偶数行像素产生的. 信号变换的太快以至于采样的速度很不上,就造成了Artifacts 先对场景,或者说信号进行模糊(滤波)处理,然后再采样,可以在一定程度上反走样 注意如果先采样,再做模糊是达不到效果的 图二中: 同样的采样频率,信号频率越快,就越会走样,上面的根据采样可以大概的还原出信号函数,但是下面的已经完全不能还原了 图三中: 在蓝色函数中进行采样,采样之后还原,还原出来的是显然只能是黑色函数,和原本的蓝色已经差的太远;也可以理解成,用同样的采样频率去采样两种频率的信号,结果却完全相同 傅里叶变换可以把时域变成频域: 1.左边的图像,叫做时域,右边的图叫做频域,是左边的图经过傅里叶变换生成的 2.右边图像的信息由亮度在不同的位置表示出来,外围的是高频,中心的是低频 3.水平和数值的十字高亮,是因为图片不是重复信号,没有时间信息,因此处理的时候会把图片进行平铺,一张接一张,当图像切换边界的时候,会产生剧烈的变化,从高频到低频全部都产生了变化,就出现了十字高亮 去除低频信息: 1.将右边的中心低频信息抹去,逆傅里叶变换,从右向左重新生成图片,叫做高通滤波,也就是只有高频信息可以通过 2.由此可见,只剩下边缘,或者说边界,就是颜色和纹理等等细节发生剧烈变化的时候,就对应着高频的信息. 去除高频信息: 1.低通滤波,图像的边界已经看不到了,只剩下色块表示的低频信息 选择性的去除不同的频率区域: 1.产生不同的效果,图一去除了最低频的色块和高频的边缘,图二去除了大量低频的色块,和高频的信息,通过这种控制,可以得到不同程度的细节信息 卷积Convolution: 1.首先是一个一维的信号,方便理解 2.然后是一个过滤器,过滤器从左向右移动,每次移动一个单位,移动之后计算过滤器中心对应的信号值,计算加权平均值,然后写入采样,最终得到一个采样结果 3.卷积就是模糊操作 1.把信号(图)用滤波器做卷积(图变成另一张) 2.上一步等效于,把图通过傅里叶变换,生成频域,再把滤波器也傅里叶变换,两者相乘,最后再逆傅里叶变换,就得到了和1相同的另一张图 低通滤波器: 1.每个像素周围八个像素都乘1,再加起来,然后除上9 2.这个box越大,图像越模糊,如果是最小的box,则相当于没做滤波,图像就没变化 3.上图两个盒子,是时域图像,也就是黑白色块,右边频域图MSAA抗锯齿: 把一个像素点细分成4个,甚至16个,通过三角形覆盖的点个数,取一个百分比,占三个就是75%,占一个就是25% FXAA:采样生成图片之后,通过图像处理,把锯齿给替换掉,效率很高 TAA:把MSAA的样本分布在时间上,复用前面帧的处理 DLSS:深度学习超采样(超分辨率),50x50的图片放到200x200需要补充像素,因此功能就是放大图片 后画的东西会覆盖先画的东西,计算机绘制沿用画家算法的时候也是这么做的,远近或者说遮挡关系,叫做深度关系 一种互相遮挡的情况,画家算法无法解决这种场景. 深度缓存算法: 1.前面说到三个互相遮挡的三角形,无法确定深度关系,所以换个角度,去确定每个像素的深度,生成渲染后的图片的同时,也生成一张用于保存每个像素深度信息的图 1.左边是渲染后图 2.右边是深度图,离相机越近的点,颜色越黑 3.假设首先只有地板,地板的深度图是近黑远白,现在添加一个图中的镂空立方体进去,像素点a原本显示的地板有一个深度x,现在点a也同时处在立方体上,立方体给了a另一个深度y,根据x和y就可以决定地板和立方体的遮挡关系 1.首先将场景分解成一定数量的三角形 2.将三角形全部光栅化 3.一开始所有的像素深度缓存值是无限大,也就是最远,遍历所有三角形的所有像素,然后和深度图的所有像素点对比,如果深度比像素存储的深度要小,说明应该要覆盖原来的像素,就把深度重新写到这个像素中. 4.这个算法与顺序无关,也没有做排序,只是在记录一个最小值,大的值不做任何处理,因此复杂度仅为O(n) 1.R代表无限大 2.5比R小,则重新写入 3.加入第二个三角形,跟R和5相比,比5大要被原来的三角形遮挡,比5小的会遮挡原来的三角形 4.这两个三角形插入到了一起,互相遮挡一部分

---

---

相关标签： 数字图像中像素的威力、 光栅化过程、 理解光栅化、

上一篇：探索光栅化的世界从向量到位图的转型光栅化

下一篇：光栅化技术点亮数字显示的像素画布光栅化技