SRP 实现 Cook-Torrance BRDF

写的很乱！

BRDF（Bidirectional Reflectance Distribution Function）全称双向反射分布函数。辐射量单位非常多，这里为方便直观理解，会用非常不严谨的光照强度来解释说明。

BRDF光照模型，上反射率公式：

计算的是在法线所在半球上的所有入射光线，在出射方向的光强总和，公式有俩个部分。

即BRDF，从特定的入射方向到出射方向，在某个表面上，光强的衰减比率。

有了比率，还需要知道在物体表面接收到的某个方向上的光强，所以前半部分是光线沿入射方向到p点发射的光线强度，后半部分用表面与入射方向的夹角计算实际接收到的光线强度（因为这里虽然是一个点，但同时也需要当做一个极小的平面区域处理）。

关于几何函数

为什么GXX有俩个？只考虑一次反射能成功的，其实就是简单的认为入射方向能不被遮挡的光线比例 × 出射方向能不被遮挡的光线比例 = 整条光路上不会被遮挡的光线比例。

Cook-Torrance BRDF

🔻如果在渲染结果中发现了类似以下的问题或变，极大概率是法线没有在片元着色器中标准化。

SRP中实现的Cook-Torrance BRDF效果（无法线贴图，未进行gamma调整）：

增加支持多光源

https://zhuanlan.zhihu.com/p/163360207

关于点光源获取位置和平行光获取方向。

获取位置用VisibleLight.localToWorldMatrix.GetColumn(3);

获取方向用VisibleLight.localToWorldMatrix.GetColumn(2);

因为localToWorldMatrix是光源的模型变换矩阵M，获取点光源的位置即mul(M, float4 (0, 0, 0, 1))，即localToWorldMatrix的最后一列。同理，平行光方向朝向局部坐标z轴，mul(M, float4 (0, 0, 1, 0))故为第三列。

有很多免费的材质素材：Hundreds of 3D Texture Downloads - Free PBR Materials

这部分是没什么难度的，将相关变量设置为数组即可。

🔻但问题就出现在这，在Unity 2022.3.45f1c1中，如果先实现了.SetGlobalVector然后修改成.SetGlobalVectorArray，那么恭喜你完犊子了。修改后传入GPU的数据还是按.SetGlobalVector处理的，Dubug半天你会发现GPU就是拿不到完整的数组。

解决方法：Unity！重启！😎

🔻如果遇到CullingResults.lightIndexCount在某些视角下会返回非常奇怪的（错误）值的情况，例如明明只有2个可见光源，但返回4个。用CullingResults.visibleLights.Length来获取可见光源数组的个数，而不是CullingResults.lightIndexCount即可。

🔻Shader error in 'Custom/BRDF': Unexpected directive ''；这种错多半是用了中文分号或者其他的全半角问题。

支持法线贴图，如果想要在切线空间引用法线贴图后再转到世界坐标系下，需要用TBN矩阵的逆矩阵实现。具体见：TBN矩阵的使用

🔻应用贴图实现的BRDF效果很抽象，我以为是TNB出问题了（甚至怀疑unity默认切线有问题，还从blender中导了个正确的球模型过来），整了很久发现是采样法线贴图出错了，虽然各种设置了Unity项目是线性空间，但纹理这一块疑似过于独立了，需要在贴图中应用为Normal Map才能确保纹理采样在线性空间下。

那么有朋友就要问了，unity！unity！我用Default但不勾选sRGB不就可以了吗？unity答：不行。

为什么呢？因为根据TNB矩阵的组织方式，切线空间中垂直表面的轴实际上是x轴而不是z轴，如果想直接使用原始法线贴图，需要调整颜色通道顺序。

如果只用线性空间采样，输出采样结果经过映射后其实是大红色的，即（1.0，0.0，0.0），怎么回事呢？

 映射指颜色范围0~1到法线范围-1~1，而映射前是粉红色的。据说解包出的法线纹理也是粉红色的，和这个有关系吗？

法线贴图And图像压缩

贴图设置为Normal Map就可以了吗？换个法线变换明显材质试试看看😕。

输出法线，很明显少了一部分。

怎么回事呢，采访一下纹理压缩格式。

DXT5|BC3：“我不到啊。”

Unity：“他说（DXT5|BC3）他的alpha和green通道最好用，我就按他说的来了。”

言归正传，BC3是DXT5在DirectX 10中的别称，以下都以将以BC3称呼，BC是怎么压缩图像的这里就不过多解释了，直接看BC3压缩后的格式。

BC3 格式使用 5:6:5 颜色（5 位红色、6 位绿色、5 位蓝色）存储颜色数据，使用一个字节存储 alpha 数据。 更多的位数意味着更大的颜色深度，即更好的颜色表现。对法线来说，其归一化后长度为1，知道x，y即可计算z，所以当选择Texture为NormalMap时，Unity会自动处理成alpha和green通道以帮助我们得到最佳的图像效果。

在压缩大多数 RGBA 纹理时最好使用此格式。对于 RGB（无 Alpha）纹理，DXT1 更适合。当针对 DX11 类硬件（新版 PC、PS4、XboxOne）时，使用 BC7 可能很有用，因为压缩品质通常更好。

拓展一下，Unity中RGBA默认用BC3或BC7，BC7有八种模式，但RGBA支持模式下位数最多（之一）的还是alpha通道，颜色三通道则相同，所以用alpha加green通道也是最优解。

虽然法线贴图是RGB图，但还是用了RGBA的处理方式。

此外，Unity法线贴图也支持用BC5进行压缩，不过对应的采样代码就要修改了，反正怎么压缩怎么采样即可。

所以如果想得到正确的法线贴图采样结果，就需要手动提取alpha和green通道作为yz，再求解出x，这里的对应关系很重要。

通过UV检查图确定UV坐标原点为面左下角，然后只输出法线贴图上采样green通道的颜色。

可以确定green通道对应副切线，输出alpha通道。

可知alpha通道对应切线，那么法线方向的值就是要算的了，计算出法线方向输出值输出结果如下。

说明前面的推测是正确的，又由于TNB矩阵的组织方式是world normal，world tangent，world bitangent，所以alpha和green通道作为yz，再求解出最后一个值作为x。

float3x3 TNB = float3x3(normalize(v2p.normal), normalize(v2p.tangent), normalize(v2p.bitangent));

处理一下就能够将原法线贴图绘制出来，右图颜色更深是由于右图在线性颜色空间下+显示屏Gamma2.2调整，左图在线性空间下+Unity自动Gamma0.45调整+显示屏Gamma2.2调整。

修正后效果：

🔻Gamma问题，光照对了但球的颜色很淡很淡。原因是Color Space选择Linear时，Unity会自动对渲染窗口做一次Gamma0.45。而我参考LearnOpen GL在Shader中也实现了一次Gamma 0.45，所以结果是两次Gamma0.45，加上显示器的一次Gamma2.2，最终输出颜色还是Gamma 0.45，所以会感觉很淡（如果Color Space选Gamma，就需要手动校正）。

参考：Gamma 和 Linear Space的设置 Unity

然后终终终终于实现成功了“网图”的效果！

Unity中显示法线，切线，副切线（附代码）

先前为了查看切线是否有问题，写了个非常简单的脚本显示各顶点的切线坐标轴（使用前要reset对象的transform），结果显示模型非常健康。

using System.Collections;
using System.Collections.Generic;
using UnityEngine;public class ShowNormalsAndTangents : MonoBehaviour
{[SerializeField]float normalLength = 0.03f;// Update is called once per framevoid OnDrawGizmosSelected(){Mesh mesh = GetComponent<MeshFilter>().sharedMesh;Vector3[] v = mesh.vertices;Vector3[] n = mesh.normals;Vector4[] t = mesh.tangents;for (int i = 0; i < v.Length; i++) {Gizmos.color = Color.red;Gizmos.DrawRay(v[i], n[i] * normalLength);Gizmos.color = Color.green;Gizmos.DrawRay(v[i], new Vector3(t[i].x, t[i].y, t[i].z) * normalLength);Vector3 bitangent = Vector3.Normalize(Vector3.Cross(n[i], new Vector3(t[i].x, t[i].y, t[i].z)) * t[i].w);Gizmos.color = Color.blue;Gizmos.DrawRay(v[i], bitangent * normalLength);}}
}

Unity中显示法线，切线，副切线（几何着色器实现代码）

这里再补充一个用几何着色器实现的法线，切线和副切线显示。完全重叠的线只会显示一条，所以有可能会看到缺少了某条线，其实是被覆盖掉了。

// Upgrade NOTE: replaced '_World2Object' with 'unity_WorldToObject'
// Upgrade NOTE: replaced 'mul(UNITY_MATRIX_MVP,*)' with 'UnityObjectToClipPos(*)'// Upgrade NOTE: replaced '_Object2World' with 'unity_ObjectToWorld'
// Upgrade NOTE: replaced '_World2Object' with 'unity_WorldToObject'
// Upgrade NOTE: replaced 'mul(UNITY_MATRIX_MVP,*)' with 'UnityObjectToClipPos(*)'Shader "Custom/ShowNormals"
{Properties{_LineLength("LineLength", float) = 0.03_NormalLineColor("NormalLineColor", Color) = (1.0, 0.0, 0.0, 1.0)_TangentLineColor("TangentLineColor", Color) = (0.0, 1.0, 0.0, 1.0)_BitangentLineColor("BitangentLineColor", Color) = (0.0, 0.0, 1.0, 1.0)}SubShader{Pass{HLSLPROGRAM#pragma vertex VS_Main#pragma fragment FS_Main#pragma geometry GS_Mainfloat4x4 unity_MatrixVP;float4x4 unity_ObjectToWorld;float4x4 unity_WorldToObject;float _LineLength;float4 _NormalLineColor;float4 _TangentLineColor;float4 _BitangentLineColor;struct VS_INPUT{float3 m_pos:POSITION;float3 normal:NORMAL;float4 tangent:TANGENT;};struct GS_INPUT{float4 pos:POSITION;float3 w_normal:NORMAL;float3 w_tangent:TANGENT;float3 w_bitangent:TEXCOORD0;};struct FS_INPUT{float4 pos:POSITION;float4 lineColor:TEXCOORD0;};//step1GS_INPUT VS_Main(VS_INPUT input){GS_INPUT output;output.pos = mul(unity_ObjectToWorld, float4(input.m_pos, 1.0));output.w_normal = mul(transpose((float3x3)unity_WorldToObject), input.normal);output.w_tangent = mul((float3x3)unity_ObjectToWorld, input.tangent.xyz);output.w_bitangent = cross(output.w_normal, output.w_tangent) * input.tangent.w;return output;}[maxvertexcount(18)] //GS单次调用可以输出的最大顶点数量，这里每个顶点会变成俩顶点所以是3*2；void GS_Main(triangle GS_INPUT gsIn[3], inout LineStream<FS_INPUT> triStream){for(uint i = 0; i < 3; ++i){FS_INPUT pIn;pIn.pos = mul(unity_MatrixVP, gsIn[i].pos);FS_INPUT pIn1;float4 pos= gsIn[i].pos + float4(normalize(gsIn[i].w_normal), 0.0) * _LineLength;pIn1.pos = mul(unity_MatrixVP, pos);pIn.lineColor = _NormalLineColor;pIn1.lineColor = _NormalLineColor;triStream.Append(pIn);triStream.Append(pIn1);triStream.RestartStrip();FS_INPUT pIn2;pos = gsIn[i].pos + float4(normalize(gsIn[i].w_tangent), 0.0) *_LineLength;pIn2.pos = mul(unity_MatrixVP, pos);pIn.lineColor = _TangentLineColor;pIn2.lineColor = _TangentLineColor;triStream.Append(pIn);triStream.Append(pIn2);triStream.RestartStrip();FS_INPUT pIn3;pos = gsIn[i].pos + float4(normalize(gsIn[i].w_bitangent), 0.0) *_LineLength;pIn3.pos = mul(unity_MatrixVP, pos);pIn.lineColor = _BitangentLineColor;pIn3.lineColor = _BitangentLineColor;triStream.Append(pIn);triStream.Append(pIn3);triStream.RestartStrip();}}//step3float4 FS_Main(FS_INPUT input) : SV_TARGET0{return input.lineColor;}ENDHLSL}}
}

手动计算TNB

当然也可以手动计算切线空间的坐标系，但这样计算就会使得每个三角形面片都有自己独立的切线空间。例如，左图是模型默认切线空间，法线和切线由该顶点所参与的6个片元的法线和切线平均得到（平滑着色），右图是只根据法线在各片元内重新计算的切线和副切线（如果法线也各片元重新计算，就是平直着色）。【学习TNB矩阵过程中写的意义不明的Shader，而且法线用平均的但切线又重新算这是什么迷惑操作啊】

// Upgrade NOTE: replaced '_World2Object' with 'unity_WorldToObject'
// Upgrade NOTE: replaced 'mul(UNITY_MATRIX_MVP,*)' with 'UnityObjectToClipPos(*)'// Upgrade NOTE: replaced '_Object2World' with 'unity_ObjectToWorld'
// Upgrade NOTE: replaced '_World2Object' with 'unity_WorldToObject'
// Upgrade NOTE: replaced 'mul(UNITY_MATRIX_MVP,*)' with 'UnityObjectToClipPos(*)'Shader "Custom/ShowNormals"
{Properties{_LineLength("LineLength", float) = 0.03_NormalLineColor("NormalLineColor", Color) = (1.0, 0.0, 0.0, 1.0)_TangentLineColor("TangentLineColor", Color) = (0.0, 1.0, 0.0, 1.0)_BitangentLineColor("BitangentLineColor", Color) = (0.0, 0.0, 1.0, 1.0)}SubShader{Pass{HLSLPROGRAM#pragma vertex VS_Main#pragma fragment FS_Main#pragma geometry GS_Mainfloat4x4 unity_MatrixVP;float4x4 unity_ObjectToWorld;float4x4 unity_WorldToObject;float _LineLength;float4 _NormalLineColor;float4 _TangentLineColor;float4 _BitangentLineColor;struct VS_INPUT{float3 m_pos:POSITION;float2 uv:TEXCOORD;float3 normal:NORMAL;};struct GS_INPUT{float4 pos:POSITION;float2 uv:TEXCOORD0;float3 normal:NORMAL;};struct FS_INPUT{float4 pos:POSITION;float4 lineColor:TEXCOORD0;};GS_INPUT VS_Main(VS_INPUT input){GS_INPUT output;output.pos = mul(unity_ObjectToWorld, float4(input.m_pos, 1.0));output.normal = normalize(mul(transpose((float3x3)unity_WorldToObject), input.normal));output.uv = input.uv;return output;}[maxvertexcount(18)] //GS单次调用可以输出的最大顶点数量，这里每个顶点会变成俩顶点所以是3*2；void GS_Main(triangle GS_INPUT gsIn[3], inout LineStream<FS_INPUT> triStream){float3 edge1 = gsIn[1].pos - gsIn[0].pos; float3 edge2 = gsIn[2].pos - gsIn[0].pos;float2 deltaUV1 = gsIn[1].uv - gsIn[0].uv; float2 deltaUV2 = gsIn[2].uv - gsIn[0].uv; float f = 1.0 / (deltaUV1.x * deltaUV2.y - deltaUV2.x * deltaUV1.y);float3 tangent;tangent.x = f * (deltaUV2.y * edge1.x - deltaUV1.y * edge2.x);tangent.y = f * (deltaUV2.y * edge1.y - deltaUV1.y * edge2.y);tangent.z = f * (deltaUV2.y * edge1.z - deltaUV1.y * edge2.z);float3 bitangent;bitangent.x = f * (-deltaUV2.x * edge1.x + deltaUV1.x * edge2.x);bitangent.y = f * (-deltaUV2.x * edge1.y + deltaUV1.x * edge2.y);bitangent.z = f * (-deltaUV2.x * edge1.z + deltaUV1.x * edge2.z);for(uint i = 0; i < 3; ++i){float3 m_tangent = normalize(tangent - gsIn[i].normal * dot(gsIn[i].normal, tangent));float3 m_bitangent = normalize(cross(tangent, gsIn[i].normal)); FS_INPUT pIn;pIn.pos = mul(unity_MatrixVP, gsIn[i].pos);FS_INPUT pIn1;float4 pos= gsIn[i].pos + float4(gsIn[i].normal, 0) *_LineLength;pIn1.pos = mul(unity_MatrixVP, pos);pIn.lineColor = _NormalLineColor;pIn1.lineColor = _NormalLineColor;triStream.Append(pIn);triStream.Append(pIn1);triStream.RestartStrip();FS_INPUT pIn2;pos = gsIn[i].pos + float4(m_tangent, 0) *_LineLength;pIn2.pos = mul(unity_MatrixVP, pos);pIn.lineColor = _TangentLineColor;pIn2.lineColor = _TangentLineColor;triStream.Append(pIn);triStream.Append(pIn2);triStream.RestartStrip();FS_INPUT pIn3;pos = gsIn[i].pos + float4(m_bitangent, 0) *_LineLength;pIn3.pos = mul(unity_MatrixVP, pos);pIn.lineColor = _BitangentLineColor;pIn3.lineColor = _BitangentLineColor;triStream.Append(pIn);triStream.Append(pIn3);triStream.RestartStrip();}}float4 FS_Main(FS_INPUT input) : SV_TARGET0{return input.lineColor;}ENDHLSL}}
}

TNB矩阵和UV坐标关系

（不确定！）使用默认切线，在网格形变时可能会有问题？

把平面网格左下角的顶点移动到平面中心，世界空间下的法线出现了大问题（如下），左图的斜边应该是同样的颜色才对（即法线方向相同）。

梳理梳理TNB和法线贴图采样的过程导致问题的原因其实很明确，个人感觉对于会产生形变的网格，需要手动计算TBN矩阵时，考虑到TNB正交化对UV采样法线贴图的影响，需要对采样后的法线再增加一个和TNB正交化有关系的变换，可能后面会补充一下这部分的实现。

几何着色器：

https://zhuanlan.zhihu.com/p/585436751

DirectX11 With Windows SDK--15 几何着色器初探 - X_Jun - 博客园

渲染管线（主要是重新了解几何着色器）：

一文读懂什么是渲染管线(7k字) - 天份& - 博客园