[读论文]Shading-aware multi view stereo

如何实现refine的？

几何误差和阴影误差如何加到一起？

为了解决什么问题？

弱纹理或无纹理：单纯的多视图立体算法在物体表面弱纹理或者无纹理区域重建完整度不够高，精度也不够高，因此结合阴影恢复形状来重建物体表面的高频细节。

物体表面具有随空间变化的反照率的区域：使用双三次模型完成光滑表面面片的表达，从而隐式保证了模型对空间变化反照率区域的有效性。

能量方程权重因子：利用图像梯度，在梯度大的区域纹理丰富使用几何约束，梯度小的区域表面平坦均匀使用明暗阴影约束。

同样是利用图片中的阴影信息，是否有考虑到Photometric Stereo和Shape from Shading的异同点……

解决方案？

图像坐标系中的一点与世界坐标系中的三维点之间的关系

x=K[RX+t]

根据这个公式可以得到参考视角图像与相邻图像像素之间的单应关系。

TODO

空间中的点一定能对应到图像中的某一个像素上吗？

是否准确？

怎么选择？设置阈值吗？设置的标准又该怎么确定？

还是说直接扔进去迭代更新就可以了？为什么？

然后利用空间点在参考视角图像中的坐标处的图像梯度构造几何误差项，将所有相邻图像中所有像素点间的误差值相加。

Bidirectional Reflectance Distribution Function根据入射方向的辐照度估计出射方向的辐射度。周围环境光照的球谐函数模型R=a·ΣBh

基函数的系数可以由前一次产生的几何形状进行估计，第一次估计时使用多视图立体产生的初始几何形状。对其取log然后计算梯度，可以得到一个将albedo和shading分离的方程。

前次几何形状求得的反照率的值如何映射到图像坐标系中？

每次映射的位置不同有无影响？

如果表面反照度是局部恒常的，图像亮度梯度只与表面法向量的变化有关，给定光照模型，表面法向量只能按照模型假设在特定方向上改变，而与反照度的实际值无关。

仍然是针对图像中的每一个像素点的梯度值进行计算，估计值与真实值之间的误差构成阴影误差项。

两个误差项使用的都是L1范数的形式，对不满足假设的外点而言更加鲁棒。由于对数域的值相对小很多，使用图像亮度梯度的模的倒数对明暗信息误差项进行放大保证两项相对均衡。

达到了什么样的效果？

在重建精度和完整度上有一定的改进，运行时间也有所提升。