NeRV: Neural Reflectance and Visibility Field [NIPS21]

Theme
논문
Type
테마글
Status
Post
분야
Neural Rendering
중요도
2 more properties

Keypoints for Me

BRDF 파라미터를 예측하는 것보다 visibility와 depth termination을 예측하여 전반적인 light transport의 cost를 줄인 것이 main contribution으로 보인다. 기존 NeRF에서 density로 implicit하게 학습하고자 한 부분을 명시한 것이 주요하다고 생각한다.
하지만 아쉽게도 light transport를 approximate하려는 노력이 논문의 주여서, 내가 크게 참고할만한 부분은 없는 것으로 보인다.

Critize

총 2개의 MLP를 제안하는데, 여기서 하나는 BRDF의 parameter를 예측하여 이를 통해 rendering equation 을 적용한다. Ray의 각 점의 radiance를 예측하는 NeRF보다 렌더링에 소요되는 시간이 훨씬 길 것으로 예상한다. 물론 이를 보완하기 위한 다양한 방식들을 제안하였지만, complex한 case에서 NeRF보다 성능이 좋을 지언정 속도는 느릴 것으로 보인다.
이에 더해서, 몇개의 사진으로 학습했는지 등등에 대한 정보가 적다.
하지만 reflectance는 언제나 그렇듯 몇번의 bounce까지를 고려하느냐가 꽤나 중요한데, 본 연구는 이를 1로 제한하였다. 그리고 hard-surface라는 가정까지 더해져서, sub-surface scattering이 중요하거나 매우 complex한 lighting 상황이라면 과연 좋은 성능을 낼 수 있을지 잘 모르겠다.

Minor Keypoints

Write minor parts that I would like to investigate further (e.g. analysis/implementation tips)

References

Leave related page links in this page or a title with a link to arXiv