近日，我系倪张凯老师的研究论文“ColNeRF: Collaboration for Generalizable Sparse Input Neural Radiance Field”被CCF A类国际学术会议AAAI-24正式录用。这项研究是计算机科学、计算机图像学与三维重建领域的一次创新尝试，提出了一种名为“协同神经辐射场”（ColNeRF）的新算法，专门用于处理稀疏输入场景下的新视图合成。该研究为通用性的三维场景合成提供了全新思路，为视觉场景合成技术的发展提供了更强大的支持。
研究介绍：
新视角合成任务旨在通过一组场景对应不同视角的源图像，生成该场景在新视角下的图像。在这一领域，神经辐射场（Neural Radiance Field, NeRF）是一种与深度学习相结合的技术，目前在新视图合成方面表现卓越。然而，NeRF对大量高质量输入源图像的依赖性使其在实际应用中面临挑战。倪张凯老师的团队通过提出ColNeRF解决了这些问题，这是一个通用的稀疏输入神经辐射场方法，通过协同学习在输入源视图之间引入合作，构建了精确而通用的模型。
图1 ColNeRF的模型框架与研究设计
ColNeRF的协同学习包括稀疏输入源图像之间的协作和NeRF输出之间的协作。通过这一思想，他们构建了一个协同模块，可以从不同视角对信息进行对齐，同时通过自监督约束确保几何和外观的多视图一致性。ColNeRF还提出了一种协同交叉视图体积集成模块（Collaborative Cross-View Volume Integration，CCVI），用于捕捉复杂的遮挡，并隐性地推断物体的空间位置。通过在输入和输出端的协同合作，ColNeRF能够捕捉更丰富、更通用的场景表示，从而实现更高质量的新视角合成结果。广泛的实验证明，ColNeRF取得了超越最先进的稀疏输入可泛化 NeRF方法的效果。此外，他们的方法在适应新场景的微调方面依然表现卓越，与逐场景优化的 NeRF方法相比，他们的方法在保证重建质量的同时大幅降低了计算成本。
作者信息：
同济大学计算机科学与技术系助理教授倪张凯为本文第一作者，同济大学计算机科学与技术系硕士研究生杨佩琪为本文第二作者，同济大学计算机科学与技术系教授王瀚漓为本文通讯作者。
本工作得到了鹏城实验室副研究员杨文瀚、美团研究员马林和香港城市大学教授 Sam Kwong的指导和支持。该研究得到国家自然科学基金和上海浦江人才计划研究基金等资助。
倪张凯是同济大学计算机科学与技术系的助理教授。他于2021年10月在香港城市大学获得计算机科学博士学位，导师是Sam Tak Wu KWONG教授（IEEE Fellow）。2021年10月至2021年12月期间，在香港城市大学计算机科学系担任博士后研究员。2017年7月至2018年7月，在新加坡南洋理工大学电气与电子工程学院担任研究助理。曾获得中国电子学会优秀硕士学位论文奖。主持国家自然科学基金、上海市领军人才（海外）青年人才计划、上海市浦江人才计划等项目。研究兴趣包括计算机视觉和图像处理，特别是生成建模、无监督学习、图像/视频恢复、图像/视频增强和图像/视频质量评估等领域。
原文链接：https://arxiv.org/abs/2312.09095