我们推出了 HouseCrafter，这是一种新颖的方法，可以将平面图提升为完整的大型 3D 室内场景（例如房屋）。

　　我们的主要见解是调整在网络规模图像上训练的 2D 扩散模型，以在场景的不同位置生成一致的多视图颜色 (RGB) 和深度 (D) 图像。具体来说，RGB-D 图像以分批方式自回归地沿着基于布局图的采样位置生成，其中先前生成的图像用作扩散模型的条件以在附近位置生成图像。扩散模型中的全局布局图和注意力设计确保了生成的图像的一致性，从中可以重建 3D 场景。

　　通过对 3D-Front 数据集进行广泛的评估，我们证明了 HouseCraft 可以生成高质量的房屋规模 3D 场景。我们将发布我们的代码和模型权重。

　　我们的方法首先生成场景的多视图二维观测，然后以三维形式重建。我们训练一个可以使用 RGBD 图像执行新视图合成的扩散模型。具体来说，该模型从附近位置获取多张 RGBD 图像，并将编码的平面图作为条件，然后输出一批彼此一致且符合条件的 RGBD 图像。

　　我们方法的核心是一个 2D 扩散模型，它可以生成场景的一致多视图 RGBD 图像。我们的模型架构灵感来自 SOTA 以对象为中心的新型视图合成模型的设计，但针对场景级内容的几何和语义复杂性进行了重新设计。首先，我们将参考条件和图像生成都更改为 RGB-D 设置，而不是仅 RGB，因为 RGB-D 图像为 3D 场景重建提供了强有力的线索。其次，我们在每个 unet 块的开头插入一个布局注意层，以鼓励生成的图像忠实于平面图，确保在生成房屋规模场景时具有全局一致性。此外，交叉注意层（在先前的作品中为参考新颖视图注意而引入）已更新为利用参考深度的几何形状，从而生成更高质量的图像。

　　用户可以通过移动平面图上的家具来轻松编辑场景的布局。生成的场景也会相应改变。kaiyun中国平台