单卡可用，实时渲染，书生·天际2.0助力高质量三维实景生成

全球首个城市级NeRF实景三维大模型“书生·天际”（LandMark）迎来重磅升级。

近日，上海人工智能实验室（上海AI实验室）发布书生·天际2.0（以下简称“天际2.0”）。

天际2.0采用了全新的Scaffold-GS算法，既具备3D高斯泼洒（3D Gaussian Splatting）的高性能渲染效率，也融合了多种经典NeRF表征的灵活性和高质量。

得益于对场景特点的深度挖掘和对原创算法的坚持，天际2.0实现了基于单张消费级显卡即可对超大场景进行实时渲染及编辑，相较第一代模型，算力需求直降两个数量级。

书生·天际首次亮相于2023年世界人工智能大会，为全球首个城市级NeRF实景三维大模型。通过对模型、系统、算子的全面升级，天际2.0的城市级三维重建能力和效率均得到大幅度提升，并支持与视频生成技术如AnimateDiff等进行联动，打造多样化城市风格。

自发布以来，上海AI实验室已对书生通用大模型体系进行多次升级，陆续推出书生·浦语2.0（InternLM2）、新一代书生·视觉大模型（InternVL）。随着书生·天际的升级，“书生”体系全面迈进“2.0时代”，在全方位提升能力的同时，持续降低大模型应用门槛，为更多领域提供AI赋能基础。

| 算力需求直降两个数量级，消费级单卡即可“重建”城市

书生·天际1.0曾开创性实现了对100平方公里范围进行城市级NeRF实景三维建模，并支持1K分辨率实时渲染及4K离线渲染。

得益于算法的全面演进和对系统资源的高效利用，升级后的天际2.0所需算力资源较上一代大幅降低，仅需单张4090等消费级显卡即可高效完成大场景重建训练和实时渲染编辑。支持对场景的编辑和本地部署，将天际2.0的使用门槛大幅拉低，个人开发者也可藉此获得大范围场景复现能力，并根据使用场景灵活应用该模型。

上海AI实验室研究团队通过对NeRF类和3D Gaussian（高斯）类算法场景的深度挖掘，沉淀出一套独立的渲染加速和场景扩展方案。渲染系统充分利用相对廉价的内存空间和PCIe带宽，将模型的参数量限制扩大到内存容量级别，从而大幅降低对计算资源的需求。而针对超大参数量模型，该系统则提供了模型并行结合动态参数加载渲染的混合支持，在多卡负载均衡的情况下，实现多机多卡超大场景实时渲染。 

通过使用动态加载方法，天际2.0所需计算资源比传统基线方法大幅降低

启发式预取策略是天际2.0的另一大创新。在渲染过程中，系统可根据实时需求，智能选择最合适的模型参数加载到显存中，确保每一帧画面的视觉效果。基于异步拷贝技术 (DMA) 的应用，让模型参数的加载和渲染过程无缝衔接，在保证渲染吞吐的同时，预先加载模型参数，使渲染过程更加流畅。

延续上一代的“城市可编辑”能力，天际2.0打造了全新的交互平台，支持用户使用各类外置控制设备，“端到端”实现全景穿梭于所构建的实景三维模型中，可实时完成移动、复制、新增建筑物等“动作”，体验到更流畅、更具个性化的场景交互。

| 虚实结合，拓展AIGC应用范式

在为实景三维建设提供AI技术支持的同时，天际2.0还拓展了AIGC的创意范围。

天际2.0支持与AnimateDiff等多种视频生成技术进行结合，通过实景模型的“实”与AIGC视频的“虚”进行联动，改变三维实景的建筑模式，打造使用者的个性化风格，为视频编创提供更多可能。

天际2.0+Animatediff：打造“天空之城”版武康大楼，将朱家角古镇实景变为动画风格

| 原创算法搭配系统及算子突破，效率质量双提升

研究团队为天际2.0设计了全新的Scaffold-GS算法，这一算法从上一代天际所使用的GridNeRF演进而来，利用场景结构形成了层次化和区域感知的场景表示方法。在Scaffold-GS的运用下，天际2.0保证渲染质量的同时，大幅降低计算量，加速训练收敛，支持单卡实时渲染和交互编辑。

Scaffold-GS能够自然地适应场景风格化、动态场景等多种应用场景，具有广泛的适用性和灵活性。多个数据集上的评测结果显示，Scaffold-GS在大型户外场景和复杂室内环境下具备更强鲁棒性。

Scaffold-GS形成了层次化和区域感知的场景表示方法

研究团队同时对天际2.0的三维模型引擎独立系统进行了全面升级。在新系统中，天际2.0支持多种三维重建算法，包括三项成熟的NeRF算法和两项最新的Gaussian算法，支持以组件化形式构建城市级模型，动态加载训练模式使得模型训练和推理效率大幅提升。

为适应不断扩大的场景规模需求，研究团队基于场景结构重建了CUDA算子，对并行策略、数据存储、冗余计算和编译等进行联合优化。在保证渲染质量的前提下，有效减少了内存消耗，使综合计算效率提升7倍。

通过对核心算子的优化，天际2.0综合计算效率提升约7倍，突破计算瓶颈