3D 语义场景完成是一项机器学习 习 任务，涉及基于不完整输入数据的给定环境的 3D 结构。 输入数据可以采用点云或深度图的形式，也可以是可选的RGB图像。 输出是一个完整的体素化语义场景，它以易于分析和解释的方式表示环境。
这项任务的关键是场景的语义方面。 输出中的每个体素表示环境中的一个对象或障碍物，例如墙壁、椅子或人。 这使得场景易于理解并用于各种应用。
3D语义场景补全在机器人、增强现实、自动驾驶等领域具有许多潜在应用。 在机器人技术中，完成的场景可用于规划机器人在环境中的路径和运动。 例如，机器人可能需要在杂乱的房间中找到一条路径，同时避开家具和人等障碍物。
在增强现实中，完成的场景可以叠加到现实世界中，为用户提供更加身临其境的体验。 这可用于室内设计等应用，用户可以看到家具和装饰品在自己家中的外观。
在自动驾驶中，完整的场景可以帮助车辆在复杂环境中行驶。 这可能包括识别行人和其他车辆等障碍物，以及检测路况变化和识别停车标志和交通信号灯等地标。
有许多不同的 3D 语义场景补全方法，每种方法都有其优点和缺点。 一些最常见的方法包括：
深度习：深度习是一种流行的3D语义场景完成方法，因为它已被证明在捕获数据中的复杂关系方面非常有效。 这涉及训练神经网络根据可用的输入数据丢失体素。
基于几何的方法：基于几何的方法利用场景中对象之间的几何关系（例如平面拟合和曲面法线估计）来完成场景。 这些方法往往不如深度习方法准确，但它们的计算效率更高。
混合方法：混合方法结合了深度习和基于几何的方法，以利用这两种方法的优点。 例如，深度习模型可用于定位场景中的对象，而基于几何的方法可用于估计其形状和大小。
3D 语义场景完成存在一些挑战和限制，必须解决这些问题，以使该技术更加可用和有效。 其中一些挑战包括：
数据质量：已完成方案的准确性在很大程度上取决于输入数据的质量。 如果深度图或点云不完整或有噪点，完成的场景也会不准确。
计算复杂性：3D 语义场景可能需要计算密集型才能完成，尤其是对于深度学习 习 方法。 这可能使其难以在实时应用程序中使用。
泛化：在一个环境中训练的模型可能无法泛化到其他环境，因为每个环境中的对象和结构可能不同。 这限制了该技术在实际应用中的实用性。
3D语义场景补全是一种强大的机器习技术，具有许多潜在的应用。 凭借环境的完整体素化语义结构，它可以帮助机器人导航复杂的空间，辅助增强现实应用，并帮助自动驾驶汽车在具有挑战性的环境中导航。 尽管该技术仍然存在挑战和局限性，但持续的研究和开发可能会在未来带来进一步的改进和更广泛的采用。
2024年度盘点