基于YOLO World EfficientSAM的零样本目标检测和实例分割演示

想象一下：一个智能机器人需要在你凌乱的房间里寻找物品。 传统的物体检测器只能找到他们已经学会的东西，例如杯子或椅子。 这将是一场灾难！ 我们需要一种方法让机器人找到他们以前从未见过的东西。

Yolo 世界模型介绍了一种基于开放词汇检测任务的高级实时方法Ultralyticsyolov8。 这项创新可以根据描述性文本检测图像中的任何对象。 如下图所示，你表示你的鼻子、眼睛和舌头，世界模型会给你相应的位置。

然而，EfficientSAM 是一种轻量级的快速 SAM 模型，与 SAM 相比，具有良好的性能和 20 倍的推理速度！ 参数减少20倍！ 两者的结合具有更大的潜力！

Yolo 世界模型YOLO - 传统的开放式词汇检测模型通常依赖于繁琐的变形模型，需要大量的计算资源。 这些模型对预定义对象类别的依赖性也限制了它们在动态场景中的实用性。 Yolo-World 通过开放词汇检测重振 YOLO8 框架，在大型数据集上使用视觉语言建模和预训练，以无与伦比的效率在零场景**下识别大量对象**。

利用CNN的计算速度，Yolo-World提供了一个快速开放的词汇检测解决方案，可以满足各行各业对即时结果的需求。

Yolo-World推出"先提示，再检测"通过离线词汇进一步提高效率的策略。 此方法通过使用预先计算的自定义提示（包括标题或类别）并将它们编码并存储为脱机词法嵌入，从而简化了检测过程。

efficientsamEfficientSAM模型的核心思想是利用遮罩机制来遮罩图像中的某些区域，使模型在训练过程中更加关注未遮罩的部分。 这样做的目的是提高模型的泛化能力，使其能够更好地适应不同的任务和数据分布。 此外，这种掩码机制还可以显著减轻模型的计算负担，从而提高训练效率。

演示：

源代码：