Whisper 模型处理测试 NVIDIA RTX 4090 比 Apple M3 Max 慢 86 秒

小夏 数码 更新 2024-01-29

IT Home 12 月 14 日报道,开发者 Oliver Wehrens 近日测试了苹果的 M1 Pro、M2 Ultra 和 M3 Max 三款 Apple Silicon 芯片,在升级 MLX 框架后训练 AI 能力,并对比了 NVIDIA 的 RTX 4090 显卡。

Wehrens 使用 OpenAI 的语音识别模型 Whisper 进行了测试,该模型测量转录 10 分钟音频文件所需的时间。

测试结果显示,M1 Pro 处理音频需要 216 秒NVIDIA RTX 4090 显卡需要 186 秒来处理。

配备 76 个 GPU 的 M2 Ultra 和配备 40 个 GPU 的 M3 Max 具有更好的处理性能分别为 95 秒和 100 秒。

此外,苹果的Apple Silicon芯片也消耗了更多的功率。 NVIDIA RTX 4090 在运行状态下比空闲状态高 242W。

M1 Pro芯片在运行状态下仅比空闲状态高38W。

IT Home 此前曾报道过 MLX 框架具有以下特点:

熟悉的 API:Python 和 C++ API 具有熟悉的框架,例如 numpy 和 pytorch,使经验丰富的研究人员可以轻松学习和 习。

简单高效:MLX 使用可组合的函数转换来优化 Apple Silicon 的性能。

延迟计算:避免不必要的计算,提高资源效率。

动态设计:能够适应输入形状的变化,简化调试和测试。

硬件和软件:MLX 无缝利用 Apple 设备的 CPU 和 GPU,确保用户能够充分利用其硬件。

统一内存优势:MLX 利用 Apple 的统一内存进一步加速数据移动。

研究人员友好:MLX 专为研究人员设计。

相似文章

    基本模型和优化模型

    一个数学模型的好坏取决于它的应用程度,而不是它使用的数学方法的先进程度。对于一个实际问题,如果一个数学模型可以用初级方法建立起来,并且具有与所谓高级方法相同的应用效果,那么一个简单有效的方法就会更受欢迎。一般情况下,建模的目的可以通过使用静态 线性和确定性的模型描述来实现,模型基本上可以通过初等数学...

    中文模型 AskBot 大模型助力企业提供智能服务

    随着人工智能技术的不断发展,越来越多的企业正在利用智能服务来提升工作效率和员工体验。其中,AskBot大模型作为集成了多个大语言模型的人工智能解决方案,已成为企业实现智能服务的重要工具。下面将从中文语言模型的角度出发,深化askbot大模型在企业智能服务中的应用和优势。.AskBot大模型介绍。As...

    Microsoft小模型以27亿参数击败大模型,手机可以运行

    由机器之心报告。编辑 杜薇 小舟 在小打大技术的发展路线上,Microsoft一直在前行。上个月,Microsoft首席执行官纳德拉在 Ignite 大会上宣布,他自主研发的小型模型 phi 将完全开源,在常识推理 语言理解和逻辑推理方面的性能将得到显著提升。今天,Microsoft公布了有关 Ph...

    单模型训练推动了提高模型性能的秘诀

    在机器习和深度习领域,模型的性能是评价其优劣的重要指标之一。提高模型的性能是每个研究者和从业者追求的目标。在这个过程中,单模型训练压力推送成为一种常见的方法,可以帮助我们发现并解决模型训练中的关键问题,从而提高模型的性能。首先,我们来了解一下什么是单模型训练推送。单模型训练推送器是指在模型架构下,通...

    混合专家模型(MoE)是大模型研究的新方向。

    大模型的发展已经到了瓶颈期,包括被忽视事实导致的 幻觉 问题 深邃的逻辑理解能力 被业界诟病的数学推理能力,要想解决这些问题,模型的复杂度就必须不断增加。随着不同应用场景的实际需求,大模型的参数会越来越大,复杂度和规模也会不断增加,特别是在多模态大模型的开发中,每个数据集可能完全不同,数据来自文本 ...