OpenAI 正在为其 API 引入新的转录和语音生成 AI 模型，该公司声称这些模型比以前的版本有所改进。对于 OpenAI 来说，这些模型符合其更广泛的“代理”愿景：构建能够代表用户独立完成任务的自动化系统。“代理”的定义可能存在争议，但 OpenAI 产品负责人 Olivier Godemont 描述了一种解释，即可以与企业客户交谈的聊天机器人。

OpenAI 声称，其新的文本转语音模型“gpt-4o-mini-tts”不仅可以提供更细致入微、听起来更逼真的语音，而且比上一代语音合成模型更“可控”。开发人员可以指导 gpt-4o-mini-tts 如何用自然语言说话——例如，“像疯狂的科学家一样说话”或“像正念老师一样用平静的声音说话”。

以下是“真实犯罪风格”的饱经风霜的声音：

以下是女性“专业”声音的样本：

OpenAI 产品人员杰夫·哈里斯 (Jeff Haris) 表示，他们的目标是让开发人员能够定制语音“体验”和“语境”。

“在不同的情况下，你不想要平淡、单调的声音，”哈里斯继续说道。“如果你在客户支持体验中，并且希望语音因为犯了一个错误而道歉，那么你实际上可以让语音带有这种情感……我们最大的信念是，开发人员和用户不仅希望真正控制所说的内容，还希望控制说话的方式。”

OpenAI 内部语音识别基准的结果。图片来源： OpenAI

与传统不同的是，OpenAI 并不打算公开其新的转录模型。该公司过去曾根据 MIT 许可发布过 Whisper 的新版本，供商业使用。

哈里斯表示，gpt-4o-transcribe 和 gpt-4o-mini-transcribe“比 Whisper 大得多”，因此不适合公开发布。

“它们不是那种可以在笔记本电脑上本地运行的模型，就像 Whisper 一样，”他继续说道。“我们希望确保，如果我们要以开源形式发布产品，我们会深思熟虑，并且我们有一个真正针对特定需求而精心打造的模型。我们认为，终端用户设备是开源模型最有趣的案例之一。”