如何使用Facebook的音乐将文本变成音乐-DEV365 开发者社区

MusicGen允许任何人仅通过文本提示来生成原始音乐。在本指南中，我将带您了解如何使用这种创意AI模型来增强您的音乐工作流程。

Subscribe 或在 Twitter 上关注我以获取更多这样的内容！

撰写新歌时，您是否曾经在作家的障碍中挣扎过？还是您想要AI助手来帮助您集思广益新的旋律和和声？ Facebook's MusicGEN模型使音乐构想和实验快速简便。

我们会看：

Music Gen的功能从文本中生成音乐
通过Replicate的API
使用AIModels.fyi

让我们看看Musicger如何为音乐家，作曲家以及任何希望生成独特的生产准备音乐的人解锁新的创意可能性。

用文本提示生成原始音乐

Musicgen允许您仅通过在文本提示中描述心情，类型，乐器等来产生音乐思想。这是您可以使用文本到音乐的一些创造性方法：

克服作者的块 - 卡住时基于文本描述获得新的旋律或谐波思想。
实验和迭代 - 通过调整文本提示轻松尝试变化。
探索新类型 - 在您不熟悉的样式中生成音乐。
制作背景音乐 - 为视频，播客，游戏等创建自定义背景音乐。
混音旋律 - 具有现有旋律以生成变体的模型。

MusicGen提供了适合生产的剪辑，您可以选择.mp3或.wav格式长达8秒钟。样品可以用作鼓舞的草图，也可以直接掺入组成中。

关于MusicGen模型

MusicGen由Facebook的AI研究团队于2023年创建。这是一种经过许可音乐数据培训的自动回归变压器模型。

该模型生成4个平行的旋律流，代表贝司，鼓，和谐等不同的音乐元素。这种结构使其能够在各种流派和样式中产生音乐连贯的作品。

MusicGen提供了一些不同的型号。复制上使用的基本模型是“旋律”，该模型已针对文本到原告进行了优化。还有一个针对旋律延续的较大模型。

您可以了解有关Facebook Research paper和project GitHub page中的模型体系结构的更多详细信息。

模型限制

像所有AI模型一样，Musicgen有一些限制：

Music Gen的输出受到提供的提示和旋律的影响。创意输入会极大地影响生成作品的质量和独特性。
模型的训练数据会影响其音乐风格和输出。它可能不是完美地复制每种音乐类型或风格。
Music Gen的生成音乐可能需要后处理才能达到所需的抛光水平。

了解这些限制将有助于您充分利用Musicgen，同时还可以管理您的期望（或您的客户的期望）。

了解音乐的输入和输出

输入

model_version：选择生成的模型版本（例如“旋律”，“大，”“ encode-decode”）。
prompt：提供您要生成的音乐的描述。
input_audio：通过提供音频文件来影响生成的音乐。
duration：指定生成的音频的持续时间。
continuation：选择生成的音乐是否应继续输入音频的旋律。
其他参数，例如top_k，top_p，temperature等，允许您微调输出。

输出

输出模式是一个指向生成音频文件的URI的字符串。

使用MusicGen模型的分步指南

在本节中，我们将逐步介绍详细的分步过程，以有效地使用MusicGen模型来生成音乐作品。每个步骤都伴随特定的代码片段和有关发生的事情的解释。

步骤1：安装node.js客户端

要开始，您需要安装node.js客户端进行复制。该客户端将使您能够与Replicate API进行交互并运行MusicGen模型。

npm install replicate

此命令安装必要的node.js软件包，名为“重复”。

步骤2：设置API令牌

在访问重复API之前，您需要将API令牌设置为环境变量。这个令牌将验证您对API的请求。

export REPLICATE_API_TOKEN=your_api_token

用您的实际重复API代币替换your_api_token。

步骤3：运行模型并生成音乐

现在，让我们运行MusicGen模型以基于指定的输入生成音乐构图。我们将使用node.js客户端进行API请求。

import Replicate from "replicate";

// Create a Replicate client instance
const replicate = new Replicate({
  auth: process.env.REPLICATE_API_TOKEN,
});

// Define input parameters for the model
const modelVersion = "melody";
const prompt = "Expressive piano melody";
const duration = 10; // Duration of the generated audio in seconds

// Run the MusicGen model
const output = await replicate.run(
  "facebookresearch/musicgen:7a76a8258b23fae65c5a22debb8841d1d7e816b75c2f24218cd2bd8573787906",
  {
    input: {
      model_version: modelVersion,
      prompt: prompt,
      duration: duration,
      // Other input parameters here
    },
  }
);

console.log("Generated audio URI:", output);

在此代码段中：

我们从已安装的node.js软件包导入Replicate类。
我们使用您的API令牌创建一个Replicate客户端的实例。
我们为音乐生成定义了modelVersion，prompt和duration。
我们使用koude14()方法使用指定的输入来运行MusicGen模型。
生成的音频URI已记录到控制台。

步骤4：探索生成的音频

运行模型后，您将收到指向生成的音乐作品的音频URI。您可以使用此URI访问和探索生成的音频。

就是这样！此时，您已经成功利用了MusicGen模型来创建基于输入的音乐构图。

结论

恭喜！您已经成功完成了使用Musicgen模型进行音乐作品的分步指南。通过遵循这些说明，您已经利用了AI的力量来产生独特而创意的音乐作品。当您继续进入AI驱动音乐的世界时，请随时尝试尝试不同的输入和参数，以探索各种音乐可能性。如果您有任何疑问或需要进一步的帮助，请随时接触或参考本指南中提到的资源。与AI！

的快乐音乐作品

Subscribe 或在 Twitter 上关注我以获取更多这样的内容！

进一步阅读

如果您有兴趣探索与音频相关的主题，以下是一些相关文章，这些文章深入介绍了AI应用程序的音频生成，操作和分析：