前段时间Facebook 发布了超强的文本转音乐工具audiocraft,上线不到一个月在GitHub上就收获了8.2k个星星,号称是目前最强的文本转音乐工具,GitHub项目地址:https://github.com/facebookresearch/audiocraft。作者建议部署这个软件电脑显卡最好要16G显存以上,我试了一下低配置显卡电脑也可以使用,下面说一下具体操作步骤。
1、安装python
打开Python官网*载下**链接:https://www.python.org/downloads/,你是什么系统,就*载下**那个对应版本就可以。

我们*载下**Python 3.10.11稳定版

*载下**到电脑上之后,双击运行安装Python,先点击勾选add python*ex.e** to path,在点击install now安装。

2、安装pytorch
按键盘上的Windows+R键,打开运行,输入cmd,回车,启动终端,输入如下命令,回车,
pipinstalltorchtorchvisiontorchaudio--index-urlhttps://download.pytorch.org/whl/cu118
注意这个过程需要安装一个约2.6G左右的文件,时间可能会久一些。出现提示Successfully installed。。。一大串信息就表明安装成功了。
3、配置ffmpeg
首先打开ffmpeg官网:https://ffmpeg.org/download.html,*载下**对应系统的文件,这里以Windows为例


将压缩包*载下**到本地电脑上解压,然后打开bin文件夹,复制路径,

然后鼠标右键点击我的电脑-属性-高级系统设置-环境变量-选中Path点击编辑-新建,然后在输入框内输入上面的文件夹路径,然后确定。

这时在cmd里输入如下命令:
ffmpeg
出现ffmpeg详细信息就表示ffmpeg安装成功。
4、安装Microsoft C++ 生成工具
Windows系统需要安装Microsoft C++ 生成工具,链接:https://visualstudio.microsoft.com/zh-hans/visual-cpp-build-tools/
点击按钮【*载下**生成工具】,将应用程序*载下**到电脑上,然后运行安装。

开始安装的时候程序会自动*载下**一些文件,稍后就会进入程序选择界面,勾选【使用C++的桌面开发】和右侧【Windows 10 SDK】最上面的这个版本。

然后点击右下角【安装】按钮,注意硬盘容量。总共10GB多,*载下**并安装所需时间比较长。

5、安装git,克隆项目
git官网地址:https://git-scm.com/download

64位Windows版git程序文件链接:https://github.com/git-for-windows/git/releases/download/v2.41.0.windows.1/Git-2.41.0-64-bit*ex.e**
全部默认安装就可以,一直下一步,完成安装。
接下来克隆项目文件,以安装在D盘为例,打开D盘,在地址栏里输入cmd,回车,启动终端,在终端里输入如下命令,回车,
gitclonehttps://github.com/facebookresearch/audiocraft.git

6、安装项目依赖
打开audiocraft文件夹,在地址栏里输入cmd,回车,启动终端,运行如下命令。
pipinstall-e.

提示Successfully installed 。。。很长一大串信息就是安装完成了,然后再依次运行如下命令:
pipuninstall-yxformers
pipinstallxformers
pipinstallgradio
安装完成后audiocraft本地电脑部署就完成了,下面就可以运行使用该文本转音乐软件了。
继续在上面的终端里输入如下命令运行,也就是在audiocraft这个目录内,
pythonapp.py

看到输出URL信息后,复制链接地址,在浏览器里打开这个链接页面,Input Text里输入待合成音乐的描述词,如果是melody模式的话右侧File可以上传一个参考音乐,然后根据这段音乐生成新的音乐,也可以不上传直接由文本生成,其它模式的话只能由文本生成,模型越大对电脑配置要求越高。生成的音乐时长最大为120秒。

设置完后点击提交按钮就可以生成音乐了,首次生成音乐会先*载下**模型文件,如果*载下**失败的话就开全局科学上网。我的电脑显卡是2060 6G显存,在melody模式下生成了几段10秒的音频试了试,所耗时间大约在30-70秒之间,看样也不是必须16G显存才能玩,低配电脑也能玩。
也可以在huggingface上免费体验,链接:https://huggingface.co/spaces/facebook/MusicGen
Google colab 一键部署脚本链接:https://colab.research.google.com/drive/1NJ2XF9_E8sy-dT11OR46BBXwliC3meG5?usp=sharing
大家有感兴趣的可以去试试吧。
原文:https://dyss.top/1087