NEUTRINO
更多语言
更多操作
NEUTRINO是由SHACHI开发的免费歌声合成器。它基于音频合成深度学习模型（例如WaveNet，WaveRNN）与Morise开发的NSF来完成合成唱歌任务。
2023年，NEUTRINO v1.0.0发布，项目更名为NEUTRINO Electron。
2024年，NEUTRINO v2.0.0发布，项目更名为NEUTRINO Diffusion Muon。
据官方推特，此软件的名称（软件直译：中微子）来源于一个“希望能开拓未曾听说过的乐曲与流派”的想法。
发展历程
2019年 | ||
|---|---|---|
2020年 |
v0.1x~0.3x
v0.1x~0.3x是项目的α测试阶段，按顺序实现了基本功能。
2020年 |
|---|
v0.4x~0.5x
β测试阶段的v0.4x增加了声库数量，而v0.5x提升了质量和功能。
2020年 | ||
|---|---|---|
2021年 | ||
2022年 |
Neutrino Electron（v1.x）
2022年 |
|---|
Neutrino Diffusion Muon（v2.x）
2023年 | ||
|---|---|---|
2024年 |
使用方法
运行要求
使用 GPU 进行合成需要 NVIDIA 制造的 CUDA 兼容 GPU。由于是深度学习应用，推荐使用搭载RTX显卡的计算机配置，或直接使用google colab版本。
Google Colab
Google Colaboratory（以下简称 Colab）是一项网络服务，可让您在浏览器上运行 Google 的云 PC。
首次运行时可能会很慢，但之后再运行就会变得很快。
- 下载并解压缩 NEUTRINO（在线版）
- 转到 Google Drive
- 在 My Drive 中创建一个“Colab Notebooks”文件夹，并复制您刚刚解压缩的 NEUTRINO。
- 转到 NEUTRINO 文件夹，右键单击它，选择“更多”→“添加应用程序”。
- 搜索 “Colaboratory” 并添加它。
- 右键单击 NEUTRINO 文件夹中的“NEUTRINO.ipynb”→在“Google Colaboratory”中打开笔记本→“在应用程序中打开”。
- 在屏幕顶部的菜单中打开 notebook 设置→ “Runtime” “Change runtime type”。 确保选择 GPU 进行硬件加速。
- 按单元格左侧显示的 [] 或 play 按钮以执行它。如果您看到用于对用户进行身份验证的链接，请单击该链接进行身份验证。 将显示验证码，因此请将其复制并粘贴到其中。
- 之后，如果按顺序执行，音频将在 NEUTRINO/output 下方输出。
- 如果您想使用自己的 MusicXML，请将其上传到 score/musicxml 文件夹，更改 BASENAME，然后再次执行数字 4。
- 如果要使用在本地 PC 上创建的声学特征文件 （mel-spec， f0） 或标签文件，请按原样上传乐谱文件夹和输出文件夹，更改 BASENAME，然后再次执行编号 5 的 NSF。*请注意，如果您移动数字 4，它将被覆盖！
Linux
在线版本也可以在本地 PC 上的 Ubuntu 上运行。
- 安装 Ubuntu （20.04 LTS）
- 安装 gcc
- 安装最新的 nvidia-driver
- 安装 CUDA 工具包CUDA 工具包 12.3 或更高版本（适用于 NEUTRINO Diffusion v2.5 或更高版本CUDA 工具包 11.8）CUDA 工具包（适用于 NEUTRINO Diffusion v2.4 或更早版本）
- 为您的 CUDA 工具包版本安装 cuDNN
- 下载并解压 NEUTRINO （在线版）
- 使用 chmod 命令更改权限，等等。
- 导航到 NEUTRINO 文件夹并运行 Run.sh
- 如果 sample1.wav/sample1_world.wav 在 output 下输出，则表示工作正常。
Windows
（多人正在开发分支，详情见官方推特相关）
首先需要用制谱软件（如自由软件MuseScore）来创建一个乐谱文件并加上歌词。注意，呼吸符号（∨）有着重要的意义，把呼吸符号和促音“っ”叠放的话，会更容易发出稳定的声音。还有，四分以下的休止符要尽可能少一些。歌词用全角平假名、片假名输入，一个音符最好只输入一个元音。
然后导出MusicXML文件，将其拖入NEUTRINO\score\musicxml文件夹中之后，返回NEUTRINO根目录，用记事本打开Run.bat，将set BASENAME=之后的文字改成导出的MusicXML的文件名，将set ModelDir=后改成欲使用的歌手，之后保存退出，再直接运行Run.bat，耐心等候，当命令行窗口自动关闭后，便可在Output文件夹中找到合成出的WAV文件。
最后再将导出的文件用根据所需在第三方软件（如WaveSurfer、Melodyne）中进行修音以及其他调整。
| ||||||||||||||
| |||||||||||||
相关链接
- ↑ SNACHI. Version.0.3系アップデート. NEUTRINO. 2020-07-07 [引用时间: 2021-07-07]. （原始内容存档于2021-07-07）.
- ↑ 东北ずん子. 东北イタコは歌いたい！しゃべりたい！东北イタコ音声合成データベース制作プロジェクト. greenfunding.jp. 2020-07-07 [引用时间: 2021-07-07]. （原始内容存档于2021-07-07）.
- ↑ SNACHI. Version.0.4系アップデート. NEUTRINO. 2020-07-04 [引用时间: 2020-07-07]. （原始内容存档于2020-07-07）.
- ↑ SNACHI. イラスト·设定资料. NEUTRINO. 2021-07-04 [引用时间: 2021-07-07]. （原始内容存档于2021-07-07）.
- ↑ 藤本健. 小岩井ことりさん作词·作曲·歌唱のDB公开で、AI歌声合成の民主化へ跃进。NEUTRINOの新キャラクタ『No.7』がリリースへ. DTMステーション. 2021-04-21 [引用时间: 2021-07-07]. （原始内容存档于2021-07-07）.
- ↑ SNACHI. Version.0.4系アップデート. NEUTRINO. 2021-07-04 [引用时间: 2021-07-07]. （原始内容存档于2021-07-07）.
歌声ライブラリ（ナクモ）を追加しました。
- ↑ 藤本健. 小岩井ことりさんの歌声を人工知能で完全に实现!? 本人も自分そのものと认めるソフト完成への里舞台. DTMステーション. 2021-07-07 [引用时间: 2021-07-07]. （原始内容存档于2021-07-07）.
- ↑ SNACHI. オンライン版の使い方. NEUTRINO. 2021-03-28 [引用时间: 2021-07-07]. （原始内容存档于2021-07-07）.
- ↑ 木三聿. 如何使用NEUTRINO软件v0.2？. 知乎. 2020-04-29 [引用时间: 2021-07-07]. （原始内容存档于2021-07-07）.