NEUTRINO
更多語言
更多操作
NEUTRINO是由SHACHI開發的免費歌聲合成器。它基於音頻合成深度學習模型（例如WaveNet，WaveRNN）與Morise開發的NSF來完成合成唱歌任務。
2023年，NEUTRINO v1.0.0發布，項目更名為NEUTRINO Electron。
2024年，NEUTRINO v2.0.0發布，項目更名為NEUTRINO Diffusion Muon。
據官方推特，此軟件的名稱（軟件直譯：中微子）來源於一個「希望能開拓未曾聽說過的樂曲與流派」的想法。
發展歷程
2019年 | ||
|---|---|---|
2020年 |
v0.1x~0.3x
v0.1x~0.3x是項目的α測試階段，按順序實現了基本功能。
2020年 |
|---|
v0.4x~0.5x
β測試階段的v0.4x增加了聲庫數量，而v0.5x提升了質量和功能。
2020年 | ||
|---|---|---|
2021年 | ||
2022年 |
Neutrino Electron（v1.x）
2022年 |
|---|
Neutrino Diffusion Muon（v2.x）
2023年 | ||
|---|---|---|
2024年 |
使用方法
運行要求
使用 GPU 進行合成需要 NVIDIA 製造的 CUDA 兼容 GPU。由於是深度學習應用，推薦使用搭載RTX顯卡的計算機配置，或直接使用google colab版本。
Google Colab
Google Colaboratory（以下簡稱 Colab）是一項網絡服務，可讓您在瀏覽器上運行 Google 的雲 PC。
首次運行時可能會很慢，但之後再運行就會變得很快。
- 下載並解壓縮 NEUTRINO（在線版）
- 轉到 Google Drive
- 在 My Drive 中創建一個「Colab Notebooks」文件夾，並複製您剛剛解壓縮的 NEUTRINO。
- 轉到 NEUTRINO 文件夾，右鍵單擊它，選擇「更多」→「添加應用程式」。
- 搜索 「Colaboratory」 並添加它。
- 右鍵單擊 NEUTRINO 文件夾中的「NEUTRINO.ipynb」→在「Google Colaboratory」中打開筆記本→「在應用程式中打開」。
- 在屏幕頂部的菜單中打開 notebook 設置→ 「Runtime」 「Change runtime type」。 確保選擇 GPU 進行硬件加速。
- 按單元格左側顯示的 [] 或 play 按鈕以執行它。如果您看到用於對用戶進行身份驗證的連結，請單擊該連結進行身份驗證。 將顯示驗證碼，因此請將其複製並粘貼到其中。
- 之後，如果按順序執行，音頻將在 NEUTRINO/output 下方輸出。
- 如果您想使用自己的 MusicXML，請將其上傳到 score/musicxml 文件夾，更改 BASENAME，然後再次執行數字 4。
- 如果要使用在本地 PC 上創建的聲學特徵文件 （mel-spec， f0） 或標籤文件，請按原樣上傳樂譜文件夾和輸出文件夾，更改 BASENAME，然後再次執行編號 5 的 NSF。*請注意，如果您移動數字 4，它將被覆蓋！
Linux
在線版本也可以在本地 PC 上的 Ubuntu 上運行。
- 安裝 Ubuntu （20.04 LTS）
- 安裝 gcc
- 安裝最新的 nvidia-driver
- 安裝 CUDA 工具包CUDA 工具包 12.3 或更高版本（適用於 NEUTRINO Diffusion v2.5 或更高版本CUDA 工具包 11.8）CUDA 工具包（適用於 NEUTRINO Diffusion v2.4 或更早版本）
- 為您的 CUDA 工具包版本安裝 cuDNN
- 下載並解壓 NEUTRINO （在線版）
- 使用 chmod 命令更改權限，等等。
- 導航到 NEUTRINO 文件夾並運行 Run.sh
- 如果 sample1.wav/sample1_world.wav 在 output 下輸出，則表示工作正常。
Windows
（多人正在開發分支，詳情見官方推特相關）
首先需要用制譜軟件（如自由軟件MuseScore）來創建一個樂譜文件並加上歌詞。注意，呼吸符號（∨）有着重要的意義，把呼吸符號和促音「っ」疊放的話，會更容易發出穩定的聲音。還有，四分以下的休止符要儘可能少一些。歌詞用全形平假名、片假名輸入，一個音符最好只輸入一個元音。
然後導出MusicXML文件，將其拖入NEUTRINO\score\musicxml文件夾中之後，返回NEUTRINO根目錄，用記事本打開Run.bat，將set BASENAME=之後的文字改成導出的MusicXML的文件名，將set ModelDir=後改成欲使用的歌手，之後保存退出，再直接運行Run.bat，耐心等候，當命令行窗口自動關閉後，便可在Output文件夾中找到合成出的WAV文件。
最後再將導出的文件用根據所需在第三方軟件（如WaveSurfer、Melodyne）中進行修音以及其他調整。
| ||||||||||||||
| |||||||||||||
相關連結
- ↑ SNACHI. Version.0.3系アップデート. NEUTRINO. 2020-07-07 [引用時間: 2021-07-07]. （原始內容存檔於2021-07-07）.
- ↑ 東北ずん子. 東北イタコは歌いたい！しゃべりたい！東北イタコ音聲合成データベース製作プロジェクト. greenfunding.jp. 2020-07-07 [引用時間: 2021-07-07]. （原始內容存檔於2021-07-07）.
- ↑ SNACHI. Version.0.4系アップデート. NEUTRINO. 2020-07-04 [引用時間: 2020-07-07]. （原始內容存檔於2020-07-07）.
- ↑ SNACHI. イラスト·設定資料. NEUTRINO. 2021-07-04 [引用時間: 2021-07-07]. （原始內容存檔於2021-07-07）.
- ↑ 藤本健. 小岩井ことりさん作詞·作曲·歌唱のDB公開で、AI歌聲合成の民主化へ躍進。NEUTRINOの新キャラクタ『No.7』がリリースへ. DTMステーション. 2021-04-21 [引用時間: 2021-07-07]. （原始內容存檔於2021-07-07）.
- ↑ SNACHI. Version.0.4系アップデート. NEUTRINO. 2021-07-04 [引用時間: 2021-07-07]. （原始內容存檔於2021-07-07）.
歌聲ライブラリ（ナクモ）を追加しました。
- ↑ 藤本健. 小岩井ことりさんの歌聲を人工知能で完全に實現!? 本人も自分そのものと認めるソフト完成への裏舞台. DTMステーション. 2021-07-07 [引用時間: 2021-07-07]. （原始內容存檔於2021-07-07）.
- ↑ SNACHI. オンライン版の使い方. NEUTRINO. 2021-03-28 [引用時間: 2021-07-07]. （原始內容存檔於2021-07-07）.
- ↑ 木三聿. 如何使用NEUTRINO軟件v0.2？. 知乎. 2020-04-29 [引用時間: 2021-07-07]. （原始內容存檔於2021-07-07）.