NEUTRINO:修订间差异
更多语言
更多操作
小 文字替换 -“音声合成引擎”替换为“音声合成软件” |
无编辑摘要 |
||
| (未显示同一用户的2个中间版本) | |||
| 第1行: | 第1行: | ||
[[File:Neutrino logo dark.svg|无框|居中]] |
[[File:Neutrino logo dark.svg|无框|居中]] |
||
{{ |
{{信息栏 |
||
|软件名=NEUTRINO |
|软件名=NEUTRINO |
||
|image=Neutrino-icon.png |
|image=Neutrino-icon.png |
||
| 第21行: | 第21行: | ||
{{时间线 |
{{时间线 |
||
|2019年 |
|2019年 |
||
|in2019年12月3日 |
|in2019年12月3日::SHACHI在他的推特中上传了他用自己开发的引擎所合成的音声的片段。 |
||
|2020年 |
|2020年 |
||
|in2020年1月27日 |
|in2020年1月27日::SHACHI表示已将合成引擎转换成C++,并预告将会把引擎从Linux(Ubuntu)移植到Windows上。 |
||
}} |
}} |
||
===v0.1x~0.3x=== |
===v0.1x~0.3x=== |
||
| 第29行: | 第29行: | ||
{{时间线 |
{{时间线 |
||
|2020年 |
|2020年 |
||
|in2020年2月22日 |
|in2020年2月22日::名为[[SHACHI]]的nico用户发布演示demo与NEUTRINO正式版本v0.101,内含[[东北切蒲英]]与[[谣子]]音源模型。 |
||
|in2020年2月29日 |
|in2020年2月29日::更新v0.102,公开Linux版引擎。 |
||
|in2020年3月7日 |
|in2020年3月7日::更新v0.103,并公开macOS版引擎。 |
||
|in2020年3月20日 |
|in2020年3月20日::发布v0.200α,添加随机生成(-r),解决了气噪声和时序估计错误的问题。v0.2x开始,加入了新的合成模型-NSF(之前只有WORLD引擎【仅仅是一个音素提取模型】),在使用NSF合成时'''还需要支持CUDA的NVIDIA显卡'''(macOS版本因环境上不支持NVIDIA显卡而无法使用NSF)。为切蒲英训练了NSF的新声库。 |
||
|in2020年3月22日 |
|in2020年3月22日::发布了在线版(online),Google Drive与Colab互联后就能直接进行合成并输出。NSF添加到了在线版中。Linux版也集成到了在线版中。 |
||
|in2020年4月10日 |
|in2020年4月10日::更新v0.200β,为谣子训练了NSF的新声库。NSF添加到了Windows版中,并将NSF的输入输出与其他模块统一。 |
||
|in2020年4月17日 |
|in2020年4月17日::更新v0.200正式版,修复了NSF相关的问题,并添加了运行NSF相关的Visual Studio运行库。 |
||
|in2020年4月20日 |
|in2020年4月20日::更新MacOS版本,但NSF的移植被搁置。 |
||
|in2020年5月29日 |
|in2020年5月29日::发布v0.300<ref>{{cite web |url=https://n3utrino.work/655 |title=Version.0.3系アップデート |author=SNACHI |date=2020-07-07 |publisher=NEUTRINO |access-date=2021-07-07 |archive-url=https://archive.is/NCpfo |archive-date=2021-07-07 |dead-url=no |quote= }}</ref>,加入了新的音源模型-JSUT。v0.3x起,提高了引擎的渲染速度和模型的加载速度,GPU优化加速快了4倍,(macOS版本的GPU支持和NSF移植被暂停) |
||
|in2020年6月22日 |
|in2020年6月22日::更新v0.310,重新在[[东北切蒲英]]与[[谣子]]和JSUT的音源数据集上训练NSF。改善了模型加载,并不再支持以前的模型。 |
||
|in2020年7月7日 |
|in2020年7月7日::[[东北伊达子]]音源数据库制作<ref>{{cite web |url=https://greenfunding.jp/pub/projects/3891 |title=東北イタコは歌いたい!しゃべりたい!東北イタコ音声合成データベース制作プロジェクト |author=東北ずん子 |publisher=greenfunding.jp |date=2020-07-07 |access-date=2021-07-07 |archive-url=https://archive.is/bSz6B |archive-date=2021-07-07 |dead-url=no |quote= }}</ref>,仅仅两天就完成众筹目标。 |
||
|in2020年7月10日 |
|in2020年7月10日::发布v0.320,加快了GPU上运行的速度,并添加了样式转换选项(-k)。 |
||
}} |
}} |
||
| 第47行: | 第47行: | ||
{{时间线 |
{{时间线 |
||
|2020年 |
|2020年 |
||
|in2020年9月18日 |
|in2020年9月18日::发布v0.400<ref>{{cite web |url=https://n3utrino.work/692 |title=Version.0.4系アップデート |author=SNACHI |publisher=NEUTRINO |date=2020-07-04 |access-date=2020-07-07 |archive-url=https://archive.is/24jFY |archive-date=2020-07-07 |dead-url=no |quote= }}</ref>,增加[[东北伊达子]]音源,既有音源品质改善,NSF提升采样率(24khz->32khz)。从这一版本开始系统默认压缩包只包括切蒲英的音源,其他音源需要另行下载。 |
||
|in2020年11月11日 |
|in2020年11月11日::发布v0.411,再次提升采样率(32khz->48khz),优化高频噪音,提高质量优化时序。 |
||
|in2020年12月09日 |
|in2020年12月09日::更新v0.412。 |
||
|in2020年12月24日 |
|in2020年12月24日::发布v0.420,增加音源(Merrow)<ref>{{cite web |url=https://n3utrino.work/862 |title=イラスト・設定資料 |author=SNACHI |publisher=NEUTRINO |date=2021-07-04 |access-date=2021-07-07 |archive-url=https://archive.is/Rzg5f |archive-date=2021-07-07 |dead-url=no |quote= }}</ref>。 |
||
|2021年 |
|2021年 |
||
|in2021年1月29日 |
|in2021年1月29日::更新v0.422版本,重新兼容macOS(Apple Silicon)。 |
||
|in2021年3月29日 |
|in2021年3月29日::发布v0.430,呼吸声优化。 |
||
|in2021年4月21日 |
|in2021年4月21日::[[小岩井小鸟]]录制了50首歌曲,交付给大学开放研究<ref>{{cite web |url=https://dtmstation.com/archives/34636.html |title=小岩井ことりさん作詞・作曲・歌唱のDB公開で、AI歌声合成の民主化へ躍進。NEUTRINOの新キャラクタ『No.7』がリリースへ |author=藤本健 |publisher=DTMステーション |date=2021-04-21 |access-date=2021-07-07 |archive-url=https://archive.is/ihrpE |archive-date=2021-07-07 |dead-url=no |quote= }}</ref>,将在NEUTRINO作为[[SEVEN(虚拟歌手)|SEVEN]]出道。 |
||
|in2021年4月23日 |
|in2021年4月23日::发布v0.431,增加音源(NAKUMO)<ref>{{cite web |url=https://n3utrino.work/692 |title=Version.0.4系アップデート |author=SNACHI |publisher=NEUTRINO |date=2021-07-04 |access-date=2021-07-07 |archive-url=https://archive.is/24jFY |archive-date=2021-07-07 |dead-url=no |quote=歌声ライブラリ(ナクモ)を追加しました。 }}</ref> |
||
|in2021年6月21日 |
|in2021年6月21日::面向赞助者的[[东北俊子]]音源公开。7月5日,东北俊子音源完全公开。7月7日,SEVEN音源完全公开<ref>{{cite web |url=https://www.dtmstation.com/archives/36984.html |title=小岩井ことりさんの歌声を人工知能で完全に実現!? 本人も自分そのものと認めるソフト完成への裏舞台 |author=藤本健 |publisher=DTMステーション |date=2021-07-07 |access-date=2021-07-07 |archive-url=https://archive.is/Dnskq |archive-date=2021-07-07 |dead-url=no |quote= }}</ref> |
||
|in2021年10月1日 |
|in2021年10月1日::发布v0.500β,更新了所有的声库,并不再兼容0.431之前版本的声库。本版本开始,默认声库由切蒲英更改为Merrow。 |
||
|in2021年11月15日 |
|in2021年11月15日::发布v0.510,可以微调WORLD(β版本)的平滑选项,支持日英双语显示错误信息,并将未定义或不包含歌词的音符改为生成静音片段。 |
||
|2022年 |
|2022年 |
||
|in2022年2月10日 |
|in2022年2月10日::发布v0.540,更新NSF版本,现可在CPU/GPU上合成NSF,并在Windows、MacOS和在线版本上使用。 |
||
|in2022年3月25日 |
|in2022年3月25日::发布v0.551,提高了引擎的估计精度,修复了NSF在MacOS上的错误。 |
||
}} |
}} |
||
| 第67行: | 第67行: | ||
{{时间线 |
{{时间线 |
||
|2022年 |
|2022年 |
||
|in2022年4月22日 |
|in2022年4月22日::v1.0.0发布。项目更名为Neutrino Electron。规格和操作已经稳定,因此作为正式版发布。同时注册了Niconico Commons和PIXIV FANBOX。 |
||
|in2022年6月8日 |
|in2022年6月8日::v1.1.0发布,提高了NSF合成质量,改进了NSF框架。不再兼容之前的语音库。 |
||
|in2022年8月1日 |
|in2022年8月1日::v1.2.0发布。 |
||
|in2022年10月14日 |
|in2022年10月14日::更新v1.2.1。 |
||
|in2022年11月15日 |
|in2022年11月15日::v1.3.0发布,提高了NSF在GPU上的运行速度,并支持多GPU。 |
||
}} |
}} |
||
| 第77行: | 第77行: | ||
{{时间线 |
{{时间线 |
||
|2023年 |
|2023年 |
||
|in2023年4月28日 |
|in2023年4月28日::v2.0.0发布。项目更名为Neutrino Diffusion Muon。 |
||
|in2023年6月16日 |
|in2023年6月16日::v2.1.0发布。提高f0和WORLD的精度,更新onnx runtime框架的版本。 |
||
|in2023年7月14日 |
|in2023年7月14日::v2.2.0发布。更改了NSF和WORLD的输出音量。 |
||
|in2023年10月27日 |
|in2023年10月27日::v2.3.0发布。更新Merrow,GPU版本的一些操作从CPU改为GPU。 |
||
|in2023年10月30日 |
|in2023年10月30日::更新v2.3.1,12月16日更新v2.3.2。 |
||
|2024年 |
|2024年 |
||
|in2024年1月12日 |
|in2024年1月12日::v2.4.0发布。 |
||
|in2024年3月13日 |
|in2024年3月13日::v2.5.0发布,更新了CUDA版本,默认声库增加了Nakumo。 |
||
|in2024年5月10日 |
|in2024年5月10日::更新v2.5.1。 |
||
|in2024年9月20日 |
|in2024年9月20日::v2.6.0发布。 |
||
|in2024年10月11日 |
|in2024年10月11日::更新v2.6.1。 |
||
}} |
}} |
||
2025年10月26日 (日) 18:53的最新版本
| NEUTRINO | ||
| 软件名 | NEUTRINO | |
| 开发者 | SHACHI | |
| 操作系统 | Windows / Linux / macOS(M1芯片) / 线上(基于Google Colab) | |
| 软件类型 | 唱歌合成,语音合成 | |
| 初始版本 | v0.101(2020年2月22日) | |
| 目前版本 | v2.6.1(2024年10月11日) | |
NEUTRINO是由SHACHI开发的免费歌声合成器。它基于音频合成深度学习模型(例如WaveNet,WaveRNN)与Morise开发的NSF来完成合成唱歌任务。
2023年,NEUTRINO v1.0.0发布,项目更名为NEUTRINO Electron。
2024年,NEUTRINO v2.0.0发布,项目更名为NEUTRINO Diffusion Muon。
据官方推特,此软件的名称(软件直译:中微子)来源于一个“希望能开拓未曾听说过的乐曲与流派”的想法。
发展历程
2019年 | ||
|---|---|---|
| 12月3日 | SHACHI在他的推特中上传了他用自己开发的引擎所合成的音声的片段。 | |
2020年 | ||
| 1月27日 | SHACHI表示已将合成引擎转换成C++,并预告将会把引擎从Linux(Ubuntu)移植到Windows上。 | |
v0.1x~0.3x
v0.1x~0.3x是项目的α测试阶段,按顺序实现了基本功能。
2020年 | ||
|---|---|---|
| 2月22日 | 名为SHACHI的nico用户发布演示demo与NEUTRINO正式版本v0.101,内含东北切蒲英与谣子音源模型。 | |
| 2月29日 | 更新v0.102,公开Linux版引擎。 | |
| 3月7日 | 更新v0.103,并公开macOS版引擎。 | |
| 3月20日 | 发布v0.200α,添加随机生成(-r),解决了气噪声和时序估计错误的问题。v0.2x开始,加入了新的合成模型-NSF(之前只有WORLD引擎【仅仅是一个音素提取模型】),在使用NSF合成时还需要支持CUDA的NVIDIA显卡(macOS版本因环境上不支持NVIDIA显卡而无法使用NSF)。为切蒲英训练了NSF的新声库。 | |
| 3月22日 | 发布了在线版(online),Google Drive与Colab互联后就能直接进行合成并输出。NSF添加到了在线版中。Linux版也集成到了在线版中。 | |
| 4月10日 | 更新v0.200β,为谣子训练了NSF的新声库。NSF添加到了Windows版中,并将NSF的输入输出与其他模块统一。 | |
| 4月17日 | 更新v0.200正式版,修复了NSF相关的问题,并添加了运行NSF相关的Visual Studio运行库。 | |
| 4月20日 | 更新MacOS版本,但NSF的移植被搁置。 | |
| 5月29日 | 发布v0.300[1],加入了新的音源模型-JSUT。v0.3x起,提高了引擎的渲染速度和模型的加载速度,GPU优化加速快了4倍,(macOS版本的GPU支持和NSF移植被暂停) | |
| 6月22日 | 更新v0.310,重新在东北切蒲英与谣子和JSUT的音源数据集上训练NSF。改善了模型加载,并不再支持以前的模型。 | |
| 7月7日 | 东北伊达子音源数据库制作[2],仅仅两天就完成众筹目标。 | |
| 7月10日 | 发布v0.320,加快了GPU上运行的速度,并添加了样式转换选项(-k)。 | |
v0.4x~0.5x
β测试阶段的v0.4x增加了声库数量,而v0.5x提升了质量和功能。
2020年 | ||
|---|---|---|
| 9月18日 | 发布v0.400[3],增加东北伊达子音源,既有音源品质改善,NSF提升采样率(24khz->32khz)。从这一版本开始系统默认压缩包只包括切蒲英的音源,其他音源需要另行下载。 | |
| 11月11日 | 发布v0.411,再次提升采样率(32khz->48khz),优化高频噪音,提高质量优化时序。 | |
| 12月09日 | 更新v0.412。 | |
| 12月24日 | 发布v0.420,增加音源(Merrow)[4]。 | |
2021年 | ||
| 1月29日 | 更新v0.422版本,重新兼容macOS(Apple Silicon)。 | |
| 3月29日 | 发布v0.430,呼吸声优化。 | |
| 4月21日 | 小岩井小鸟录制了50首歌曲,交付给大学开放研究[5],将在NEUTRINO作为SEVEN出道。 | |
| 4月23日 | 发布v0.431,增加音源(NAKUMO)[6] | |
| 6月21日 | 面向赞助者的东北俊子音源公开。7月5日,东北俊子音源完全公开。7月7日,SEVEN音源完全公开[7] | |
| 10月1日 | 发布v0.500β,更新了所有的声库,并不再兼容0.431之前版本的声库。本版本开始,默认声库由切蒲英更改为Merrow。 | |
| 11月15日 | 发布v0.510,可以微调WORLD(β版本)的平滑选项,支持日英双语显示错误信息,并将未定义或不包含歌词的音符改为生成静音片段。 | |
2022年 | ||
| 2月10日 | 发布v0.540,更新NSF版本,现可在CPU/GPU上合成NSF,并在Windows、MacOS和在线版本上使用。 | |
| 3月25日 | 发布v0.551,提高了引擎的估计精度,修复了NSF在MacOS上的错误。 | |
Neutrino Electron(v1.x)
2022年 | ||
|---|---|---|
| 4月22日 | v1.0.0发布。项目更名为Neutrino Electron。规格和操作已经稳定,因此作为正式版发布。同时注册了Niconico Commons和PIXIV FANBOX。 | |
| 6月8日 | v1.1.0发布,提高了NSF合成质量,改进了NSF框架。不再兼容之前的语音库。 | |
| 8月1日 | v1.2.0发布。 | |
| 10月14日 | 更新v1.2.1。 | |
| 11月15日 | v1.3.0发布,提高了NSF在GPU上的运行速度,并支持多GPU。 | |
Neutrino Diffusion Muon(v2.x)
2023年 | ||
|---|---|---|
| 4月28日 | v2.0.0发布。项目更名为Neutrino Diffusion Muon。 | |
| 6月16日 | v2.1.0发布。提高f0和WORLD的精度,更新onnx runtime框架的版本。 | |
| 7月14日 | v2.2.0发布。更改了NSF和WORLD的输出音量。 | |
| 10月27日 | v2.3.0发布。更新Merrow,GPU版本的一些操作从CPU改为GPU。 | |
| 10月30日 | 更新v2.3.1,12月16日更新v2.3.2。 | |
2024年 | ||
| 1月12日 | v2.4.0发布。 | |
| 3月13日 | v2.5.0发布,更新了CUDA版本,默认声库增加了Nakumo。 | |
| 5月10日 | 更新v2.5.1。 | |
| 9月20日 | v2.6.0发布。 | |
| 10月11日 | 更新v2.6.1。 | |
使用方法
运行要求
使用 GPU 进行合成需要 NVIDIA 制造的 CUDA 兼容 GPU。由于是深度学习应用,推荐使用搭载RTX显卡的计算机配置,或直接使用google colab版本。
Google Colab
Google Colaboratory(以下简称 Colab)是一项网络服务,可让您在浏览器上运行 Google 的云 PC。
首次运行时可能会很慢,但之后再运行就会变得很快。
- 下载并解压缩 NEUTRINO(在线版)
- 转到 Google Drive
- 在 My Drive 中创建一个“Colab Notebooks”文件夹,并复制您刚刚解压缩的 NEUTRINO。
- 转到 NEUTRINO 文件夹,右键单击它,选择“更多”→“添加应用程序”。
- 搜索 “Colaboratory” 并添加它。
- 右键单击 NEUTRINO 文件夹中的“NEUTRINO.ipynb”→在“Google Colaboratory”中打开笔记本→“在应用程序中打开”。
- 在屏幕顶部的菜单中打开 notebook 设置→ “Runtime” “Change runtime type”。 确保选择 GPU 进行硬件加速。
- 按单元格左侧显示的 [] 或 play 按钮以执行它。如果您看到用于对用户进行身份验证的链接,请单击该链接进行身份验证。 将显示验证码,因此请将其复制并粘贴到其中。
- 之后,如果按顺序执行,音频将在 NEUTRINO/output 下方输出。
- 如果您想使用自己的 MusicXML,请将其上传到 score/musicxml 文件夹,更改 BASENAME,然后再次执行数字 4。
- 如果要使用在本地 PC 上创建的声学特征文件 (mel-spec, f0) 或标签文件,请按原样上传乐谱文件夹和输出文件夹,更改 BASENAME,然后再次执行编号 5 的 NSF。*请注意,如果您移动数字 4,它将被覆盖!
Linux
在线版本也可以在本地 PC 上的 Ubuntu 上运行。
- 安装 Ubuntu (20.04 LTS)
- 安装 gcc
- 安装最新的 nvidia-driver
- 安装 CUDA 工具包CUDA 工具包 12.3 或更高版本(适用于 NEUTRINO Diffusion v2.5 或更高版本CUDA 工具包 11.8)CUDA 工具包(适用于 NEUTRINO Diffusion v2.4 或更早版本)
- 为您的 CUDA 工具包版本安装 cuDNN
- 下载并解压 NEUTRINO (在线版)
- 使用 chmod 命令更改权限,等等。
- 导航到 NEUTRINO 文件夹并运行 Run.sh
- 如果 sample1.wav/sample1_world.wav 在 output 下输出,则表示工作正常。
Windows
(多人正在开发分支,详情见官方推特相关)
首先需要用制谱软件(如自由软件MuseScore)来创建一个乐谱文件并加上歌词。注意,呼吸符号(∨)有着重要的意义,把呼吸符号和促音“っ”叠放的话,会更容易发出稳定的声音。还有,四分以下的休止符要尽可能少一些。歌词用全角平假名、片假名输入,一个音符最好只输入一个元音。
然后导出MusicXML文件,将其拖入NEUTRINO\score\musicxml文件夹中之后,返回NEUTRINO根目录,用记事本打开Run.bat,将set BASENAME=之后的文字改成导出的MusicXML的文件名,将set ModelDir=后改成欲使用的歌手,之后保存退出,再直接运行Run.bat,耐心等候,当命令行窗口自动关闭后,便可在Output文件夹中找到合成出的WAV文件。
最后再将导出的文件用根据所需在第三方软件(如WaveSurfer、Melodyne)中进行修音以及其他调整。
| ||||||||||||||
| |||||||||||||
相关链接
- ↑ SNACHI. Version.0.3系アップデート. NEUTRINO. 2020-07-07 [引用时间: 2021-07-07]. (原始内容存档于2021-07-07).
- ↑ 東北ずん子. 東北イタコは歌いたい!しゃべりたい!東北イタコ音声合成データベース制作プロジェクト. greenfunding.jp. 2020-07-07 [引用时间: 2021-07-07]. (原始内容存档于2021-07-07).
- ↑ SNACHI. Version.0.4系アップデート. NEUTRINO. 2020-07-04 [引用时间: 2020-07-07]. (原始内容存档于2020-07-07).
- ↑ SNACHI. イラスト・設定資料. NEUTRINO. 2021-07-04 [引用时间: 2021-07-07]. (原始内容存档于2021-07-07).
- ↑ 藤本健. 小岩井ことりさん作詞・作曲・歌唱のDB公開で、AI歌声合成の民主化へ躍進。NEUTRINOの新キャラクタ『No.7』がリリースへ. DTMステーション. 2021-04-21 [引用时间: 2021-07-07]. (原始内容存档于2021-07-07).
- ↑ SNACHI. Version.0.4系アップデート. NEUTRINO. 2021-07-04 [引用时间: 2021-07-07]. (原始内容存档于2021-07-07).
歌声ライブラリ(ナクモ)を追加しました。
- ↑ 藤本健. 小岩井ことりさんの歌声を人工知能で完全に実現!? 本人も自分そのものと認めるソフト完成への裏舞台. DTMステーション. 2021-07-07 [引用时间: 2021-07-07]. (原始内容存档于2021-07-07).
- ↑ SNACHI. オンライン版の使い方. NEUTRINO. 2021-03-28 [引用时间: 2021-07-07]. (原始内容存档于2021-07-07).
- ↑ 木三聿. 如何使用NEUTRINO软件v0.2?. 知乎. 2020-04-29 [引用时间: 2021-07-07]. (原始内容存档于2021-07-07).