Starstruk Logo MarkStarstruk

2.0.230528

Chainlit/chainlit2.0.230528Jun 5, 2024by RVC-Boss

AI Summary

Major update introducing v2 model support, Crepe pitch detection, and advanced vocal/instrument separation models from UVR5. Includes enhancements for consonant protection, audio export formats, and random data augmentation during training.

Key Highlights

  • Added v2 model support.
  • Implemented Crepe pitch detection for fewer artifacts.
  • Added UVR5 dereverb and de-echo models for separation.
  • Enhanced protection for breath and voiceless consonants.
  • Added audio export format options.

Breaking Changes

  • Deprecated 32k model training.

New Features

  • v2 model support.
  • Crepe pitch detection support (crepe-full).
  • UVR5 models (dereverb, de-echo, MDX-Net, HP3).
  • Consonant and breath protection modes.
  • Audio export format options.
  • Audio volume envelope alignment.
  • Voice to small model extraction.
  • Random data augmentation (pitch, gender, eq, noise).

Full Release Notes

### 完整包 base package (已更新至最新版本 Has been updated to the latest version.)
https://huggingface.co/lj1995/VoiceConversionWebUI/resolve/main/RVC-beta.7z

### 0528v2 更新包 updated package
> 下过老完整包的用户可以只下更新包 Users that downloaded old base package can use the updated package.

见下方`Assets`, 解压到RVC根目录覆盖完整包下的一些文件 Unzip it in RVC root and replace some files of old version.

对比上个0428版本，划重点（Compared to the previous 0428 version, the most significant updates are）:
1、增加了v2版本模型支持 (Updated to v2 model)
2、保护呼吸、清辅音、齿音，削减电音 (Protect voiceless consonant and breath, less artifact)
3、增加crepe推理，音高哑音更少 (Crepe (deep-learning based method) pitch detect model supported)
4、人声伴奏分离新引入了UVR5中的去混响和去延迟模型 (Dereverb and de-echo model in UVR5 supported)

[Changelog English verison](https://github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI/blob/main/docs/Changelog_EN.md)

### 20230528更新
- 增加v2的jupyter notebook，韩文changelog，增加一些环境依赖
- 增加呼吸、清辅音、齿音保护模式
- 支持crepe-full推理
- UVR5人声伴奏分离加上3个去延迟模型和MDX-Net去混响模型，增加HP3人声提取模型
- 索引名称增加版本和实验名称
- 人声伴奏分离、推理批量导出增加音频导出格式选项
- 废弃32k模型的训练

todolist：
- 特征检索增加时序维度
- 特征检索增加pre-kmeans可选项
- 特征检索增加PCAR降维可选项
- 支持onnx推理（附带仅推理的小压缩包）
- 训练时在音高、gender、eq、噪声等方面对输入进行随机增强
- 补全v2版本的48k预训练模型

### 20230513更新
- 清除一键包内部老版本runtime内残留的infer_pack和uvr5_pack
- 修复训练集预处理伪多进程的bug
- 增加harvest识别音高可选通过中值滤波削弱哑音现象，可调整中值滤波半径
- 导出音频增加后处理重采样
- 训练n_cpu进程数从"仅调整f0提取"改为"调整数据预处理和f0提取"
- 自动检测logs文件夹下的index路径，提供下拉列表功能
- tab页增加"常见问题解答"（也可参考github-rvc-wiki）
- 相同路径的输入音频推理增加了音高缓存（用途：使用harvest音高提取，整个pipeline会经历漫长且重复的音高提取过程，如果不使用缓存，实验不同音色、索引、音高中值滤波半径参数的用户在第一次测试后的等待结果会非常痛苦）

### 20230514更新
- 音量包络对齐输入混合（可以缓解“输入静音输出小幅度噪声”的问题。如果输入音频背景底噪大则不建议开启，默认不开启（值为1可视为不开启））
- 支持按照指定频率保存提取的小模型（假如你想尝试不同epoch下的推理效果，但是不想保存所有大checkpoint并且每次都要ckpt手工处理提取小模型，这项功能会非常实用）
- 通过设置环境变量解决服务端开了系统全局代理导致浏览器连接错误的问题
- 支持v2预训练模型（目前只公开了40k版本进行测试，另外2个采样率还没有训练完全）
- 推理前限制超过1的过大音量
- 微调数据预处理参数