VoiceConversion.jl を作る前に、統計的声質変換の実験に使っていたコードです。僕のお遊び用です。信号処理バックエンドはGo、モデルの学習、変換はPythonで書いていました。VoiceConversion.jlのほうが色々改善されていますが、このコードも役に立つこともあるのかなぁと思いながら、とりあえずアゲてみました。
- [Go] Feature extraction from speech signals
- [Go] Parallel data generation
- [Python] Model training
- [Python] Speech paramter conversion
- [Go] Waveform generation
すべてをフルスクラッチで書くのは大変なので、楽をするために、信号処理のバックエンドにはSPTKとWORLDを使っています。Cで書きたくなかったので、Goでラップしたものを使っていました。
学術的な新しさはありませんので、ご了承ください。
gostav/extact_mcep.go を使って、wavファイルからWORLDベースのメルケプストラムを抽出します。scripts/extract_mcep.py を使えばOK
例.
python extract.py --src_dir=~/data/cmu_arctic/cmu_us_clb_arctic/wav --dst_dir=~/data/vc/clb
python extract.py --src_dir=~/data/cmu_arctic/cmu_us_slt_arctic/wav --dst_dir=~/data/vc/sltデータはJSONで出力されます。フォーマットは、コード参照（おぼえてない）
gostav/align.goを使って、DPマッチングを行います。scripts/parallel.pyを使えばOK。
python parallel.py --src_dir=~/data/vc/clb --tgt_dir=~/data/vc/slt --dst_dir=~/data/vc/clb_to_slb --diff
diffとつけると、差分特徴量として、パラレルデータを保存されます（これ設計が悪い、本当は学習時に、差分特徴にするか選択出来たほうがよい。VoiceConversion.jlではそうしました）
パラレルデータもJSONで出力されます。フォーマットは、コード見てくださいおねがいします
GMMのみサポート
python train.py --conf recipes/settings.yaml
学習条件は、yamlで書けるようにしていました。しばらく待つと、デフォルトの設定では gmm_clb_to_slt.pklというファイルにGMMのパラメータが保存されます。
学習したGMMを元に、メルケプストラムを変換します。
python vc.py --gmm gmm_clb_to_slt.pkl ~/data/vc/clb/arctic_a0028.json converted.json
convered.json に変換後のパラメータが出力されます。
python diff_synthesis.py --input ~/data/cmu_arctic/cmu_us_clb_arctic/wav/arctic_a0028.wav --mcep converted.json
converted.wav ができるので、聴いてみる。
以上、適当に覚えてることを書いてみました。