音声の出力をmp3で行えるようにしてほしい。

[testused]

内容

MP3形式での出力ができるようになってほしい。
VOICEVOXはそもそも中音質なので、非圧縮のWAV形式で出力するより、
ほぼ音質が変わらずサイズをかなり抑えることができるMP3で出力できると
いいと思いました。

Pros 良くなる点

動画編集に必要な素材の容量を音声部分はかなり抑えることができる。

Cons 悪くなる点

特にないと思われる。

その他

はじめてissueを立てたので、間違っている場合は遠慮なく訂正していただけると助かります。

[Hiroshiba]

issue作成ありがとうございます！
たしかに、mp3のみならず、拡張子を指定可能にできると便利かもと思いました。

パッと思いつく方法はffmpegですが、容量がどうなるのか気になりました。
容量が増えすぎる場合は導入を見送りたいです。

そして今ぱっと配布パッケージを見てみたのですが、ffmpeg.dllというのがありました。
もしかしたら今使っているライブラリのうち誰かがffmpeg使ってるのかも･･･？

[sabonerune]

軽く調べたところffmpeg.dllを使っているのはElectron(エディタ側)みたいです。

[Hiroshiba]

へーー！！なるほどです。
流石にエンジンから利用しづらそうですね…。

実現する場合は、普通にffmpegを同梱してpythonから実行する形が自然かなと感じました！
mp3対応の要望はちょくちょく見かけるので、興味はあります。

[sabonerune]

もう少し調べていたらSoundFileがv0.11.0でmp3がサポートされるようになっていました。
バージョンアップできれば簡単にエンジン側でできそうですね。

[Hiroshiba]

おっと！！完璧ですね！！！
あと可能ならflac形式もサポートできればと思ってたのですが、README読んだ感じflacはもとからsoundfileで実現できそうですね･･･！
https://python-soundfile.readthedocs.io/en/0.11.0/

[tarepan]

「出力形式指定は現状で技術的に可能」との結論を得たと認識しました。

実際に実装する場合、API 引数に extension のような値を追加することになり、API 変更を伴います。
API が関わる機能追加であるため、一度追加した場合は長期的にサポートし続けることになります。
一方で「拡張子変更はユーザー側で容易にできるのだから、ENGINE はスリムたるべし」という思想（UNIX的）もありそうです。

@Hiroshiba
拡張子変更機能は実装方向でしょうか、あるいはNoGoでスリムという方向性でしょうか？

[Hiroshiba]

サーバー用途で使われたりしているのもあり、需要はあると考えます。
必須ではないかもしれませんが、あっても良いかなくらいの感覚です。must/should/want/canのwantくらいでしょうか。

品質がどれくらい変化するか、それに伴って容量がどれくらい減るかも焦点かもです。
明らかに劣化したり、容量がさほど変わらなければ諦めるべきかなとも思います。

なかなか0 1で判断しづらいですね…。
容量や品質がいい感じであればGoって感じかなぁと…。

[tarepan]

容量や品質がいい感じであればGo

👍

現状共有 for Future

現在、本 issue は「技術的に可能であり、その意義（容量・品質への影響度合い）を定量・定性評価して見極める」段階にあります。
コンパクトな音声ファイル出力に興味ある方からのコントリビュートをお待ちしています！

[github-actions]

本 Issue は直近 30 日間で活動がありません。今後の方針について VOICEVOX チームによる再検討がおこなわれる予定です。

[Hiroshiba]

検証者を募集している状態という認識です！
が、いろいろ調べているうちに検証はいらないかもと思いました。

mp3はLAMEの320kbps固定ビットレート（CBR）か約240kbps可変ビットレート（VBR）で良さそうに思います。
が、そもそもどうやってLAMEを使えるようにしようかという課題があり、そこそこ根気がいりそうです。
ちなみにsoundfileでもMP3が扱えますが、このフォーマットがどうなっているのかは未調査です。

このコメントでちょこっと言及してるflac形式であれば、VOICEVOXが現在使っているsoundfileに機能があるのでまだ近いです。
flacのPCM 24bitであれば少なくとも音質的な問題はないかなと思います。
（soundfileが対応している音声フォーマットはsoundfile.available_formats()やsoundfile.available_subtypes()で調べられることがわかりました。）

あと音声フォーマットの指定方法ですが、AudioQueryやFrameAudioQueryにoutputFormatキーを設けてそこで指定可能にするのが手っ取り早いと思います。
既存のoutputSamplingRateなどと並ぶ感じになるかなと。

･･･という辺りをいろいろまとめてあげて、別issueにして実装を募集するのが良さそうに思いました！
「音声フォーマットを指定可能にする」みたいなissueにしてゴールをFLACかMP3を実装する形とし、完了後に残った一方をまたissueにするのが良さそうかなと！

[testused]

久々にissue見に来ました。wav出力以外を求める声は少数派だったみたいですね。
個人的には、一般的なmp4コンテナがH.264/aacの非可逆圧縮の音声コーデックなので、動画投稿者的にはwavである必要はないかなぁと思ったissueだったと思います。(かなり暴論ですが320kbps以上のaacとmp3はそこまで認知できる違いがないかなと。)
個人的には、作成した動画のPFと使用素材(音声含む)は長期保管するので、サイズを抑えれたほうがいいと思ったのが発端だったと思います。(確か手元で128kbpsのmp3に変換したら10分の1くらいになった気がします。320kbpsは調べていません。)
issueがcloseしておらず検討していただいたようでありがとうございます。別issue立てしていただいて構いません。