Jukeboxの基本理論となっているのはVQ-VAEモデル

以前もここで紹介した、OpenAIが発表した音楽自動生成AI「Jukebox」。

作曲・編曲のオープンソースＡＩ Jukebox が興味深い

芸術の世界にもテクノロジーの波が押し寄せている。もちろん今に始まったことではないけれど、今までは人の側にコントロールする「権限が自動的に付与されている」ものであった。 例えばヴァイオリンにしても、弾きこなすためには大変な肉体的苦労と精神的な...

www.attstry.com

2020.05.10

関連記事にもあるように、アーキテクチャの基盤となった理論を学術論文の形で公開しており、Jukeboxのページ右側にある「Paper」の文字をクリックするとPDF形式でがダウンロードできる。

OpenAI Jukebox Sample Explorer

Browse all samples

jukebox.openai.com

VQ-VAEモデルを使っているそうだが、初めてきくのでまったく理解できていない。。。ちょっとだけポイント絞ったサイトがあったので、とっかかりとして勉強している。

https://analyticsindiamag.com/now-you-can-generate-music-from-scratch-with-openais-neural-net-model/

analyticsindiamag.com

しかし、かなり手強い。