Mastodon

SpotifyのBasic Pitchによる音MADのMIDI音源への変換

Spotify's Audio Intelligence Labが提供する、ニューラルネットワークを用いたAMT(Automatic Music Transcription)のためのPythonライブラリ『Basic Pitch』を利用して、音MADのMIDI音源への変換を試します。

変換を行うシェルスクリプト

yt-dlpYouTube上の動画のMP3ファイルをダウンロードし、Basic PitchライブラリでMP3ファイルをMIDIファイルに変換します。

次のシェルスクリプトを利用します。

まず、yt2midi.sh に実行権限を付与します。

chmod +x ./yt2midi.sh

次に、変換対象とする音MADのURLを用意し、本シェルスクリプトを実行します。

./yt2midi.sh https://www.youtube.com/watch?v=XXXXXXX

実行後、実行ディレクトリにMP3ファイルと変換されたMIDIファイル、また basic-pitch コマンドの --sonify-midi オプションによりMIDIファイルのオーディオレンダリングが出力されます。

『Yuno YOUKAI ZONE 厳禁』で試す

Thekantapapaさんによる『Yuno YOUKAI ZONE 厳禁』の変換を試します。

www.youtube.com

Basic Pitchが出力したMIDI音源のオーディオレンダリングもありますが、上の項目を変換したMIDIファイルをGarageBandSteinway Grand Pianoサウンドで鳴らしてみます。そのオーディオは次です。

whyp.it

変換は完全ではありませんが、ベースはほぼ変換されているように聞こえます。

しかしながら、Basic PitchがWaveTone等の耳コピの補助ツールを代替するかと問われれば微妙だと思います。