Spotify's Audio Intelligence Labが提供する、ニューラルネットワークを用いたAMT(Automatic Music Transcription)のためのPythonライブラリ『Basic Pitch』を利用して、音MADのMIDI音源への変換を試します。
変換を行うシェルスクリプト
yt-dlpでYouTube上の動画のMP3ファイルをダウンロードし、Basic PitchライブラリでMP3ファイルをMIDIファイルに変換します。
次のシェルスクリプトを利用します。
まず、yt2midi.sh
に実行権限を付与します。
chmod +x ./yt2midi.sh
次に、変換対象とする音MADのURLを用意し、本シェルスクリプトを実行します。
./yt2midi.sh https://www.youtube.com/watch?v=XXXXXXX
実行後、実行ディレクトリにMP3ファイルと変換されたMIDIファイル、また basic-pitch
コマンドの --sonify-midi
オプションによりMIDIファイルのオーディオレンダリングが出力されます。
『Yuno YOUKAI ZONE 厳禁』で試す
Thekantapapaさんによる『Yuno YOUKAI ZONE 厳禁』の変換を試します。
Basic Pitchが出力したMIDI音源のオーディオレンダリングもありますが、上の項目を変換したMIDIファイルをGarageBandのSteinway Grand Pianoサウンドで鳴らしてみます。そのオーディオは次です。
変換は完全ではありませんが、ベースはほぼ変換されているように聞こえます。
しかしながら、Basic PitchがWaveTone等の耳コピの補助ツールを代替するかと問われれば微妙だと思います。