nw.jsでデスクトップアプリを作る(27) - 音声で映像を動かす(2)

公開:2015-03-17 21:25
更新:2020-02-15 04:37
カテゴリ:nw.js,three.js,javascript,webgl,html5,nw.jsでデスクトップアプリを作る

音声データをもとに映像を動かすという試み。とりあえずはFFTしたものを表示してみることにした。FFTはdsp.jsを使用している。下の動画はその結果。

Web Audioのanalyserノードを使うつもりだったけども、リアルタイムでないと使えないようなのであきらめた。

テンポに合わせて動画を生成したつもりだけどもどうにも合わなくて困っていた。原因はffmpegのパラメータ不足だった。入力パラメータでレートを指定していなかったので、25fpsで取り込まれてしまっていたのだった。

あとは波形データやFFTのデータを使ってさまざまなエフェクトをかければそれなりに面白いものになるのかなと思っている。

ffmpegのパラメータを調べているとこのツールのすごさを改めて感じた。特にフィルター周りがすごい。これはコマンドラインツールの域を超えている。なにせスペクトラム表示とか波形表示なんかはffmpegだけでできてしまうのだから。このフィルターグラフを視覚化・編集するツール画面を作るのも面白いかなと思った。

github.com