画像処理ネタ第４弾！　音声スペクトルとUSBカメラの映像をリアルタイムで合成します

Sugarless Camとは？

サウンドカードから入力された音声信号の周波数スペクトルと USBカメラの映像をリアルタイムで合成して表示するソフトを作ってみました．

一般的に音は高い音や低い音が混じりあってできています． 音の波形を時間軸方向で見ただけではどんな音がどれだけ含まれているかを見るのは難しいです． こうした音声信号にFFT（フーリエ変換）という処理をかけてやると周波数成分に分解することができます． これをバー・グラフで表示したものが，ミニコンポなどでグラフィカルに動いてるアレです． 「スペクトル・アナライザ」とか呼ばれてますね．

今回はそのバー・グラフとUSBカメラから得られた画像をリアルタイムで合成して表示しています． マイク入力や，メディアプレイヤーで再生している音楽に反応して動きます．


ダウンロード

    
　Sugarless Cam Ver1.00 （34.6KB）

ソフトウェアの使い方

起動するだけでソフトウェア自体に設定項目は特にありません． 起動時に「このデバイスを使用しますか？」と聞いてくるので， 映像入力を得たいキャプチャカードやUSBカメラを選択してください． 起動後は，マイク入力やメディアプレイヤーで再生している音楽などの 音声信号に反応して映像が変化します．


音声入力の変更

音声入力の変更は，Windowsのコントロールパネルにある「サウンドとオーディオデバイス」から行ってください． この設定をいじっても入力が切り替えられないときは，USBカメラの補助ソフト（例：Logicool QCam）によって， 音声入力がUSBカメラ付属のマイクに設定されている場合がありますので， そちらもチェックしてみてください．


USBカメラ以外の映像入力

SplitCamなどの仮想キャプチャデバイスを使えば ビデオファイルを映像入力として使うこともできます（スペックがそれなりにないと遅れがありますが…）． USBカメラ以外にも，一般のキャプチャデバイスでも使えますが，本ソフトウェアにチャンネル切り替えなどの機能はありません．

コトの発端

　今回の元ネタはcapsuleというアーティストの 「Sugarless GiRL」という曲のPVです． PVの中に"音のスペクトルのバーグラフが人物に重なる"というビデオエフェクトが 出てくるんですが，これがなんかカッコ良かったので真似してみました． 興味のある人はYouTubeあたりで見てください． PVの再現なのであえてモノクロ表示にしました． 大画面やスクリーンで鑑賞するとメディア・アートみたいでカッコいいかもしれませんね．

Sugarless GiRL Sugarless GiRL
capsule

ヤマハミュージックコミュニケーションズ 2007-02-21
Amazonで詳しく見る

製作にあたって

本ソフトウェアは，長野隆氏が作成した「NY Spectrum Analyzer Version 1.18a」のソースを参考にして作成しました．
「NY Spectrum Analyzer Version 1.18a」同様，大浦拓哉氏によるFFTライブラリを使用しています．

NY Spectrum Analyzer Version 1.18a
　Copyright (C) 1998-2000 by Nagano Yutaka
　Version 1.15 Enhanced by Takuya OOURA

General Purpose FFT (Fast Fourier Transform) Package
　Copyright (C) 1996-1999 by Takuya OOURA

ソースを公開してくださった長野氏と大浦氏に敬意を表します．
また，素敵な曲を創られたcapsuleの中田ヤスタカ氏とこしじまとしこ氏に敬意を表します．