Kinectを用いてProcessingに画像と音を出力し、特別な器具や道具を持たずとも 楽器を演奏している気分を味わえるシステムです。 OpenNIを用いてKinectでユーザのボーントラッキングを行い、 頭と手、手と肩、手と肘におけるY座標の差をとった値をProcessingに 出力し、其々の楽器パーツの音(今回はドラム音)を再生しています。 左手を頭より高く上げることで曲が流れ、その曲に合わせてドラムを 叩くことも可能となり、誰でも気軽に音楽に触れる事ができます。 またユーザはモーションと各楽器パーツの音を入れ替えることが出来、 無数の演奏方法を体験することができます。

video（mov, 7MB）

皆さんは信じられるだろうか。豆によって鬼を追い払う事ができるという妄言を。私の答えはNOです。いつ鬼に襲われるかわからない。2月３日という日。 そう節分です。この悪夢のような日に向け僕はトレーニングを始める事にしました。この危険に気がついた人は初めています(今のところ私一人ですが)。対鬼対策トレーニングソフト。鬼殺し！そのトレーニング全貌を今！！ (＊この紹介文はフィクションです。鬼の様なのは、おそらく仮面を被った人間なので優しく、また感謝の意を込めて豆をぶつけてあげてくださいね。)

video（wmv, 51MB）

今回はkinectを用いて視力検査を行いました。 Kinectポーズをとり、そこからは画面の操作に従うだけで簡単に視力をはかることができます。 この視力検査で人が幸せになれるかわかりませんが スマートフォンのし過ぎで、視力が落ちたなと思ったらすぐに使って自分の視力をはかろう！

video（swf, 123MB）

本棚に並んだ膨大の書籍の中から、「なにか面白いものはあるかな」と手軽に本を探索するシステムです。本の背表紙を指さすと、手元に表紙が表示されます。そのまま手を横へ動かしていけば、次々と隣の本の表紙を見ていくことができます。また、指を下に動かしていくと、本のページをペラペラとめくっていくことができます。横の動きで表紙を見ていって、面白そうな本があれば縦の動きですぐに中身を確認できます。こうすることで、簡単により多くの本を眺め、新しい本との出会いが増えることを期待しています。

video（mp4, 20MB）

今日あらゆるジャンルの楽曲が存在するが、同じジャンルの中でも演奏する人数や使用する楽器によって大きく異なる。楽曲の趣向も演奏する人数や使用する楽器により変わると考えられる。そこで演奏する人数、使用する楽器をARマーカに割り当てることで、自分の好きな編成を組み、その編成でしか聞くことのできなくなるような、組み合わせによる偶発的選曲システムを作成した。

video（avi, 212MB）

大人から子供まで年齢性別に関係なく誰でも楽しめるものを作成したいと考え、体の様々な部位を使うことで絵を描くお絵かきソフト「★PLAY＆STAY★　○×△□」を考えた。基本的には両手に異なる色のペンの機能を持たせてあり絵が描ける、所謂お絵かきソフトである。また定められたポーズを取りながら、決められた部位を動かすことでスタンプ機能を使用することや、キャンパスを白紙状態に戻すことが可能である。

video（wmv, 21MB）

「体音計」はデスクワーカーのためが脱力するためのアプリケーション。デスクで椅子に座りながら、楽しみながら体をほぐしてリラックス（脱力）してもらうことを目的としています。パーティクルが壁や動体の輪郭に衝突するとランダムなピッチで、気持ち良い音が鳴ります。カメラ映像に映った動体の輪郭と分析された輪郭線が重なるように設定することで、動体がパーティクルにぶつかるように見えるという仕様。実装は、openFrameworksにofxOpenCV（動体感知用）やofxBox2D（物理演算用）などのアドオンを組み合わせています。

video（m4v, 13MB）

高級オーディオを操作するような上質なつまみを開発しました。音楽、動画データの圧縮技術向上に伴なって、音楽データを管理できるアプリケーションやブラウザ上で動画を閲覧できるサービスが普及しています。 それらは、PCモニタを見て、マウスをクリックするだけで曲を聴くことができ、非常に便利です。しかし、高級志向のオーディオユーザーには満足できるでしょうか、、 従来の高級オーディオのような重量感のあるつまみによってiTunesを操作できる！そんなアプリケーションをARToolkitを使って実現しました。

video（wmv, 20MB）

「楽器を演奏したい！…でも楽器なんて持ってない。」そんな人にオススメなのが、この「エア？楽器」です。「エア？楽器」とは、Kinectで撮影した空間上に、仮想の楽器を設置し、楽器の領域に手を近づけると音が鳴るプログラムです。さらに、音が鳴るだけでなく、手の挙動に応じて楽器が呼応して動くため、本当に楽器を演奏しているかのような感覚を経験することができます。楽器は、画面上に設置されているピアノ、ドラムと、両手を胸の前で合わせることで音を鳴らすタンバリンの３種類を作成しました。

video（wmv, 19MB）

このアプリケーションはリフティング擬似的に行えるお手軽アプリです。 キネクトの人物追従機能などを使って、人を認識するとボールが出てきます。 サッカーの基本だけれど、難しいリフティングも室内で怪我せず行えます！ あまり難しいプログラムでもないですが、ご視聴よろしくお願いします。

video（6MB）

従来のARマーカは、カメラ映像内のARマーカの位置を検出し、そこを基準として描画しているため、ARマーカをカメラ内に入れなければならず、カメラ角度が固定するか、マーカと3Dオブジェクトをずらして描画しなければならなかった。特に3Dオブジェクトと実際の位置をずらして描画する場合、実世界のARマーカと映像上の3Dオブジェクトが離れて表示されるため、思った通りの位置に表示させるためにはカメラを見ながら調整をするという手間が生じてしまう。そこで今回、ARマーカ検出と実際に3Dモデルを描画するカメラをわけることで、カメラに向けてARマーカを傾ける必要なく3Dオブジェクトを描画するソフトウェアを開発した。これにより、表示したいマーカをカメラに向ける必要なく3Dオブジェクトを表示することが出来るようになる。

video（mp4, 14MB）

仕事の帰りにふらりとバーに立ち寄り、いい感じの曲に包まれながら酒を飲む。それが私の夢の一つである。今回提案するMusic Coasterはそんなバーでのひと時をより一層引き立てるインタフェースである。本システムはグラスを持つ、置くという普段行う何気ない動作を楽曲再生のインタフェースとして利用したものである。操作はいたって簡単で、Music Coasterにグラスを置くと現在再生されている曲が止まり、再びグラスを持つと次の曲が再生される。あたかもコースターから曲があふれてくるような設計となっている。

video（wmv, 11MB）

SF映画では日常化されているそれらの技術を少しでも近未来を身近に感じられないかと考え、疑似的に仮想現実の世界に入り込む体験ができるプログラムを作成した。Kinectの深度センサを用いて、現実世界と仮想世界との境界を確認することができる。距離に応じて変化するグレースケール画像の濃度を検出し、一定以上の薄さの範囲にソースの羅列が流れるエフェクトを掛ける。「ソースの羅列」はテキストデータから読み取っており、画面全体をソースの羅列で覆う。その上からカメラ情報を上乗せして、映像を合成している。

video（mpg, 84MB）

顔認識による顔の抽出を行い、そこに画像の張りつけおよびwebカメラと動画の同時再生ツールをもちいて自分の顔につけまつげをつけるアプリケーションを作製しました。女性の間で絶大なる人気を得て流行となっているのが「つけまつげ」という化粧方法である。今回は、その感覚を体験してもらうために本システムを実装しました、このことで、毎日の気分が上向きになりみなさんにとっての幸せに近づいてくれることを願っています。

video（m4v, 7MB）