• AR.Droneとは
• Processing用AR.Droneライブラリ ARDroneForP5
• 応用例
• API
• 謝辞
• ゲストライタ プロフィール

フランスのParrot社が開発・販売しているiPhone，iPad，iPod touchから操作できる４翼のヘリコプターです． 無線LANを使い，アドホック通信して操縦し，屋内でも屋外でも飛ばして遊ぶことができます． 操作はシンプル．プロポみたいに複雑な操作方法ではなく，iPhoneを傾けて操作できます． さらに標準でカメラが2つ（前面と腹面）ついており，そのカメラを通して操縦中にAR.Droneからの視点が楽しめます．

これがAR.Droneだ！！

AR.Droneは無線LAN通信なので，PCからも操縦することができます． また，センサ類が充実していて，ジャイロセンサ（2軸(X,Y)と1軸(Z)），三軸加速度センサ，超音波センサが搭載されています． APIを通してこれらのセンサ情報から，高度と，x・y方向速度，ピッチ・ロール・ヨー角を取得することが出来ます．

そして，AR（Augmented Reality，拡張現実感）の名前は伊達ではありません．ARこそがこのヘリコプターの見せどころです． iPhoneアプリとしてARを使ったゲームが提供されており， ARを使った他のAR.Droneとの空中戦や追跡ゲームが楽しめます． また，提供されているSDKを使ってAR.Droneを使った独自のARアプリを開発をすることも可能なのです．

なんと，これが，Amazonで3万円ぐらいで購入できちゃいます（2011年2月26日現在）．

iPhoneでの操作画面

AR.Droneのプログラミング環境

AR.DroneにはParrot社から提供されているSDKがあり，PC用とiPhone用のプログラムを作ることが出来ます（工学ナビのブログ参照）． しかし，橋本さんがこちらで述べているように，SDKの中のソースはなかなか癖があり， プログラミング初心者（私も含め）には読めたもんじゃありません． とても初心者が簡単にAR.Droneをいじれるような状況ではありません． そこで・・・

ARDroneForP5はProcessingで使えるAR.Drone制御ライブラリです． ARDroneForP5の「P5」はProcessingの別表記「Proce55ing」に由来します． このライブラリを使うことによりProcessing上で簡単にAR.Droneを操縦したり， センサ情報を取得したり，さらにはカメラ映像まで取得できちゃいます． 以下で詳しく説明したいと思います．

Processingとは

Processingは初心者でも簡単に扱えるプログラミング環境です． ビジュアライズに優れており，簡単にグラフィックをプログラミングできたり， 画像，音声，シリアル通信，ビデオ入出力なども簡単に扱え，サンプルも豊富です． また，メディアアート系での実績が多く，プロトタイピングにも使われていたりします． もちろんオープンソースで，MacやWindows，Linuxから使えます． Processingを使ってこんなのが作れちゃいます．

動作環境

Mac（OSX），Windows，LinuxなどのProcessingが動いている環境であれば， ダウンロードしたjarファイルを追加すればすぐに使えます． Processingのダウンロードはこちらの公式サイトから． AR.Droneのfirmwareは1.6.6で動作しているのを確認しています．（2011年6月21日現在）

ダウンロード

ARDroneForP5は以下のリンクからダウンロードしてください．

	https://github.com/shigeodayo/ARDroneForP5

接続方法

AR.Droneへの接続は，AR.Droneにバッテリーを装填した状態で，PCの無線LANの接続先を"ardrone_******"にすればOKです．

例：Macだとこんな感じ

起動方法

ファイルをダウンロードしたら解凍して，出てきたフォルダを適当な場所に移動してください． sketchesフォルダ以下にARDroneForP5_Sampleというスケッチがありますので， それをProcessingで開いて実行してください．そうすると，以下のような画面が表示されます．

Processingでスケッチを開く

実行画面

起動	フラ
フラ	こんな感じで操作します

このサンプルでは，このようなキー操作になっています． あと，画面に，AR.Droneのカメラ視点と，AR.Droneのピッチ角・ロール角・ヨー角・高度，x方向速度・y方向速度，バッテリー残量を表示しています．

サンプルプログラム

	import com.shigeodayo.ardrone.manager.*;
	import com.shigeodayo.ardrone.navdata.*;
	import com.shigeodayo.ardrone.utils.*;
	import com.shigeodayo.ardrone.processing.*;
	import com.shigeodayo.ardrone.command.*;
	import com.shigeodayo.ardrone.*;
	
	ARDroneForP5 ardrone;
	
	void setup(){
	  size(320, 240);
	  
	  ardrone=new ARDroneForP5("192.168.1.1");
	  ardrone.connect();       // AR.Droneに接続，操縦するために必要
	  ardrone.connectNav();    // AR.Droneからのセンサ情報を取得するために必要
	  ardrone.connectVideo();  // AR.Droneからの画像情報を取得するために必要
	  ardrone.start();         // これを宣言すると上でconnectした3つが使えるようになる
	}
	
	void draw(){
	  background(204);  
	
	  // AR.Droneからの画像を取得
	  PImage ardrone.getVideoImage(false);
	
	  if (img==null)
	    return;
	  image(img, 0, 0);
	
	  // AR.Droneからのセンサ情報を標準出力する．
	  // ardrone.printARDroneInfo();
	
	  // 各種センサ情報を取得する
	  float pitch=ardrone.getPitch();
	  float roll=ardrone.getRoll();
	  float yaw=ardrone.getYaw();
	  float altitude=ardrone.getAltitude();
	  float[] velocity=ardrone.getVelocity();
	  int battery=ardrone.getBatteryPercentage();  
	  String attitude="pitch:"+pitch+"\nroll:"+roll+"\nyaw:"+yaw+"\naltitude:"+altitude;
	  text(attitude, 20, 85);
	  String vel="vx:"+velocity[0]+"\nvy:"+velocity[1];
	  text(vel, 20, 140);
	  String bat="battery:"+battery+" %";
	  text(bat, 20, 170);
	}
	
	// PCのキーに応じてAR.Droneを操作できる．
	void keyPressed(){
	  if(key==CODED){
	    if(keyCode==UP){
	      ardrone.forward(); // 前
	    } else if (keyCode==DOWN){
	      ardrone.backward(); // 後
	    } else if (keyCode==LEFT){
	      ardrone.goLeft(); // 左
	    } else if (keyCode==RIGHT){
	      ardrone.goRight(); // 右
	    } else if (keyCode==SHIFT){
	      ardrone.takeOff(); // 離陸，離陸した状態でないと移動は出来ない．
	    } else if (keyCode==CONTROL){
	      ardrone.landing(); // 着陸
	    }
	  }else{
	    if (key=='s'){
	      ardrone.stop(); // 停止
	    } else if (key=='r'){
	     ardrone.spinRight();  // 右方向に回転
	    } else if (key=='l'){
	      ardrone.spinLeft(); // 左方向に回転
	    } else if (key=='u'){
	      ardrone.up(); // 上昇
	    } else if (key=='d'){
	      ardrone.down(); // 下降
	    } else if (key=='1'){
	      ardrone.setHorizontalCamera(); // 前カメラ
	    } else if (key=='2'){
	      ardrone.setHorizontalCameraWithVertical(); // 前カメラとお腹カメラ
	    } else if (key=='3'){
	      ardrone.setVerticalCamera(); // お腹カメラ
	    } else if (key=='4'){
	      ardrone.setVerticalCameraWithHorizontal(); // お腹カメラと前カメラ
	    } else if (key=='5'){
	      ardrone.toggleCamera(); // 次のカメラ
	    }
	  }
	}

新しくコードを書くとき

Processingを起動して，Sketch->Add File...からARDroneForP5/library/の"ARDroneForP5.jar"を追加してください．

今できないこと

　
• ホバリングが上手くできない．
  AR.Droneの慣性力や自身が巻き起こす風の影響で，指定した位置で停止し続けることができません． センサ情報を上手くフィードバックしてやると停止できると思いますが．．．まだやっていません．

Processingの他のライブラリと組み合わせればこのようなことも簡単にできます．

ARToolKitとの連携

nyatlaさんのNyAR4psgと連携させてみました． このサンプルはカメラ画像からＡＲマーカ（Hiro）を検出して，マーカの上に立方体を重畳します． ここから発展させればＡＲシューティングゲームも作れそうです．

前面カメラからAR	腹面カメラからAR
ＡＲマーカ	実際に飛ばしている様子

プログラムを作成・実行するには，NyAR4psgを入手してください． NyAR2.jarとNyARToolkit.jarをスケッチにadd Fileして， camera_para.datとpatt.hiro（NyAR4psgに同梱されているカメラパラメータファイルとパターンファイル）を 作成したスケッチ（*.pde）が入っているディレクトリの中に入れてください． MQOLoaderで3Dモデルを表示してみるのも楽しいかもしれません．

Kinectとの連携

Processing用のKinectライブラリとも連携させてみました． ある深さ領域にある物体（手）をトラッキングして，画面左にあればAR.Droneが左に，画面右にあれば右に，画面上にあれば上に，画面下にあれば下に，Kinectに近づくと前に，Kinectから遠ざかると後ろに進むようにしました． ちなみにこのコードは一時間くらいで作りました．

AR.Droneからの視点．手の動き（画面の丸い点）に合わせてAR.Droneが動きます


Kinectの距離画像


こんな感じで操作します

プログラムの作成・実行には，Processing用のKinectライブラリを入手してください． openkinect.jarとlibKinect.jnilibをスケッチにadd Fileして， KinectTracker.pde（KinectライブラリのサンプルプログラムAveragePointTrackingの中に入っているpdeファイル）を 作成したスケッチ（*.pde）と同じディレクトリに入れてください．

サンプル

ARDroneForP5には以下の4つのサンプルが同梱されています（sketchesの中）．

• ARDroneForP5_Sample.pde
• ARDroneForP5_SimpleLite.pde（NyAR4psgとの連携，AR表示）
• ARDroneForP5_Picking.pde（NyAR4psgとPickingライブラリとの連携，AR+ピッキング）
• ARDroneForP5_PPopupMenu.pde（NyAR4psgとPickingライブラリとPPopupMenuとの連携，AR+ピッキング+右クリックメニュー）

• NyAR4psg
• Pickingライブラリ
• 右クリックメニュー表示ライブラリ

最初，ライブラリとして配布するつもりは無かったのですが，橋本さんの「you，発表しなよ！」というお声とともに， さまざまなサポートをしてくださり，さらには工学ナビの一つの記事として発表できたことに本当に感謝しております．橋本直さん，ありがとうございます．

あの人研の方々，開発のためにAR.Droneを使わせてくださりありがとうござます． 暖かく開発を見守ってくださったことに感謝いたします．

また，このライブラリを作成する際に，ARDrone API フォーラムをいつも見ていました．有益な情報ありがとうございます．
操縦部分の実装はMAPGPSさんのソースを参考にさせていただきました． Videoキャプチャの部分の実装は，daniel schmidtさんとIan Hartneyさんのソースを参考にさせていただきました． センサ情報のキャプチャの部分の実装はCliff Biffleさんのソースを参考にさせていただきました．みなさま，ありがとうございました．

東京大学工学系研究科 航空宇宙工学専攻知能工学研究室（堀・赤石研究室）の皆様にも開発に協力していただきました．ありがとうございます．

実験の様子．廊下でうるさくしてごめんなさい