omonuinen

利用者ゼロの気がするけど、あいかわらずKinectをPharoにつなげています。

先日、大島さんが$1 Gesture RecognizerのSqueak実装を公開されたので、さっそくKinectで利用してジェスチャー認識をさせてみました。

最初のKinectOSCはサンプルだけで実用性に乏しかったのですが、ジェスチャー認識できれば応用も見えてくるかな。

以前の記事に従ってKinectOSCを導入したら（過去に導入してたら最新版に更新する必要あり）、大島さんの$1 Gesture Recognizerを導入します。

MCHttpRepository
location: 'http://ss3.gemstone.com/ss/Dollar1’
user: ''
password: ''

Dollar1MorphをPharoで試すには、initializeのsketchの初期化部分を以下のように変更する必要があるけど、Kinectで動かすなら特に変更は不要です。（でもせっかくだから変更しましょう）

sketch := ImageMorph withForm: samplePicture.

後はKinectDollar1を導入すればOK。

MCHttpRepository
location: 'http://ss3.gemstone.com/ss/KinectDollar1’
user: ''
password: ''

ジェスチャー認識のキモ部分は全て大島さんの実装にかかっており、このモーフの仕事は単に骨格の情報からストロークを切り出すことだけなのですが、アドホックな実装なので以下に気をつける必要があります。

• ジェスチャーを認識するのは右手のみ。
• 首よりも前に突き出したときに認識するようになっている。
• ストロークのはじまりと終わりには、1秒程度静止する必要がある。
• ストロークの記録が始まる時は骨格の背景のグレーが少し明るくなる。
• 今のところProtractorには対応してない。

実際の利用はこんな感じです。

1. まずは身体を認識させる（緑背景で骨格が表示されればOK）
2. 右手を突き出して１秒ほど静止する。
3. 背景が明るいグレーになったらジェスチャーを始める。
4. 終わったら（気持ち、開始時より長めに）１秒ほど静止する。
5. 画面の上に認識結果が表示される（はず）

慣れないと最初はうまく認識できないかもしれません。私自身はジグザグも星も認識されました。

さて、これを何に使うかな。

Pharoを使っていて、Kinectを持っていて、それを繋げようなんて考える人がいるとは思わないんだけど、とりあえず作ったので公開してみた。

http://ss3.gemstone.com/ss/KinectOSC.html

この記事ではその導入方法について説明する。

KinectOSCは、Kinectからの情報をOSC(Open Sound Control)プロトコルを通じて得て、それをMorphicで利用できるようにするためのPharoのクラス群である。サンプルとして簡単なモーフも付けているが、いろんなアプリケーションで活用することを目指している。

KinectOSCは、KinectとPharo以外にもいくつかのツールやパッケージを利用して動作するようになっており、その構成は下の通りである。

Kinect – OpenNI – OSCeleton = (OSCプロトコル) = Pharo – OSCClient – KinectOSC

以下、順に導入方法を説明していく。

OpenNI

KinectをPCやMacで利用するためのドライバなどである。これがないとOSCeletonが動作しない。

インストール方法は適当にググってください。

OSCeleton

OpenNIを利用して、Kinectから得た情報をOSC(Open Sound Control)プロトコルでネットワークに送信するツール。

ソースがGithubに公開されている。

https://github.com/Sensebloom/OSCeleton/

WindowsとMacOSX用のバイナリが以下のページからダウンロードできるので対応する方をダウンロードする。

https://github.com/Sensebloom/OSCeleton/downloads

ダウンロードしたら適当なフォルダに展開しておく。

Pharo

Pharo使いであれば特に説明は不要でしょう。KinectOSCは1.3か1.4で動作確認しているのでどちらかを入手。

http://www.pharo-project.org

ダウンロードして展開したら起動する。

OSCClient

OSCClientはOSCeletonが送信したOSCのメッセージをPharoに取り込むためのクラス群。

KinectOSCではOSCの受信のためにOSCClientを使っているため、以下のようにPharoにインストールしておく。

• Monticello Browserを開き、+RepositoryでHTTPを選び、以下を入力（コピペ）してOKを押す。

MCHttpRepository
location: 'http://www.squeaksource.com/OSCClient’
user: ''
password: ''

• 右側のペインで上記のリポジトリを選択してOpenを押す。
• OSC-Richo.23.mczを選んで、Loadを押す。
• System BrowserでOSC-Testsクラスカテゴリを選択し、右ボタンでRun Testsを選び、テストが成功することを確認する。

KinectOSC

いよいよKinectOSCをPharoにインストールする。

• Monticello Browserの+RepositoryでHTTPを選び、以下を入力してOKを押す。

MCHttpRepository
location: 'http://ss3.gemstone.com/ss/KinectOSC’
user: ''
password: ''

• 右側のペインで上記のリポジトリを選択してOpenを押す。
• 左側のペインでKinectOSCを選び、右側のペインで一番上のKinectOSC.mczを選んで、Loadを押す。
• System BrowserでKinectOSC-Testsクラスカテゴリを選択し、右ボタンでRun Testsを選び、テストが成功することを確認する。
• とりあえずPharoをSave & Quitする。

テストモーフの実行

KinectOSCでは動作確認用に簡単なモーフを実装している。

以下のようにして動作を確認する。

1. OSCeletonを実行する。Windowsの場合はOSCeleton.exeをダブルクリックして実行すれば良い。
2. Initializing…の後、Initialized Kinect, looking for users…が表示されればOK。そうでなければKinectの接続かOpenNIのインストールに問題がある（多分）。
3. Pharoを起動して、Workspaceに「KOSampleMorph new openInWorld.」という式を入力し、選択後にDo itする。
4. 赤いモーフが現れるが、これはユーザーが認識されていない状態。Kinectの前に立って認識されれば緑色に変化する。
5. バルタン星人のポーズを取って骨格が認識されると、モーフに関節が表示され、動きに応じて変化する（はず）。

その他

OSCCeletonは引数に「-a 192.168.254.99」のようにIPアドレスを指定すれば他のPCにデータを送ることもできるので、Kinectに接続するPCとPharoを動作させるPCを分けて使用することができる。結構便利。