まえがき
前回の記事までの準備が整ったところで、実際に model.kmodel を作成する手順について説明する。この記事では、MobileNet.v1 を用いた転移学習により作成したモデルをもとに kmodel 形式のファイルを生成するところまでを紹介する。
続きを読む →エッジAIデバイスである M5StickV や M5UnitV を使って(自前で)画像分類を行う場合、kmodel 形式のモデルを用意する必要がある。このモデルの作成例は(エミュレータ上で動作させるものも含め) Ubuntu を使う場合が多いが、あえて Windows 10 環境で作成することを試みる。
この記事ではモデル作成に必要なツールのインストール手順について説明する。
続きを読む →前回の記事でPharo のプロジェクトを github.com で公開する方法について説明した。
今回は、 Travis CI を使ってテストを自動実行させる方法について説明する。
先に進む前に、Monticello などでパッケージが保存されていることを確認する。テストも含め、いつでもパッケージ内容を元に戻せる状態にしておく方が安全・安心。
Travis CI でテストを実行させるために、リポジトリに2つのテキストファイルを作成する。
1つめは、 .smalltalk.ston である。内容は以下のようなもの。
SmalltalkCISpec { #loading : [ SCIMetacelloLoadSpec { #baseline : 'MyProject', #directory : 'src', #platforms : [ #pharo ] } ] }
MyProject の箇所は適宜修正する必要がある。
2つめは、 .travis.yml である。
language: smalltalk sudo: false notifications: email: on_success: never on_failure: always os: - linux smalltalk: - Pharo32-8.0 - Pharo64-8.0
変更する必要のある箇所は、osのところと、smalltalkのところ。osは、他に osx が指定できる。(きっとwindowsも。詳しくは Travis CI のドキュメントを参照のこと)
smalltalk にはテストしたいイメージのバージョンを書く。このあたりの情報は以下のサイトで確認できる。
https://github.com/hpi-swa/smalltalkCI
上記を適当なテキストエディタで作成して、ローカルレポジトリのフォルダに保存しておく。
ローカルレポジトリ内で行った修正作業は、Iceberg では Commit できないので、Shell でコミットとプッシュを行う必要がある。作成したファイルをadd したあと、適当なコメントで commit して push する。
% git add .smalltalk.ston .travis.yml % git commit -a -m 'add travis ci settings' % git push
プッシュが完了したら Travis CI が自動的にテストを始めるはず。
Pharo の環境にもどり、Iceberg でレポジトリのエントリを右クリックして Fetch を選ぶと、Up to date だったステータスが赤色の Detached Working Copy になる。
再度、右クリックして、 Repair Repository を選ぶ。そこで、Discard image changes and load repository version を選ぶ。ここで、Monticello などに保存していないパッケージの変更があると全て失われてしまうので、必ず保存しておく。問題なければ OK を押す。
続く画面で Checkout を押してレポジトリの状態が Up to date に戻れば完了。これ以降は、Iceberg でもコミット&プッシュ後に Travis CI が自動的に動き出すようになる。
SqueakMap とか、SmalltalkHub とか、Smalltalk のプロジェクトを残す方法はいろいろあったけど、いまは github.com に残すのがナウい。
今年、立て続けに何個かプロジェクトを登録したけど、毎回忘れてしまうので備忘のために残しておく。
参考にしたサイトはこちら。
何かのトラブルでせっかくのコードが失われないように、Monticello Browser でパッケージ(Testsパッケージも)を保存しておく。(方法は省略)
github.com にログインして、新しいレポジトリを作る。
出来上がったばかりのレポジトリが開かれたら、そのgithubアドレスをコピーする。
Code をクリックして、 Clone with SSH の下の欄の git@github.com: のテキストを全てコピーするか、その隣のアイコンをクリックする。
Pharo を起動して Tools – Iceberg を選んで Iceberg を起動する。
右上のAddをクリックする。
このままOKを押すと、いま使っているイメージのあるフォルダの下にローカルレポジトリが作られる。PharoLauncher を使っていて、イメージごと削除するのがイヤな場合は、必要に応じて Local directory の場所を変えておく。
問題なければ OK を押す。
ソース群を格納するためのsrc フォルダを作る。
Iceberg で作成したばかりのレポジトリのエントリを右クリックし、Extra を選んで Inspect … をクリックする。
Inspector が現れたら Raw タブを押して、コードエリアに以下を入力して do it する。
(self location / 'src') ensureCreateDirectory
特に問題が生じなければ、 Inspector を閉じて構わない。
次にプロジェクトのメタデータを生成するために、再度レポジトリのエントリを右クリックして Repair repository を選ぶ。現れたダイアログで、Create project meta-data を選んで、OKを押すと、Edit Project のダイアログが現れる。
Code directory に先ほど作成した src フォルダが選ばれており、Format が Tonel になっていることを確認したら OK を押す。
パッケージの依存関係を明確にするために、BaselineOf クラスのサブクラスを作成する。作成したいパッケージが MyProject なら、以下のようにクラス定義する。
BaselineOf subclass: #BaselineOfMyProject instanceVariableNames: '' classVariableNames: '' package: 'BaselineOfMyProject'
必要なインスタンスメソッドは2つで、1つ目は projectClass メソッドである。
projectClass
^ MetacelloCypressBaselineProject
もう一つは baseline: メソッドである。必要なパッケージに応じて内容を適宜修正する必要がある。他のパッケージを参考に依存関係を示せばよい。
baseline: spec spec for: #common do: [ spec package: 'MyProject'; package: 'MyProject-Tests' with: [ spec requires: #('MyProject') ] ]
最後に関係する全てのパッケージを追加する。レポジトリのエントリをダブルクリックして Working copy of のダイアログを表示し、右上の Add Packages ボタンでパッケージ(本体、テスト、BaselineOf)を全てチェックし、Add で追加する。(図のようにパッケージ名を入力して絞り込んで置くとラク)
Iceberg の作業もほぼ終わり。Commit ボタンを押してコミット内容を確認して適当なコメントを書いたら、再度右下の Commit ボタンでコミット完了し、Push ボタンで github にプッシュする。
なお、下図のように Push changes to origin/main をチェックしておけば、コミットと同時にプッシュが行われる。
以上で github.com にパッケージがアップロードされた。
パッケージの内容を変更したときは、同様に Commit + Push すれば、その都度 github.com の内容も更新されていく。
DF-ROBOTのmicro:bit Driver Expansion Board(v2.0)は、安価な割に機能の多いモーター制御ボードである。
https://www.dfrobot.com/product-1738.html
micro:bit 上のGPIOへのアクセスに加えて、8個のサーボモータと4個のDCモータを独立して制御することができる。(全てを使った訳ではないが)
ただ、制御のためのプログラムを作成するには MakeCode なりのブロックプログラミング環境を必要としており、MicroPython で使えるコードを見つけることができなかった。
https://github.com/DFRobot/pxt-motor
このボードは PCA9685 という定番のサーボドライバを使っており、I2C接続で何とかなると思ったら、何とかなったので記事にした。
後述するプログラムリストは、上のMakeCodeブロック対応コードに、SG90へ対応するよう修正を加えた Javascript のプログラムを、micro:bit用の MicroPython に移植しただけの単純なものである。参考にしたのはこちら。
https://github.com/nekoma-seisakusho/pxt-motor
ポイントは、サーボモータもDCモータもPCA9685を使って制御するということである。当初、DCモータドライバもI2Cで別に接続されているかと思って調べていたのだが、PWM入力のDCモータドライバに、PCA9685のPWM出力をつなげたもののようだ。ちなみにDCモータドライバとして、HR8835 が2個使われている。
ということで、MicroPython のコードは以下の通り。
import microbit
import utime
initialized = False
def i2cWrite(addr, reg, value):
buf = [0, 0]
buf[0] = reg
buf[1] = value
microbit.i2c.write(addr, bytes(buf))
def i2cRead(addr, reg):
microbit.i2c.write(addr, bytes([reg]))
ret = microbit.i2c.read(addr, 1)
return ret[0]
def initPCA9685():
global initialized
i2cWrite(64, 0, 0)
oldmode = i2cRead(64, 0)
newmode = (oldmode & 127) | 16
i2cWrite(64, 0, newmode)
i2cWrite(64, 254, 121)
i2cWrite(64, 0, oldmode)
utime.sleep_us(5000)
i2cWrite(64, 0, oldmode | 161)
initialized = True
def setPwm(channel, off):
if channel < 0 or channel > 15:
return
print("setPWM",channel,off)
buf = [0] * 5
buf[0] = 6 + 4 * channel
buf[1] = 0
buf[2] = 0
buf[3] = off & 255
buf[4] = (off >> 8) & 255
microbit.i2c.write(64, bytes(buf))
def Servo(index, degree):
if not initialized:
initPCA9685()
value = (degree * 10 + 600) * 4095 // 20000
setPwm(16 - index, value)
def MotorRun(index, speed):
if index < 1 or index > 4:
return
if not initialized:
initPCA9685()
speed = speed * 16
if speed >= 4096:
speed = 4095
if speed <= -4096:
speed = -4095
dp = speed
dn = 0
if speed < 0:
dp = 0
dn = -speed
ch = (4 - index) * 2
setPwm(ch + 1, dp)
setPwm(ch, dn)
使い方は、Servo(チャネル番号, 角度) で、チャネル番号に1から8を、角度は数値を与えれば対応するサーボモータが動く。また、MotorRun(チャネル番号, 速度) で、チャネル番号に1から4を、速度に -255 から 255 の数値を与えればDCモータが動く。
とあるデモンストレーションのために、 micro:witch を使って Tello を制御する一連の流れをスライドにまとめた。
前回の記事に引き続いて、micro:witch で Tello を制御するまでの道のりを記す。
まずは、M5StickC で UART で受け取った文字列を UDP に流すプログラムを作成した。
https://github.com/EiichiroIto/m5stickcUartUdpBridge
プログラムの流れは以下の通りである。
テストのため、Aボタンが押されたら “takeoff” を、Bボタンが押されたら “land” をUDP送信するようにした。(この辺りのインターフェイスは大幅に見直す予定)
Tello の電源をオンにした状態で、M5StickC の電源を入れると、無事 Tello のAPに接続した。ボタンAとボタンBで昇降することも確認できた。ついでに、USB-UART アダプタを使い、arduino のシリアルモニタからのテキスト入力による昇降も確認した。
次に、radio-UART 部分に着手。micro:witch には UART のブロックがなかったので、通信カテゴリに追加した。
そのブロックを使って作成した、micro:bit (B) の radio-UART ブリッジのスクリプトがこちら。
無線をオンにして、少し待ってからUART の設定を行い、受け取った無線メッセージをUARTに書き込むだけの簡単なもの。
なぜUARTまで3秒待っているかというと、UART の出力先のピンを変更すると、USB経由でのUARTが使えなくなって、それ以降 micro:witch からコントロールできなくなってしまうため。最悪ファームウェアの転送からやり直さないといけない。多少のウェイトがあることで、micro:witch でstopかけて止めることができる。
わざわざ micro:bit を2台使わずに UART だけで Tello を制御することもできるのだが、 micro:bit の UART 使用には上のような注意点があるのと、radio で受信するようにしておけば、教室にある複数の micro:bit から1台の Tello を使うこともできるので、このような構成にしている。
先ほどの radio-UART のスクリプトでは、UART の TX を Pin0 に設定してある。また、UART-UDP のプログラムでは、RX を GPIO36 にしたので、これらのピンを互いに接続した。
加えて、M5StickC の GND と 3V3 を、micro:bit の GND と 3V にそれぞれつなげば、2つのデバイスを一体的に運用できるし、ある程度なら M5StickC のバッテリーだけで動かすことができる。
これで全てのお膳立てが整った。
最後に micro:witch で、radio 経由で文字列を送るプログラムを作って Tello を昇降できるようにした。後で気づいたのだが、メッセージを送った後で少し待たないと、メッセージを連結して受信してしまう。実際に使うときは、その注意が必要である。
ようやく、依頼いただいた先生に見てもらうことができる状態になった。
micro:witch を使って下さっている、とある学校の先生から、「micro:witchでドローンのTelloを操作したいのだけど、どうしたらよいか?」という問い合わせがあった。
調べてみると、UDP を使った簡単なプログラムで Tello を制御することができるらしく、MakeCode のプログラムを作って micro:bit から Tello を制御する例も見つかった。方法としては、micro:bit から bluetooth 経由でPCにデータを送り、PC側で受け取ったデータを UDP に流せば良いようだ。
残念ながら micro:witch が内部的に利用している MicroPython では、メモリ容量の関係から bluetooth のサポートがない。つまり、micro:witch でも bluetooth 関連のブロックを追加することはできない。
ある程度自由にドローンの制御を行うとするなら、Tello のコマンドを micro:bit で生成・送信できるようにするべきだろう。幸い、単なる文字列で一定の操作はできるようだ。一方で、 micro:bit がUDP通信できない以上、PCやそれに類する中継装置が必要となる。
そこで、以下のような構成を考えてみた。
超面倒くさい流れではあるが、原理的には不可能ではなさそうだ。それだけでなく、メリットも少しある。
PCを使う場合には、Tello のアクセスポイントにwifiで接続させることになる。他にネットの接続装置がなければ、インターネットに接続されてないPCを扱うことになる。MakeCode などのプログラミング環境を利用するには、プログラミングのたびにネット接続を切り替える必要があって面倒だ。
その点、上の構成であれば 、常に Tello のアクセスポイントに接続するようにM5StickC のプログラムを作っておいたり、M5StickC から(B)に電源を供給することで、radio->UDP の一体的なモジュールができるので、PCレスで Tello の接続環境を構築できることになる。
実現までの課題は以下の通り。
ということを思いついたのは昨日である。アマゾンで Tello を注文したら今日の夕方に届いた(アマゾン⇒ヤマトさまさま)ので、突貫工事でコーディングしてみたら、動いた。具体的には(A)で “takeoff” や “land” を radio 送信したら、Tello が離陸したり、着陸した。
ただ、時間切れでパッケージとしてまとめられなかったので、明日やる予定。
https://github.com/EiichiroIto/Box2DLiteForPharo
以前、Box2D で遊んでいたのだが、最近 Box2DLite なるものが公開されているのを知ったので、Pharo Smalltalk に移植してみた。
まだ、warm startup のバグが取れていない(off状態となっている)ので、Demo8 だけ動作がおかしいけど、後はうまく動いている。