UnitVでsensor 20fpsオーバー

 前回かいた記事 で UnitVでsensor.snapshot()だけで10fpsと書いたんですが、ファームの問題でした。今更感がありますが、ファームについて書いておこうと思います。

https://docs.m5stack.com/en/quick_start/unitv/unitv_quick_start_maixpy を参照して素直にセットアップすると、M5StickVと同じファームを入れる流れになりますが、このファームが sensor の動作周波数を12MHzと設定しているためでした。しかもこのページ内のファームはファイル名はv5.1.2となっていますが、中のファームは0.5.0で結構古い。

新しいファームは https://dl.sipeed.com/shareURL/MAIX/MaixPy/release/master に置いてあって現時点では、maixpy_v0.6.2_58_g783789e06 が最新。

ここに _m5stickv.bin がありますが、これではなく普通のmaixファームを使うと倍速の24MHzになり、UnitVのmicroPython上では20fpsで動くようになります。

前記事で書いたような mobilenet 1000class動かそうとするとフルスペックのファームだとメモリが足りません。よって minimum構成のファームにしたいわけですが、ここに置いてあるminimumたちは微妙に自分が使いたい組み合わせじゃないんですよね。

自分が使いたいのは IDE + _thread + ws2812 + sensor 24MHz + KPU V3 です。kpu V4サポートは今の所いらない。ws2812は大して使わないけど入れても大差ない。_threadはちょっと使いたい。IDEないと辛すぎ。こういう組み合わせがほしい。

ということでファームをビルドしよう！

オンラインでビルドできるサービスがあるようですがユーザ登録とかしないといけないので、ローカルに環境構築してビルドします。

https://github.com/sipeed/MaixPy/blob/master/build.md を見ながらやりますが、ここで要求されている環境はすでに入っているので以下の手順だけでOK。

$ git clone --recursive https://github.com/sipeed/MaixPy.git
$ wget http://dl.cdn.sipeed.com/kendryte-toolchain-ubuntu-amd64-8.2.0-20190409.tar.xz
$ sudo tar -Jxvf kendryte-toolchain-ubuntu-amd64-8.2.0-20190409.tar.xz -C /opt

下が今回ビルドするときに使ったコンフィグファイルの内容（config_tiny.mk）

CONFIG_TOOLCHAIN_PATH="/opt/kendryte-toolchain/bin"

CONFIG_TOOLCHAIN_PREFIX="riscv64-unknown-elf-"

CONFIG_BOARD_MAIX=y

CONFIG_LCD_DEFAULT_WIDTH=240

CONFIG_LCD_DEFAULT_HEIGHT=135

CONFIG_LCD_DEFAULT_FREQ=15000000

CONFIG_SENSOR_FREQ=24000000

CONFIG_CPU_DEFAULT_FREQ=400000000

CONFIG_COMPONENT_DRIVERS_ENABLE=y

CONFIG_SPI_SD_CARD_FORCE_HIGH_SPEED=y

CONFIG_WS2812_ENABLE=y

CONFIG_COMPONENT_KENDRYTE_SDK_ENABLE=y

CONFIG_SDK_LOG_LEVEL=5

CONFIG_FREERTOS_ENABLE=y

CONFIG_STATIC_TASK_CLEAN_UP_ENABLE=y

CONFIG_FREEROTS_MINIMUM_STACK_SIZE=2048

CONFIG_COMPONENT_MICROPYTHON_ENABLE=y

CONFIG_MAIXPY_GC_HEAP_SIZE=0x80000

CONFIG_MAIXPY_IDE_SUPPORT=y

CONFIG_MAIXPY_THREAD_ENABLE=y

CONFIG_MAIXPY_OMV_MINIMUM=y

CONFIG_MAIXPY_OMV_DOUBLE_BUFF=y

CONFIG_MAIXPY_WS2812_ENABLE=y

CONFIG_MAIXPY_BUILTIN_PY_BOARD=y

CONFIG_MAIXPY_BUILTIN_PY_FPIOA_MANAGER=y

CONFIG_BUILTIN_PY_DIR=""

CONFIG_COMPONENT_SPIFFS_ENABLE=y

CONFIG_SPIFFS_CACHE=y

CONFIG_SPIFFS_CACHE_WR=y

CONFIG_SPIFFS_SIZE=0x300000

CONFIG_SPIFFS_START_ADDR=0xD00000

CONFIG_SPIFFS_EREASE_SIZE=0x1000

CONFIG_SPIFFS_LOGICAL_BLOCK_SIZE=0x20000

CONFIG_SPIFFS_LOGICAL_PAGE_SIZE=0x1000

CONFIG_SPIFFS_OBJ_NAME_LEN=128

CONFIG_SPIFFS_USE_MAGIC=y

CONFIG_SPIFFS_USE_MAGIC_LENGTH=y

CONFIG_SPIFFS_META_LENGTH=0

CONFIG_COMPONENT_UTILS_ENABLE=y

ビルド

$ cd MaixPy/projects/maixpy_k210
$ python project.py clean_conf
$ python project.py build --config_file config_tiny.mk

すると、buildフォルダに maixpy.bin が出来上がります。サイズは736192でした。

このファームだとビッグサイズのmobilenetも動くし、sensorも倍速だし、_threadもちゃんとスレッド動作しました。

ビルドはあっという間に完了するので、ちょこちょこ変えながら色々試すにはローカル環境でやるのが一番いいです。

UnitVでも load_flashなら MobileNet V1 1000 class 動くね

maix_train は何とか動いたけれど結果が０，１しか出ないのはやはりつまらないです。
探してたら、MaxiPy_scripts に1000クラス分類できるやつあるじゃないですか。
この中の machine_vision/mobilenet_1000_class です。

ただ、ここには本体はなく説明だけです。目当てのkmodelは、説明にある通り https://dl.sipeed.com/MAIX/MaixPy/model に mobilenet_0x300000.kfpkg が入っているのでダウンロードします。

これをkflashで焼いて使うわけですが、でかいのでファームをminimunにして、GCヒープサイズも半分の256kbにしろとドキュメントには書いてあります。動くんでしょうけど、それは辛いです。。

そこで kpu.load()ではなく、kpu.load_flash()なら動くんじゃないかな？と試してみました。
ダウンロードした mobilenet_0x300000.kfpkg をただ焼いても動きません。
ここがポイントです！
load_flash()はメモリーにロードすることなくkpuが直接モデルのアドレスを見に来るようにするものらしいので、モデルデータをビッグエンディアンに変換しておく必要があります。

まずこのkfpkgをunzipで解凍します。すると flash-list.json と m.kmodel が得られます。
このm.kmodelをビッグエンディアンに変換します。

$ ../model_le2be.py m.kmodel

いきなり出てきたmodel_le2be.pyですが、MaixPy_scripts/machie_vision に入っているスクリプトです。これを実行すると m_be.kmodel が作成されます。

で、flash-list.jsonのbinをm_be.kmodelに書き換えて、zipしてkfpkgにしてkflashします。
手作業でこれを何度もやるのが辛かったので、簡単なfpkgツクールスクリプト kfpkg.py 書きました。

import sys

import json

import zipfile

MODEL_LOAD_ADDRESS = 0x300000

FLASH_LIST_JSON = '{"version":"0.1.0","files":[{"address":0,"bin":null,"sha256Prefix":false}]}'

def kfpkg(fname):

    f = json.loads(FLASH_LIST_JSON)

    f["files"][0]["address"] = MODEL_LOAD_ADDRESS

    f["files"][0]["bin"] = fname + ".kmodel"

    j = json.dumps(f, indent=2, separators=(',', ': '))

    n = fname + ".kfpkg"

    print(n)

    with zipfile.ZipFile(n, "w", compression=zipfile.ZIP_DEFLATED) as z:

        z.writestr("flash-list.json", j)

        z.write(f["files"][0]["bin"])

kfpkg(sys.argv[1])

$ python kfpkg.py m_be

一発で m_be.kfpkg を作ってくれます。そしたらこれを kflash します。
maixPyコードは以下のようなシンプルコード

import sensor

import KPU as kpu

import gc

gc.collect()

sensor.reset()

sensor.set_pixformat(sensor.RGB565)

sensor.set_framesize(sensor.QVGA)

sensor.set_windowing((224, 224))

sensor.set_hmirror(False)

sensor.set_vflip(False)

sensor.run(1)

model = kpu.load_flash(0x300000, 1, 0x4000, 60000000)

while(True):

    img = sensor.snapshot()

    fmap = kpu.forward(model, img)

    plist = fmap[:]

    pmax = max(plist)

    max_index = plist.index(pmax)

    print("%.2f : %d" % (pmax, max_index))

これでほぼ準備は整いました。

ファームは maixpy_v0.6.2_57_gae955b706_m5stickv.bin を使いました。フル機能ファームってことです。だめでした。メモリ不足エラーが出ました。そこで、

model = kpu.load_flash(0x300000, 1, 0x4000, 60000000)

を

model = kpu.load_flash(0x300000, 0, 0x4000, 60000000)

に変更

動きました！
今一度、load_flash()の確認 https://en.bbs.sipeed.com/t/topic/1811 によると

task=kpu.load_flash(model_addr, is_dual_buf(0/1), batch_size, spi_speed)

1. model_addr: flash addr store your model, note, you need flip the model endian, use convert_le.py to convert normal model. and only support V3 model now.
2. is_dual_buf: 0, single buf, use less ram and slower speed; 1, dual buf, more ram and faster speed.
3. batch_size: when choose dual_buf, you need set load batch_size, suggestion value is 0x4000~0x10000, you can test out best value for your model.
4. spi_speed: when use flash runner, we will temporary set flash to high speed mode, set the spi speed you want. the value should <= 80000000

内部バッファをシングルバッファにしてギリ入ったということですね。
ちなみにファームを minimum_with_ide_support.bin にすればダブルバッファでも動きました。

パフォーマンスの違いはちゃんと調べてないけれど、体感ではそんなに大きく変わらなかった。

これで、M5StickCと繋げればちょっと楽しくなるかな。

JetsonNanoでmaix-trainしてUnitVで動かすまで

以前UnitV＋M5StickCplusでサンプルの顔認識とカメラ映像転送をやってみたが、JetsonNanoでSipeedのmaix-trainが動くか試してみた。

maix-trainは、classifier(mobilenet v1)とdetector(yolo v2)の２つできる。どちらもスクリプトを実行すると、mobilenet_7_5_224_tf_no_top.h5をベースに転移学習たネットワークを作って、h5,tflite,kmodelを一気に作成するスクリプトになっている。

UnitVでclassifierを動かすまでの流れを記載する。

Tensorflow2.xが必要なので前回構築した tensorflow2.5.0+nv21.7 環境で行う

$ . ~/tf2/bin/activate

maix-trainクローン

$ git clone https://github.com/sipeed/maix_train.git

ライブラリの事前インストール

$ cd maix_train
$ pip install -r requirements.txt
$ sudo apt install libgeos-dev

初期化

$ python train.py init

instance/config.pyが作成される。中に色々設定が記述されている。プラットフォームに合わせて編集しろと説明がされているが、そのままトレーニング開始！

classifierの方を実行する。

$ python train.py -t classifier -z datasets/test_classifier_datasets.zip train

約２０分で転移学習完了。out/m.tfliteが作成された。ここまでは問題なしだが、肝心のkmodelファイルは作成されません。下がout/train_log.logの最後の部分

2021-08-11 16:16:25,330 - [INFO]:  now generate kmodel
2021-08-11 16:16:25,331 - [INFO]:  save model as .h5 file
2021-08-11 16:16:26,166 - [INFO]:  save model as .tflite file
2021-08-11 16:19:08,334 - [ERROR]:  failed: TrainFailReason.ERROR_INTERNAL, node error:[Errno 2] No such file or directory: '/home/jetson/maix/maix_train/instance/../tools/ncc/ncc_v0.1/ncc': '/home/jetson/maix/maix_train/instance/../tools/ncc/ncc_v0.1/ncc'

最後にnccがないってエラーが出てkmodelはできません。当然ですね。

入れてませんから。。。というかarm64版のnccがないんですよ。

JetsonNanoでnccのビルドに挑戦してみます。。。

下準備（gcc8.xが必要。8が優先されるよう設定）

$ sudo apt install -y gcc-8 g++-8
$ sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-7 7
$ sudo update-alternatives --install /usr/bin/g++ g++ /usr/bin/g++-7 7
$ sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-8 8
$ sudo update-alternatives --install /usr/bin/g++ g++ /usr/bin/g++-8 8
$ sudo apt install libgtk2.0-dev -y
$ pip install conan

現時点の最新を取得してcmake & make

$ git clone --recursive -b v0.2.0-beta4 https://github.com/kendryte/nncase.git
$ cd nncase
$ mkdir out && cd out
$ cmake .. -DCMAKE_BUILD_TYPE=Release -DNNCASE_TARGET=k210

かなり時間かかる。conan関係のビルドが。。。

そして以下のようなエラーがでる

ERROR: boost/1.71.0@conan/stable: Error in source() method, line 151
        tools.get(url, sha256=sha256)
        AuthenticationException: Forbidden!

bintrayから取得できない（死んでる？）ようなので、URLを変更する。

~/.conan/data/boost/1.71.0/conan/stable/export/conanfile.py 151行目の

url = "https://dl.bintray.com/boostorg/release/%s/source/%s" % (self.version, zip_name)

を以下のように書き換える。

url = "https://boostorg.jfrog.io/artifactory/main/release/%s/source/%s" % (self.version, zip_name)

そして再度

$ cmake .. -DCMAKE_BUILD_TYPE=Release -DNNCASE_TARGET=k210

cmakeは成功したのでビルドしてみる

$ make -j4

だめだー

mutex.cc:(.text+0x12c): undefined reference to `absl::base_internal::SpinLock::SlowUnlock(unsigned int)'
mutex.cc:(.text+0x160): undefined reference to `absl::base_internal::LowLevelAlloc::Alloc(unsigned long)'
mutex.cc:(.text+0x1f4): undefined reference to `absl::base_internal::SpinLock::SlowLock()'
・・・とかどっさりリンクエラー

軽く調べてみると、conanでortools/7.3@sunnycase/testing をrequireしていて、ortoolsがrequireしている abseil/20190619@sunnycase/testing がだめらしい。あちこちでabseilがリンクエラーするという記事が上がっているが、ドンピシャの解決方法が発見できず。conanバージョンを1.21.1にしてみろとか（やってみたがcmakeでエラー）、abseilのリンクライブラリ順番を依存順に変えてみろとか（どこでー？）・・・

これはしばらく様子見です。

仕方ないので、nncaseビルドは諦めて、windows-wsl2環境でkmodel作成

（ここからはwsl2での操作）

V3モデル用 latest

https://github.com/kendryte/nncase/releases/tag/v0.1.0-rc5

V4モデル用 latest currentry

https://github.com/kendryte/nncase/releases/tag/v0.2.0-beta4

がありますが、v4モデルはまだ謎が多く。情報が少ない。

https://en.bbs.sipeed.com/t/topic/1790 が唯一の情報？

自分でも色々やってみたけどまともに動かない。しばらく様子見です。

ということで、V3モデルを作成します。

JetsonNanoで作成した outフォルダごとwsl環境にコピーします。で、

$ ../ncc-0.1.0rc5/ncc -i tflite -o k210model --dataset datasets/ m.tflite m_v3.kmodel

kmodelが約２MBで出来ました。これをflashかsdに書いて、kpu.load()で読んでkpu.forward()する流れです。このとき、立地なファームを使っている場合メモリ不足でロードが失敗したり、ロードは成功するけど、今度はsensorのFB確保時にメモリ不足になったりします。その場合は、 https://dl.sipeed.com/shareURL/MAIX/MaixPy/release/master/maixpy_v0.6.2_57_gae955b706 から maixpy_v0.6.2_57_gae955b706_minimum_with_ide_support.bin あたりを使えば大丈夫です。

ただ、このモデルが動いても、０と１しか結果が出ないので面白くはないです・・・