Howto

Armadillo-IoT G4 を用いた物体認識プログラムの動作確認と AWS 各サービスの利用による分析方法 (G4 セットアップ編) で作成した "my_container" 内で物体認識プログラムを動作させます。

以下の工程で実施します。

• 1. 物体認識プログラム
  • 1.1 設定ファイル
    
  • 1.2 接続機器
    
  • 1.3 動作確認
    
• 2. Amazon QuickSight
  • 2.1 Amazon RDS の分析設定
    
    • 2.1.1 VPC 接続の追加
      
    • 2.1.2 データセットの追加
      
  • 2.2 分析画面
    

1. 物体認識プログラム

Armadillo-IoT G4 上に "my_container" が作成されていると思います。以下のコマンドでコンテナを起動してアタッチします。

[armadillo ~]# podman start my_container
[armadillo ~]# podman attach my_container

/root ディレクトリ内に "object_detection" フォルダが存在していると思います。

[container ~]# ls /root
key object_detection

"object_detection" フォルダ内にある config.ini ファイルには物体認識プログラムで利用する変数が含まれており、動作環境に合わせて修正が必要です。物体認識プログラムはデバイスシャドウの更新の機能を利用して物体認識結果を更新します。

1.1 設定ファイル

"object_detection" フォルダ内にある config.ini に物体認識プログラムで利用する変数が含まれています。動作環境に合わせて修正してください。

[SETTING] には物体認識プログラムの動作に必要な設定項目になります。

[SE050] には AWS サービスへの接続に必要な設定項目になります。

1.2 接続機器

物体認識プログラムの動作のために必要な接続機器は以下になります。

• USB ハブ
• USB カメラ
• パトランプ(任意)
• ディスプレイ(任意)

また AWS サービスとの接続のため、ネットワーク接続も必須になります。Armadillo-IoT G4 のインターフェイスについては4.3. インターフェースレイアウトを確認してください。列挙したデバイス以外を接続したい場合はプログラムを修正してください。

• USB ハブ
  Armadillo-IoT G4 には USB ポートが1つのため、複数の USB デバイスを接続するためには USB ハブが必要になります。今回は USB カメラとパトランプを接続するため2ポート以上の USB ハブを使用します。また、接続するパトランプによってはセルフパワー型 USB ハブを使用してください。当 Howto では以下の製品を使用しました。

• USB カメラ
  物体認識プログラムでは USB カメラからの入力を用いて物体認識を行うため、USB カメラの接続が必須になります。当 Howto では以下の製品を使用しました。

• パトランプ(任意)
  パトランプの接続は任意となっているため、該当するパトランプを所持していない場合でも物体認識プログラムは動作します。しかし、他製品を使用する場合はプログラムの修正が必要になります。 当 Howto では以下の製品を使用しました。

• ディスプレイ(任意)
  物体認識した画像は S3 にアップロードされるためディスプレイの接続は任意となります。リアルタイムで物体認識した画像を確認したい場合はディスプレイを HDMI ケーブルを用いて接続してください。当 Howto では使用しません。

1.3 動作確認

以下のコマンドを実行して物体認識プログラムを起動します。

[container ~]# weston --tty=1 &
[container ~]# gpioset gpiochip0 12=1
[container ~]# python3 detect_usbcamera.py

以下は起動時の出力です。ディスプレイが接続されていないため、出力に失敗していますが動作には問題ありません。

INFO: Created TensorFlow Lite delegate for NNAPI.
WARNING: Operator CUSTOM (v1) refused by NNAPI delegate: Unsupported operation type.
Applied NNAPI delegate.
[ INFO:0] global ../modules/videoio/src/videoio_registry.cpp (191) VideoBackendRegistry VIDEOIO: Enabled backends(8, sorted by priority): FFMPEG(1000); GSTREAMER(990); INTEL_MFX(980); MSMF(970); V4L2(960); CV_IMAGES(950); CV_MJPEG(940); GPHOTO2(930)
ssse-flw: EmbSe_Init(): Entry
App   :INFO :Using PortName='/dev/i2c-2:0x48' (ENV: EX_SSS_BOOT_SSS_PORT=/dev/i2c-2:0x48)
sss   :INFO :atr (Len=35)
      00 A0 00 00    03 96 04 03    E8 00 FE 02    0B 03 E8 08
      01 00 00 00    00 64 00 00    0A 4A 43 4F    50 34 20 41
      54 50 4F
sss   :WARN :Communication channel is Plain.
sss   :WARN :!!!Not recommended for production use.!!!
ssse-flw: Version: 1.0.5
ssse-flw: EmbSe_Init(): Exit
ssse-flw: Control Command EMBSE_LOG_LEVEL; requested log level = 4
{'credentials': {'accessKeyId': 'ASIA5MP7XUMZ3T42HB5T', 'secretAccessKey': 'WykIFdASCAaf1BDWzXgm0LnElRmCIJZI5kucagPm', 'sessionToken': 'IQoJb3JpZ2luX2VjEAcaDmFwLW5vcnRoZWFzdC0xIkYwRAIgfecU40Z3Da0LSTuUlXJBYbt7Kq4EsHH3qAiJX12MwV8CIG46EuLENy11BK9bcYxfMFX06NZGMSeI1hYKB/+rW7QoKpoECKD//////////wEQAhoMOTIwMTk2MTk1MTIzIgw2v76t4GKN3kssQF0q7gNprqDpDdF/JjHmDh8/nFczCzv3JNHMv54yPHL9ig1WP3AqAadWc+bvFErVn2rdgCEso/FhIjrHS8uha4+bF7/E3Zoo+GATQyQmHeGo/aCUdMlBv+GCx8ajxo15p+5CWIKeX7k+jm/0FoLTg29gxpmaaFa2sgIvAtNFnPZjfT6EGPp5GXsE6KXjvtf7AXemhDk09Bfzpoex7xeCBwcrebeQtbpPdh/y1VOg24v5XznBm+Ne94CGljQ9qFhYHKkiNwL9khmFODlu3RwVYkiufgvjYQ/DtB1HoyHcbOr4XnJwFJQ1OY0h4Lfz5d+hDFzbZN+gko3jlUH3InCCm0/roMDPnL84sDjsf91Ythqsgw5sw7eCnIP+Ay0k2x3wWfbHSYu+pW5HHP3kt++EdUq1Lvrp7ynCFUFI1VXGH/EJeyd4W9XGqh4d/eljg+UhwsFN1zVnxdPlaLcqpb6ourSf+21rTm1454lN/eEW1EiNewyZLs/Kinz9SY1rwuFOFf5jdWnA0NiIGS6pmdsKso+sHPMtqYdlBvGDDXoY8/1xeAeo0CvoaWEx6mLDfcRFtl/4W7ZImfv8dP/egPTZ/c/UJcfgB9pUHRzFmoe6v4JEW7hWXA1/gXmjz1Ejgo2CJv2V35KHbMfBOqiIWzzQbraiujCE/bSSBjrHARUuWDPZWiazGzreD4gpkeX9Td/Nn8RQiKBJwr4JDbC2R2t1fDswhUAcW3YDeCxRX4UpD5ptkGpfNKQ8Oa3GxnNCe/XrWpcP6pbNDs5dWak5C4DHWCdYdkhHAob7Q7GufEfunCwQc073AyYkZqwbP0KOJ+lsWyTPBhXGR4SYX73MIVvAKNkmbiafI+udLqKeJ+SzyfueH0PuF2jcfZ91XWiQ5MzUDyHXh2Z4kZu/3hK8l5s8cRf0U0ZGbf7uGofDw083QG+OOzc=', 'expiration': '2022-04-06T08:17:24Z'}}
~~省略~~
(Object Detection Demo:10): Gdk-CRITICAL **: 07:17:25.245: gdk_monitor_get_scale_factor: assertion 'GDK_IS_MONITOR (monitor)' failed

"credentials" が表示されない場合はネットワークを確認してください。物体認識され、S3 に画像がアップロードされた時の出力は以下のようになります。

file upload success.
add data in list and send 2022-04-06/2022-04-06_162402_062.jpg
file upload success.
add data in list and send 2022-04-06/2022-04-06_162403_045.jpg
file upload success.
add data in list and send 2022-04-06/2022-04-06_162403_606.jpg
file upload success.
add data in list and send 2022-04-06/2022-04-06_162403_977.jpg
update shadow and send data in RDS.
~~~~~~~~~~~~~~~~~~~~~~~
Update request with token: 55c00405-4aa2-44b1-82b6-cd13429a62c8 accepted!
property: [{'object': [{'class_id': 'person', 'score': 0.5}, {'class_id': 'person', 'score': 0.4375}], 'timestamp': '2022-04-06 16:24:02.062', 'gateway_id': '000000C900010068', 'camera_id': 2, 'object_key': '2022-04-06/2022-04-06_162402_062.jpg'}, {'object': [{'class_id': 'knife', 'score': 0.51171875}, {'class_id': 'knife', 'score': 0.4609375}, {'class_id': 'person', 'score': 0.42578125}], 'timestamp': '2022-04-06 16:24:03.045', 'gateway_id': '000000C900010068', 'camera_id': 2, 'object_key': '2022-04-06/2022-04-06_162403_045.jpg'}, {'object': [{'class_id': 'person', 'score': 0.609375}, {'class_id': 'person', 'score': 0.44921875}], 'timestamp': '2022-04-06 16:24:03.606', 'gateway_id': '000000C900010068', 'camera_id': 2, 'object_key': '2022-04-06/2022-04-06_162403_606.jpg'}, {'object': [{'class_id': 'person', 'score': 0.4375}], 'timestamp': '2022-04-06 16:24:03.977', 'gateway_id': '000000C900010068', 'camera_id': 2, 'object_key': '2022-04-06/2022-04-06_162403_977.jpg'}]
~~~~~~~~~~~~~~~~~~~~~~~

物体認識された場合は指定の Eメールアドレスにメールが送信されているはずです。以下は送信されたメール本文の一例になります。

侵入物体を検知しました。
最も高いスコアのラベル名：person です。2022-04-06/2022-04-06_162403_606.jpg を確認してください。

メール本文には一番スコアが高い画像のファイル名が記載されています。S3 バケットにアップロードされている該当ファイルを確認してください。また、物体認識結果は RDS に格納されています。

2. Amazon Quicksight

Amazon QuickSight は VPC 接続するためエンタープライズ版を使用します。スタンダード版を使用している場合はエンタープライズ版にアップグレードしてください。ただし、アップグレード後はダウングレードできない のでご注意ください。アップグレードは [QuickSight の管理]画面の上部にある[今すぐアップグレード]を選択してください。

2.1 Amazon RDS の分析設定

2.1.1 VPC 接続の追加

2.1.2 データセットの追加

データベースからのデータセットの作成を参考に RDS のデータセットを追加します。

[データソースを作成]を選択後、テーブル名を選択します。

2.2 分析画面

分析画面を表示するにはチュートリアル: Amazon QuickSight 分析を作成するやチュートリアル: Amazon QuickSight ビジュアルを変更するを参考にしてください。 以下は設定例です。

描画されたグラフは以下のようになります。

検出されたラベルの頻出頻度がわかります。

以上で Howto を終了します。 各 AWS サービスが不要になった場合はただちに削除・停止を行ってください。