jun.sato1213
2023年9月8日 11時30分
お世話になっております。
IoT-G3L端末に関して問合せさせて頂きます。
現在自社で、産業機器PLCからの稼働データ収集及び監視を、御社端末を利用して実施しております。
現地に端末を設置後、PLCとEthernet接続してデータを収集し、データ群をLTE通信を使ってインターネット経由で
自社管理のパブリッククラウドに集めます。これをクラウド上のアプリケーションで監視するという構成です。
端末を接続してしばらくはデータ収集が問題なく行えたのですが、数週間したあるタイミングでノードダウンが発生し、
その後復帰せずにそのまま死んだ状態となってしまいます。
導入済案件が2件あり、その2件で同様の事象が発生しております。
IoT-G3Lには今年の1月くらいにDLしたディスクイメージ(Debian GNU/Linux10(buster) v20230127)を使用しているのですが、
今年に入ってから現在に至るまで、ディスクイメージのVerアップで上記改善が見込まれる可能性はあるでしょうか？
現在原因調査を開始したところで、まずは使用したディスクイメージのVerが古いことが原因かどうか確認したいと考えております。
よろしくお願い致します。
コメント
jun.sato1213
> ノードダウンとは何を表していますでしょうか。おそらくクラウドとG3Lが通信できていない状態なのだと考えられますが、
ノードダウンはご推察のとおり、クラウドとG3Lの通信断の状態です。
> 以下ページを参考に、Modemmanagerのデバッグログを有効にした状態でのsyslog等を添付いただけると、もう少し詳細な情報がわかるかと思います。
syslogはZabbixエージェントで監視しており、
通信断となった9/3の12時26分前のログは添付のとおりです。
こちらでは判断が難しいでしょうか。
| ファイル | ファイルの説明 |
|---|---|
| IoTGW_Syslog 20230902-03.pdf |
at_keitaro.takahashi
高橋です。
> syslogはZabbixエージェントで監視しており、
> 通信断となった9/3の12時26分前のログは添付のとおりです。
> こちらでは判断が難しいでしょうか。
添付いただいたログでは、LTE接続自体が失敗しているということしかわかりません。
LTEモジュールが実際にどのようなやり取りを行っていて、どの部分で失敗しているかの確認には
NetworkManagerだけではなく、ModemManagerのログも必要です。
(前回の回答に記載した通り、デバッグログも有効になっていればより解析しやすいです。)
また、標準で動作しているconnection-recover(3G/LTE再接続サービス)のログも必要かと思います。
jun.sato1213
> 高橋です。
>
> > syslogはZabbixエージェントで監視しており、
> > 通信断となった9/3の12時26分前のログは添付のとおりです。
> > こちらでは判断が難しいでしょうか。
>
> 添付いただいたログでは、LTE接続自体が失敗しているということしかわかりません。
> LTEモジュールが実際にどのようなやり取りを行っていて、どの部分で失敗しているかの確認には
> NetworkManagerだけではなく、ModemManagerのログも必要です。
> (前回の回答に記載した通り、デバッグログも有効になっていればより解析しやすいです。)
> また、標準で動作しているconnection-recover(3G/LTE再接続サービス)のログも必要かと思います。
現状IoT端末が現地に設置されたままとなっておりまして、現地訪問タイミングでないと当該ログは取得できません。
ログを収集次第、返信させて頂きます。
jun.sato1213
お世話になります。
確認なのですが、端末のデバッグログのモード(mmcliコマンド)を有効にした状態で、
再度このネットワーク異常状態が再現されないとログ取得、要因解析は無理ということで認識合っているでしょうか？
現地に取り付けていたG3L端末を回収し、本日デバッグログを有効状態にするところまでは実施しました。
> > 高橋です。
> >
> > > syslogはZabbixエージェントで監視しており、
> > > 通信断となった9/3の12時26分前のログは添付のとおりです。
> > > こちらでは判断が難しいでしょうか。
> >
> > 添付いただいたログでは、LTE接続自体が失敗しているということしかわかりません。
> > LTEモジュールが実際にどのようなやり取りを行っていて、どの部分で失敗しているかの確認には
> > NetworkManagerだけではなく、ModemManagerのログも必要です。
> > (前回の回答に記載した通り、デバッグログも有効になっていればより解析しやすいです。)
> > また、標準で動作しているconnection-recover(3G/LTE再接続サービス)のログも必要かと思います。
>
> 現状IoT端末が現地に設置されたままとなっておりまして、現地訪問タイミングでないと当該ログは取得できません。
> ログを収集次第、返信させて頂きます。
at_keitaro.takahashi
jun.sato1213
現時点でsyslogを確認しましたが、本日届いたG3Lを立上げた時間以降のログしか入っておりませんでした。
logディレクトリの中身も見ましたが、syslogの圧縮ファイルの日付を見ても、通信断が発生した日のログはないようです。
残っているログは、先日お送りしたZabbixエージェントのものしか残っておりません。
なお、SIMは、イプシム(NTTドコモ)の10GBプランを使用しています。
> 高橋です。
>
> > 確認なのですが、端末のデバッグログのモード(mmcliコマンド)を有効にした状態で、
> > 再度このネットワーク異常状態が再現されないとログ取得、要因解析は無理ということで認識合っているでしょうか？
>
> 現時点のログ(syslog)でも、添付いただければある程度の解析は可能かと思います。(基地局への登録はできているか、LTE再接続サービスが稼働しているかなど)
> 状態が再現された状態でのデバッグログがあれば、より詳細に解析が可能となります。
>
> また、契約されているSIMの情報(契約プランなど)もいただけるとありがたいです。
>
jun.sato1213
提供できる情報量に限りがあって申し訳ありません。
G3L端末のログの中で、圧縮ファイルとして保存してあったファイルの一部が、
通信接続の切断が発生した9/3 12時付近のものでした。
接続断(ノードダウン)が発生したのは12時26分でしたが、その直前のログを送付いたします。
こちらから何か把握できるでしょうか。恐れ入りますが、ご確認をお願い致します。
| ファイル | ファイルの説明 |
|---|---|
| syslog.zip |
at_keitaro.takahashi
高橋です。
ログの提供ありがとうございます。
内容を確認いたしましたが、原因の解明に繋がりそうなログは見つかりませんでした。
添付頂いた時間以降のログはありますでしょうか？
その時間帯のログが含まれているsyslogを丸ごと添付いただくのが一番良いですが、それが難しい場合は
LTE再接続サービス(下記参照)の稼働状況の確認もかねて、ノードダウン直前からその後１〜２時間くらいのログが含まれていると助かります。
https://manual.atmark-techno.com/armadillo-iot-g3l/armadillo-iotg-g3l_p…
jun.sato1213
> 高橋です。
>
> ログの提供ありがとうございます。
> 内容を確認いたしましたが、原因の解明に繋がりそうなログは見つかりませんでした。
>
> 添付頂いた時間以降のログはありますでしょうか？
> その時間帯のログが含まれているsyslogを丸ごと添付いただくのが一番良いですが、それが難しい場合は
> LTE再接続サービス(下記参照)の稼働状況の確認もかねて、ノードダウン直前からその後１〜２時間くらいのログが含まれていると助かります。
> https://manual.atmark-techno.com/armadillo-iot-g3l/armadillo-iotg-g3l_p…
しばらく返信できておりませんでした。失礼いたしました。
添付させて頂いた時間前後のログはないため、これ以上出せるものがありません。
syslogをすべてDLして確認しましたが、ありませんでした。ログによる調査は一旦完了となると考えています。
at_keitaro.takahashi
2023年9月8日 16時29分
高橋です。
アップデート内容についてはアップデートニュースに記載されておりますので、
以下をご確認いただけると幸いです。
https://armadillo.atmark-techno.com/news/software-updates?field_taxonom…
> 端末を接続してしばらくはデータ収集が問題なく行えたのですが、数週間したあるタイミングでノードダウンが発生し、
> その後復帰せずにそのまま死んだ状態となってしまいます。
> 導入済案件が2件あり、その2件で同様の事象が発生しております。
ノードダウンとは何を表していますでしょうか。おそらくクラウドとG3Lが通信できていない状態なのだと考えられますが、
その場合主に以下の2パターンが考えられます。
・G3LがLTE網に接続できていない
・G3LはLTE網に接続できているが、クラウドとの通信が行えていない
以下ページを参考に、Modemmanagerのデバッグログを有効にした状態でのsyslog等を添付いただけると、もう少し詳細な情報がわかるかと思います。
https://armadillo.atmark-techno.com/faq/aiotg-g3l-lte-doesnt-work