11/26, 28, 29に、QAML主催のイベント「AI/IoTシステムのための安全性シンポジウム」が開催されました。300名の参加者を集める盛況な会となりましたので、その様子を報告します。
このシンポジウムが企画されたきっかけとして、昨年度までIPAが主催していた「STAMPワークショップ」と「FRAMily」という2つのイベントがあります。それぞれ、システムの安全性を分析する手法である”STAMP”と”FRAM”に関する研究や活用事例を発表し、議論する場として開催されていました。今回は、QAML主催の「AI/IoTシステムの安全性」をテーマとするシンポジウムのなかで、STAMPやFRAMの活用法に関する議論も行うという位置づけになりました。なお、今回のシンポジウムの実行委員は、IPAの「IoTシステム安全性向上技術ワーキンググループ」のメンバーが中心になっています。
11/26は主にFRAMをテーマにしたプログラムで、FRAMの提唱者である Erik Hollnagel教授による基調講演と、5件の研究発表がありました。Hollnagel教授の講演は、「AIとは何か」という本質的な問いかけを含む格調高いものでした。有史以来の技術の発達を、人類が利用可能な能力の「増幅」と捉えた上で、それが「人間本来の能力」を遥かに上回ってしまった現在はそのギャップが安全を脅かす要因になるという見方には共感を覚えました。AIには、そのギャップを埋める役割が期待されますが、それにはモデリングが重要であり、FRAMはそのための有用な手段になると理解しました。
一般発表では、FRAMモデルの振る舞いの定量的評価をモデル検査やシミュレーションで行う手法の紹介が２件ありました。「モデルから何を読み取るか」に取り組む2件の発表は、変動と安定の関係といった哲学的な話も含まれ、興味深い発表でした。ニューラルネットワークを用いたAIの安全性をFRAMで分析した発表や、人が自然に行ってしまう行動をFRAMでモデリングした発表では、会場からも多くの質問があり、関心の高さが感じられました。月面着陸機の振る舞いをFRAMで分析した発表では、リアリティのあるモデルが示され、FRAMの実践的な使い方として大変参考になりました。
 ホルナゲル先生と実行委員 |
11/28、29は会場をNTTデータ研修センターに移し、共催者講演2件、招待講演4件と「信頼できるAIシステムのために今取り組むべき課題と持続可能な社会への展望」をテーマとしたパネルディスカッション、また、「STAMPワークショップ」としてSTAMPの活用事例や研究発表12件が行われました。
STAMPに関する発表では、自動運転、医療、鉄道、ロボットなどの領域での活用例や、セーフティだけでなくセキュリティにも適用した多様な事例発表がありました。人を含めたシステムを対象とした安全分析の事例が多く、人間の知的行動を人工的に実現する「AI」の安全性を考える上でもSTAMPによる分析は役立つ場面が多いだろう、という印象を持ちました。
共催者講演では、「Society5.0」の実現に向けてシステムズエンジニアリングの活用に取り組んでいるIPAの活動紹介と、システム理論あるいはSTAMPの真髄ともいうべき「創発性」について解説した講演があり、大変参考になりました。
  アイデア(28日交流会) |
招待講演では、会津大学の兼本先生より、STAMPによるシステムの安全分析について解説した講演がありました。事例を用いた具体的な説明は、STAMPの初心者にも分かりやすい内容だったと思います。JAXAの石濱さんからは、「自律システムの安全実現に向けて~とっても賢いシステムの安全性」をテーマに、STAMP/STPAと現在のJAXAでの取り組みについて講演がありました。FTA及びFMEAを用いて安全化方針を各システム段階で分析するJAXAにおける従来型の安全設計プロセスとSTAMP/STPAと連携したモデルベースシステムズエンジニアリングについて、具体的な説明がなされました。
大阪大学の原先生からは、機械学習モデルの判断根拠をいかに説明するか、というホットなテーマの講演がありました。機械学習ソフトウェアは、「正しさの基準」となる仕様がないことが従来のソフトウェアと大きく異なり、それが信頼性や安全性の問題に大きくかかわります。それに取り組む講演は多くの聴講者を集め、関心の高さが窺えました。東京電機大学の佐々木先生からは、セキュリティとAIに関する講演がありました。”Attack using AI”、”Attack by AI”、Attack to AI“、”Measure using AI” という4つの観点で問題を整理し、世の中の実例を多く紹介しながらの講演は大変分かりやすく、興味を引くものでした。
最後のパネルディスカッションは、原先生、佐々木先生のほかに、デンソーの中江さん、JR東日本の北村さんがパネリストとして登壇して行われましたが、Slidoを使ってリアルタイムに会場からの質問を受けつけ、パネリストが答える形式で大変盛り上がりました。「AIと安全性」の本質に迫るような鋭い質問や、自動車や鉄道など安全クリティカルシステムの現場の視点に関心を持つ質問が多く出され、パネリストの方がそれに真摯に答えてくださり、フロアの参加者も多くのことを得られたのではないかと思います。
今回は、AI・IoTシステムの安全性という「待ったなし」の課題がテーマであり、プログラムの内容もバラエティに富んでおり、非常に盛り上がったイベントになったと思います。この熱が冷めないように、草の根的な活動が数多く継続していくとよいと感じました。
報告者：向山輝