AI/IoTシステムのための安全性シンポジウム 資料公開

11/26, 28, 29に、国立情報学研究所QAMLプロジェクト主催イベント「AI/IoTシステムのための安全性シンポジウム」が開催され、ソフトウェア工学、セーフティ、セキュリティに関する国内の15団体の共催、協賛、後援で308名の参加者を集める盛況な会となりました。

 金子朋子 吉岡実行委員長と金子プログラム委員長

製造業、輸送業、コンピュータメーカ、ITベンダー、大学・研究機関など幅広く、約180の企業や団体からの参加となり、アンケート結果は大概、一般講演(FRAM)が理解度90%・満足度85%、「興味ある内容だった(STAMP)」が88%となりました。「盛況で素晴らしかった」、「使用者の動向のわかる、とても有意義な会だった。」等のコメントが寄せられました。

28日の交流会には44名の方が参加され、AI、IoTを含めた複雑なシステムの安全性や今後のシンポジウムや活動の在り方について、様々な意見を交換しました。

kouryu-kai 交流会(28日)にて

今回はセーフティの2大巨匠の一人、レジリエンス・エンジニアリング提唱者のエリック・ホルナゲル教授の基調講演でしたが、次回は来年の6/1-3で、もう一人の巨匠MITナンシー・レブソン教授の来日講演などを予定しています。1月下旬に一般発表論文募集も行いますので、是非ご応募ください。

本シンポジウムの講演資料・発表資料・アンケート結果を公開します。

講演番号
講演/発表者名
所属
タイトル
概要
FR001Sエリック・ホルナゲル氏スウェーデン ヨンショーピング大学The Iimpact of AI on Human Work
FR011N青木 善貴氏日本ユニシスFRAMモデルの可読性向上のための支援FRAMでは,六つの側面により機能を関連付けてモデル化し,分析者はそのモデルに内包されるシステムの振る舞いを解釈して機能共鳴の分析を行う.ところが,その解釈は分析者のドメイン知識に頼った定性的な評価でなされるため,複雑な振る舞いの評価を端的に示すことや分析者間の評価の共有が難しい.そこで,分析者が解釈しやすいように,FRAMモデルが内包するシステムの振る舞いを定量化する手法を提案する.振る舞いを定量化できれば,成功要因・失敗要因等を分析するための客観的な評価指標の提示ができ,FRAMモデルの可読性向上の支援につながると考える.
提案手法では,FRAMモデルを確率を扱えるモデル検査ツールPRISMのモデルへ変換し,このモデルを経過時間を限定する検査式で検証することにより振る舞いの定量化を行う.
発表ではFRAMモデルをPRISMモデルへ変換する手順及び検証方法を説明し,本提案手法を適用した事例を用いて,FRAMモデルにおけるシステムの振る舞いを理解しやすくできることを示す.
FR012N野本 秀樹氏有人宇宙システムブラックボックス型人工知能システムの安全検証ディープニューラルネットワーク等、ブラックボックス型AIの安全性を形式手法を用いて論証する手法について概説する。
FR021N日下部 茂氏長崎県立大学行動ベースのセーフティマネジメントへのFRAMの適用について安全に関する取り組みにFRAMと行動分析を併用するアプローチについて発表する。行動とその変容についての科学な取り組みである行動分析学の知見は様々な領域において有用で,それは安全に関する行動にもあてはまる。そのため、行動分析学を現実世界の安全問題に適用し、人々の注意と行動を常に自分や他の人々の日常の安全行動に集中させるプロセスとして、行動分析学にもとづくBBS (Behavior Based Safety)の取り組みがなされてきた。BBSのベースである行動分析学では随伴性にもとづくオペラント条件付けが重要な役割を果たすが、その分析に用いられる随伴性ダイアグラムの作成と分析は属人性が高いものとなっている。本研究ではそのような随伴性とオペラント条件付けのモデル化と分析にFRAMを用い、ることについて発表する。
FR022N広瀬 貴之氏京都大学FRAMに基づく数値シミュレータの開発と活用
FR023N植田 聡史氏JAXA月着陸機の着陸シーケンスのFRAM分析
ST101S中尾 昌善氏IPA 社会基盤センターアーキテクチャ視点で挑むSociety5.0の実現Society5.0では、その見取り図となる考え方や概念を「アーキテクチャ」という構造で捉え、推進の礎にしていこうとしています。アーキテクチャ検討のベースとなるシステムズエンジニアリングとIoTに関する取組みを紹介します。
ST102S野本 秀樹氏有人宇宙システム株式会社STAMPと創発性STAMPの理論における重要なキーワードである「創発性」が、STAMPのモデルにどのように表現され得るのかについて概説する。
ST103S兼本 茂氏会津大学システム思考で考える複雑システムの安全とSTAMPAI・IoT時代の複雑システムの安全は、従来の安全規格の範囲で守ることはできない。故障がなくても事故は起きるということを前提に安全設計をしないといけない。この背景と、そのための方法論の一つとして期待されているSTAMPの考え方を述べる。
ST111S石濱 直樹氏JAXA宇宙機等のクリティカルシステムの品質について(仮題)
ST121N小松 隆氏富士通コンピュータテクノロジーズ「つながる世界の品質確保に向けた手引き」をヒントワードに活用する取り組みIoTシステムに特化した「ヒントワード」をまとめることで、IoTシステムに対するハザード誘発要因(HCF)の特定を容易にするための取り組みについて発表する。
安全・安心なIoTシステムを開発するための考慮事項をまとめた冊子として「つながる世界の品質確保に向けた手引き」(2018・IPA)がある。手引きには「つながる機器の性能差」や「つながる機器の種類と接続数」といったIoTシステム特有のレビューの観点が記載されているが、これらの観点が「ヒントワード」として活用可能だということに着目し、「IoTシステムに特化したヒントワード」として独自にまとめた。
HCFの特定はSTAMP/STPAの手順の中でも特に分析者のスキルに依存する部分であり、ヒントワードからどれだけ発想を膨らませられるかがカギとなる。IoTシステムに特化したヒントワードを用意することによって、分析者のスキルに大きく依存することなく、IoTシステムで想定されるハザードシナリオを抽出できるようにすることを狙っている。
現在はトライアル段階であるが、トライアルでの成果や新たな気付きを報告する。
ST122N積田 恵一氏JASA安全性向上委員会 安全仕様化WGSTAMPシミュレーションツール Sim4stampの機能向上”Sim4stampはGUI上でモデルを作成し、VDM++のスケルトンソースを自動生成し、シミュレーション実行を行い、正常結果と偏差注入結果を比較することで、UCA一覧表の作成を補助するツールである。今回、変数の型として5値論理を追加することにより、より簡単にシミュレーションの作成、実行ができるようになった。また、結果をUCA一覧に準じた形でファイル出力可能にした。なお、5値論理とは「1」から「5」の数値を意味づけたものであり、例えば温度なら「とても低い」「低い」「適温」「高い」「とても高い」にそれぞれ割り付けたものであり、シミュレーションの作成と解釈を単化する効果がある。
ST131N北村 知氏JR東日本列車接近警報システムのSTAMP/STPA分析とSafety2.0”STAMP/STPA手法と従来のFTA手法を併用して、JR東日本で導入を進めているGPSを活用した列車接近警報システム(GPS列警)の安全性分析を行い、それぞれの手法の特徴に基づいた分析上の役割分担を示した。
また、産業安全の指標として近年提唱されているSafety 2.0(協調安全)を見据えてGPS列警の改善案を検討した結果、システムの役割分担が従来から変化し、システム全体としてさらに高度なレベルでの安全性を実現できることを示した。
ST132N高野 友佑氏JR東日本鉄道信号システムにおける効率的なハザード要因抽出のためのSTAMP/STPAの応用について鉄道信号システムは、鉄道の安全安定輸送を確保するために必要不可欠な存在である。近年、鉄道信号システムは機能分散・ネットワーク化に伴うハードウェア構成の複雑化、機能向上に伴うソフトウェアの肥大化等により、システマティックエラーのリスクが増大する傾向にある。そのため、新規に開発するシステムにおいては、それらのリスクを回避するため、ハザードの要因を網羅的・効率的に抽出する必要がある。STAMP/STPAはハザード要因をトップダウンに抽出する手法として鉄道においてもその有効性が確認されているが、抽出する事象の「網羅性」と「抽象度」は相反する関係にあるため、網羅性が高く、かつ具体的な内容のハザード要因を抽出するため、鉄道信号システムのハザード要因解析に特化した新たなSTAMP/STPA手法の提案を行う。
ST133N杉浦 英樹氏ETロボコン南関東地区 実行委員会ETロボコンにおけるSTAMP/STPAの利用促進本発表では、ETロボコンにおけるSTAMP/STPAの導入推進活動に関する事例を紹介する。ETロボコンは、同一仕様のロボット走行体を用いて、同一仕様のコースを走行し、その時間を競う競技である。最大の特徴は、制御ソフトウェアの開発におけるプロセス成果物である、分析モデル、設計モデルを吟味し、ソフトウェア開発の工夫や正しさを評価し、競技結果に加味する点である。
レースでは、ロボット走行体がコースに上のラインをトレースして走行することが基本となるが、競技である以上、様々な障害に陥る危険を考慮する必要がある。安全確実に競技を進めるにあたって、自動車に求められる安全性の考え方を踏襲したシステム安全解析手法が効かない理由がない。そこで、STAMP/STPAを利用し、ロボットの走行安定性、確実性、さらには、過去のレース経験の伝承伝達ができそうなことを確認し、ETロボコンでの利用を提案し、採用を推奨するに至った。
プロセスの考え方、分析の考え方、モデルの考え方、明示する内容を具体的に紹介する。
ST134N橋本岳男氏一般社団法人JASPAR機能安全WG安全分析手法開発チーム自動運転システムへのSTAMP適用の取組み~Unknown Unsafeシナリオ導出に向けた挑戦~”
ST201N福島 祐子氏日本ユニシスセキュアな機能の実現を目指すSTPA-Secの試行 〜プロセスモデルを中心とした分析〜CPSでは、サイバー攻撃が情報システムだけではなく、システムにつながる機器、人、社会インフラにまで物理的な影響を及ぼすことが懸念される。そのため、セキュリティ対策においては、企画・設計の上流工程から安全性とセキュリティの両方の観点を検討する必要がある。
STPAは開発の早期から適用可能な安全分析手法であり、事故は故障によっても起きるが、“プロセスモデル(システムが信じているシステムの状態)”と“システムの実際の状態”の不一致によっても起きるという考え方に基づいている。
STPAに対してさらにセキュリティの観点を追加して拡張したSTPA-Secが提案されている。現在のセキュリティ分析手法は脅威分析に焦点を当てているが、STPA-Secはセキュアな機能の実現に重点を置く。STPAと同様にプロセスモデルを重視しており、コントロールアクションがハザードにつながるプロセスモデルの組み合わせを分析し、システム設計に反映することにより、セキュアな機能の実現を目指している。
本発表では、STPA-Secによるプロセスモデルを中心とした分析事例を紹介し、CPSを設計する上での有効性について考察する。
ST202N鈴木 克明氏オリンパス医療事業におけるSTAMPを用いた安全性・セキュリティ対応プロセス改善の取り組みオリンパスにおける医療機器の開発において、従来の安全を実現するための品質管
理手法ではシステム視点の網羅的な識別に困難である。
しかし、サイバーセキュリティにおいては、システム視点での網羅的な抽出は不可
欠である。
そこで、医療機器のセキュリティ脅威の分析をSTAMP/STPAをベースに拡張子、コン
セプト開発レベルで分析を行った事例を紹介する。
ST203N金子 朋子氏NTTデータSTAMP S&S~レベル3自動運転事例によるセーフティ・セキュリティ統合リスク分析STAMP/STPAはセーフティを中心に展開されてきたが,セキュリティ上のリスク分析にも適用可能であり,STPAのセキュリティ対応手法であるSTPA-Secも提案されている.さらにセーフティと脆弱性に着目したセキュリティを統合分析するSTPAの拡張であるSTPA-SafeSecも提案されている.
しかし相互作用に着目したSTAMPの特長をいかし脅威をセキュリティ属性別に網羅的に識別するためにはさらなる工夫が要ると筆者らは考えている。そこでSTAMPモデルを使ってSTPAの手順に従いつつ脅威モデリングを追加する方法を提案し,セーフティとセキュリティを企画・要求段階から同時に分析できる手法としての手順を提示する.さらにそのフレームワークに対しての実験結果による評価を行った.具体的にはレベル3の自動運転のブレーキシステムにセーフティとセキュリティ統合フレームワークを適用して実施した実験結果とその有効性評価を提示する.
ST204NDANIEL PATRICK氏三菱航空機Using ontology to support STPA analysisSystems-Theoretic Process Analysis (STPA) is a safety analysis approach for evaluating the safety of complex systems. Different industries have employed STPA techniques to identify safety concerns during system operation. From our knowledge, the STPA for security does not gain attention from the industry yet. STPA for security is an extension of STPA that proposes to include security concerns into the analysis. However, the manner to investigate security concerns is different from safety. The former concerns to intentionality actions performed while the latter concerns to unintentional actions. We propose an ontology-based technique that extends STPA to improve identification of causal scenarios and associated casual factors, specifically those related to security. The approach assists the systems engineer to conduct safety and security analyses using STPA with a supporting ontology. A tool that implements the proposed ontology was created to support the systems engineer during the safety and security analysis.
ST211N柳原 靖司氏ブラザー工業多様なステークホルダの視点をSTAMP/STPAに導入する試み我々の研究チームでは、情報システムの領域で多様なステークホルダの視点を考慮しながらSTAMP/STPAのような解析手法を用いた場合に獲得される安全性やセキュリティの非機能要件に着目しております。一般的に、システム開発では多様なステークホルダが持つ視点によって、要求・要件の合意形成でコンフリクトが起こることが知られています。特に非機能はそれが顕著に現れます。今回、仮想の「クラウドIoTランドリーシステム」をテーマとしてSTAMP/STPAを用いて予備実験を行ったところ、獲得された対策にはステークホルダの間で対立要件となりうるものが含まれていました。多様なステークホルダの視点を考慮したSTAMP/STPAと、そこで獲得された安全性やセキュリティの非機能要件をゴール指向で要求分析する提案手法を報告させて頂きたく存じます。
なお、今回はSTAMPワークショップでの報告なので、予備実験の結果から得られたIoTシステムならではの分析結果にフォーカスを当てたいと考えております。
ST212N日下部 茂氏長崎県立大学行動分析を用いた自動改札システム利用者の心理的安全分析行動についての科学に取り組みである行動分析学は、個人や組織の行動を、個人と環境との相互作用のありかた、としてとらえる。そのような行動分析の知見を、自動改札システム利用者の心理的安全についてのSTAMP/STPAでの分析に取り入れることを説明する。自動改札機そのものだけでなく、利用者が列車を降りてからの環境との相互作用に着目した分析を行う。相互作用において、先行条件(Antecedents)、行動(Behavior)、結果(Consequences)の分析、いわゆるABC分析をSTAMP/STPAと併用して行う。特に、先行条件を、弁別刺激による刺激性制御と強化刺激に対する確立操作に明示的に分けた分析を行う。弁別刺激は、ある特定の強化を受けるには何時・どこで・何をしたらよいか、つまりB(行動)のTPOを指示する刺激であり、それは外部の環境刺激(他者の行動を含む)や、自分自身の言語反応や情動反応がその刺激としての働きをする可能性がある。また、確立操作というのはC(結果)となる事象の強化刺激としての効果を確立するための操作である。このような観点から利用者と改札機や駅の環境との相互作用および心理的安全についてSTAMP/STPAによる分析を行う。
ST221S原 聡氏 大阪大学産業科学研究所機械学習モデルの判断根拠の説明“行動についての科学に取り組みである行動分析学は、個人や組織の行動を、個人と環境との相互作用のありかた、としてとらえる。そのような行動分析の知見を、自動改札システム利用者の心理的安全についてのSTAMP/STPAでの分析に取り入れることを説明する。自動改札機そのものだけでなく、利用者が列車を降りてからの環境との相互作用に着目した分析を行う。相互作用において、先行条件(Antecedents)、行動(Behavior)、結果(Consequences)の分析、いわゆるABC分析をSTAMP/STPAと併用して行う。特に、先行条件を、弁別刺激による刺激性制御と強化刺激に対する確立操作に明示的に分けた分析を行う。弁別刺激は、ある特定の強化を受けるには何時・どこで・何をしたらよいか、つまりB(行動)のTPOを指示する刺激であり、それは外部の環境刺激(他者の行動を含む)や、自分自身の言語反応や情動反応がその刺激としての働きをする可能性がある。また、確立操作というのはC(結果)となる事象の強化刺激としての効果を確立するための操作である。このような観点から利用者と改札機や駅の環境との相互作用および心理的安全についてSTAMP/STPAによる分析を行う。
ST222S佐々木 良一氏 東京電機大学AI/IoTシステムの安全性確保のための考察AI/IoTシステムの安全性確保のためにまずAIと安全性をめぐる4つの観点から分析を行う。(a) Attack using AI (b) Attack by AI (c) Attack to AI (d) Measure using AI。次に、IoT システムのセキュリティとリスク評価について研究状況を紹介したのちAI機能を持つIoTシステムのリスク評価に関する考察を行う。
ST223P中江 俊博氏(株)デンソー ソフトウェア先行開発室【パネリスト講演】
ST224P北村 知氏JR東日本鉄道信号へのAIIoT応用に向けた挑戦と課題