お知らせ

第2回「AI/IoTシステム安全性シンポジウム」の参加者募集　　　

複雑なシステムをどのように安全に開発すべきか。「第2回 AI/IoTシステム安全性シンポジウム」では、このヒントをきっと得られます。

自動運転をはじめとする機械学習システムの安全性をテーマとして、AIの最先端研究者や技術者による貴重な後援とパネルディスカッションを企画しています。また2つのWorkshopは、セーフティの世界の2大巨匠のオンライン講演を無料で聴講できるチャンスです。システム理論に基づく事故モデルSTAMP（※1）の提唱者であるナンシー・レブソン教授、レジリエンスエンジニアリング（※2）の提唱者であるエリック・ホルナゲル教授の講演とともに、これらの手法の実践者による成果発表など、魅力的な企画が目白押しです。

なお、STAMP Workshopでは、「ショートトークセッション」の枠を新たに設け、発表者を追加募集します。まだまとまった成果にはなっていなくても、STAMPの適用を試みている事例をご紹介いただき、STAMPの新たな活用の可能性や、発表者の気づきにつながるような議論を行うことを意図した企画です。STAMPを使い始めの方、様々な意見や助言を聞いてみたい方など、ぜひ、ご応募ください。（10分程度のスライド発表と質疑応答、意見交換の形で進めます。）ショートトークセッションの発表申し込みはこちらからご登録ください。（※3）

開催概要

開催日2020年11月10日(火)、11日(木)、12日(金)

共催：国立情報学研究所「Engineerable AI（eAI）」プロジェクト

AI/IoTシステム安全性シンポジウム実行委員会

機械学習研究会（MLSE）機械学習システムセーフティ＆セキュリティWG

株式会社エヌ・ティ・ティ・データ、有人宇宙システム株式会社

後援：独立行政法人情報処理推進機構（IPA

以下のURLより参加お申込みください

シンポジウムの公開サイト
https://ai-iot-system-safsec.connpass.com/event/186760/

プログラム

2020年11月10日(火)

10:00－機械学習システムのセーフティ・セキュリティWG（MLS^3）セッション

・自動運転の事例にみる機械学習システムの安全性の課題等

13:20-オープニング

13:30 – 14:30 ：基調講演：製造業におけるAI/IoT技術を活用したDXの取組み

浦本直彦氏（株式会社三菱ケミカルホールディングス執行役員 Chief Digital Officer）

14:30-14:50 招待講演１：機械学習品質マネジメントガイドライン

講演者：調整中

14:50-15:00 休憩（スポンサーセッション）

15:00-15:20 招待講演２：自動運転の標準化の世界動向（仮）

講演者：調整中

15:20-15:40 招待講演３：Microsoft の Responsible AI への取り組み
女部田啓太氏（マイクロソフト）

15:40-16:00 講演：機械学習の品質ガイドラインと機械学習工学研究について（調整中）
石川冬樹氏（国立情報学研究所・准教授）

16:00-17:05 休憩（スポンサーセッション）
16:05-17:30 講演者によるパネルディスカション
「機械学習応用システムの安全性は担保できるのか？」
司会：丸山宏氏（PFN）
17:30-19:00 交流会

・11/11（水）Asian STAMP Workshop

「Asian STAMP Workshop」は、システム理論に基づく安全性分析手法STAMP（※1）の提唱者のMIT ナンシーレブソン教授を迎え、アジアで初めてグローバルに開催します。第5回となるSTAMPワークショップ（日本語）と共に開催します。

9:00－10:20基調講演

ナンシーレブソン氏（米国　マサチューセッツ工科大学教授）

10:30－13:10　Asian STAMP Workshop（English5件）　休憩10分こみ

13:30－16:00　 Asian STAMP Workshop（日本語5件）

16:00－16:15　休憩（スポンサーセッション）

16:15－19:00　ショートトークセッション

・11/12(木）FRAM　Workshop（※2）

「FRAM Workshop」は、昨年に引き続きレジリエンス・エンジニアリングの

提唱者のエリック・ホルナゲル教授を迎え、議論します。

13:00－レジリエンスエンジニアリング発表(3件)

16:00－基調講演

　エリック・ホルナゲル氏（スウェーデン　ヨンショーピング大学教授）

※1：STAMP（System Theoretic Accident Model and Process）「安全/事故はシステムの構成要素の相互作用による創発特性である」という理論に基づく分析手法

※2：レジリエンスとは復元力、回復力を意味する言葉であり、レジリエンスエンジニアリングが提唱することの一つは、安全を旧来の考え方から「物事が正しい方向へと向かうことを保証する、すなわち、うまくいっていることから学ぶ」という新たな考え方への変革を促すこと。FRAM（Functional Resonance Analysis Method：機能共鳴分析手法）はその代表的分析手法。

※3：上の申込フォームにアクセスできない方は、お名前、ご所属、発表タイトルを「問い合わせ先」qaml.aiiot_symp (at) nii.ac.jpまでメールでお送りください。

現在、以下のスポンサー枠を募集しています。
スポンサー料の支払いは、機械学習工学研究会の口座への振り込みを予定しています。
ご質問、ご連絡はqaml.aiiot_symp (at) nii.ac.jpまでお願いします。
プラチナスポンサー: 10万円
申込サイトにロゴを掲示いたします。
11月10日か11月11日にスポンサー枠をご用意いたします。
ゴールドスポンサー: 5万円
申込サイトにロゴを掲示いたします。
シルバースポンサー: 2万円
申込サイトにロゴ（小）を掲示いたします。

AI/IoTシステム安全性シンポジウム実行委員会
実行委員長吉岡信和(国立情報学研究所)
プログラム委員長金子朋子(国立情報学研究所/NTTデータ)
アドバイザー兼本茂(会津大学)、野本秀樹(JAMSS)
プログラム委員(五十音順)
岩永寿来(チェンジビジョン)、岡本圭史(仙台高等専門学校)、日下部茂(長崎県立大学)、髙橋雄志(国立情報学研究所)、橋本岳男(日立産業制御ソリューションズ)、福島祐子(日本ユニシス)、向山輝(NEC)、余宮尚志(東芝)、Patrick Daniel(三菱航空機)

問合せ先 📧qaml.aiiot_symp@nii.ac.jp

お知らせ・イベント

第2回「AI/IoTシステム安全性シンポジウム」の発表者募集　　　　　

開催概要

現在の予定は以下の通りです。
・11/10（火）第2回 AI/IoTシステム安全性シンポジウム
招待講演　基調講演: 浦本直彦・株式会社三菱ケミカルホールディングス執行役員
機械学習の有識者パネルディスカッション等

・11/11（水）Asian STAMP Workshop
招待講演（ナンシーレブソン教授）
第1回Asian STAMP Workshop(English/日本語)
＊第5回STAMPワークショップ（日本語）は第1回Asian STAMP Workshopの一環と実施します。

・11/12（木）FRAM Workshop
招待講演（エリック・ホルナゲル教授）
第2回 FRAM Workshop

今後の主なスケジュールは以下の通りです。
・8月下旬　 HP公開／ワークショップ発表募集開始
・9月末　　募集締め切り／プログラムの決定・公開
・10月上旬　参加募集開始

2つのワークショップの一般発表者を
下記のように募集します。

「Asian STAMP Workshop」は、システム理論に基づく安全性分析手法STAMP（※1）の提唱者のMIT ナンシーレブソン教授を迎え、アジアで初めてグローバルに開催します。第5回となるSTAMPワークショップ（日本語）と共に開催します。英語と日本語の一般発表とポスターセッションを募集します。
＜テーマ＞
・STAMP、STPA、CAST等の適用事例／手法提案／実証実験等

「FRAMワークショップ」は、昨年に引き続きレジリエンス・エンジニアリングの提唱者のエリック・ホルナゲル教授を迎え、分析手法FRAM（※2）の適用事例／手法提案／実証実験等に関するプレゼン（日本語）を募集します。

2つのワークショップでは、複雑性、不確実性、曖昧性などの性質を持つシステムの安全性をいかに高めることができるかについて議論します。

※1：STAMP（System Theoretic Accident Model and Process）「安全/事故はシステムの構成要素の相互作用による創発特性である」という理論に基づく分析手法
※2：FRAM（Functional Resonance Analysis Method：機能共鳴分析手法）「複数の機能の相互インタラクションが、外乱に柔軟に対応する一方でエスカレーションを起こし、安全を脅かし得る」という考えに基づく分析手法

以下をクリックして発表概要（アブストラクトまたは論文）をお送りください。

ワークショップ発表申し込み

※上の申込フォームにアクセスできない方は、お名前、ご所属、発表タイトル、発表概要（日本語300～500字、英語200-300word程度）、発表区分（一般発表（英語）、一般発表（日本語、ポスター）をページ末尾記載の「問い合わせ先」までメールでお送りください。Asian STAMP Workshop以外の発表区分は、一般発表（日本語）のみとなります。

お知らせ・イベント

「第2回AI/IoTシステム安全性シンポジウム」の開催延期のお知らせ

6月1日から3日に予定していました「第2回AI/IoTシステム安全性シンポジウム」と併設開催の「Asian STAMP Workshop」、「AI/IoTシステム安全性ワークショップ」は新型コロナウイルスの世界的な感染拡大により、海外講演者の訪日が難しくなったこと、また参加者の安全を確保する必要があることから開催を延期することになりましたのでお知らせいたします。

後日改めまして開催をする予定ですので、日程が決まり次第再度お知らせいたします。

なお、「Asian STAMP Workshop」、「AI/IoTシステム安全性ワークショップ」の発表募集等は引き続き行ってまいります。ご了承のほどよろしくお願い致します。

お知らせ・イベント

QAML Seminar (2020/2/10)を開催します

日時：2020年2月10日(月) 16:45-18:00
場所：国立情報学研究所 19階1901会議室

タイトル: 深層学習の汎化誤差のための近似性能と複雑性解析

発表者：今泉允聡（統計数理研究所 / 理化学研究所 / JST）

概要：深層学習の汎化誤差を理論的に評価するにあたって、既存の理論は深層学習の実際と乖離する点が多く残っている。そのギャップを埋めるため、実状を説明できるように理論を拡張する研究が盛んに行われている。本講演では、汎化誤差の評価に必要な重要な要素のうち、(1) 近似誤差および (2) 複雑性誤差に注目し、それらの研究動向を紹介する。具体的には、深層ニューラルネットワークが相対的に優れた近似性能を発揮する状況の解析、および仮設集合全体の複雑性に依存しない誤差の解析を扱う。また、それらのアプローチの現状の達成点と限界について述べ、今後の研究の方針を議論する。

参加費：無料（遠隔参加も可能です）

登録：必要（登録フォームは後日公開します）

セミナー後有志で講師を囲む懇親会（有料）を開催予定です。

AI/IoTシステムのための安全性シンポジウム　資料公開

11/26, 28, 29に、国立情報学研究所QAMLプロジェクト主催イベント「AI/IoTシステムのための安全性シンポジウム」が開催され、ソフトウェア工学、セーフティ、セキュリティに関する国内の15団体の共催、協賛、後援で308名の参加者を集める盛況な会となりました。

　　吉岡実行委員長と金子プログラム委員長

製造業、輸送業、コンピュータメーカ、ITベンダー、大学・研究機関など幅広く、約180の企業や団体からの参加となり、アンケート結果は大概、一般講演(FRAM)が理解度90％・満足度85％、「興味ある内容だった（STAMP）」が88％となりました。「盛況で素晴らしかった」、「使用者の動向のわかる、とても有意義な会だった。」等のコメントが寄せられました。

28日の交流会には44名の方が参加され、AI、IoTを含めた複雑なシステムの安全性や今後のシンポジウムや活動の在り方について、様々な意見を交換しました。

　交流会(28日）にて

今回はセーフティの2大巨匠の一人、レジリエンス・エンジニアリング提唱者のエリック・ホルナゲル教授の基調講演でしたが、次回は来年の6/1-3で、もう一人の巨匠MITナンシー・レブソン教授の来日講演などを予定しています。1月下旬に一般発表論文募集も行いますので、是非ご応募ください。

本シンポジウムの講演資料・発表資料・アンケート結果を公開します。

講演番号	講演／発表者名	所属	タイトル	概要
FR001S	エリック・ホルナゲル氏	スウェーデンヨンショーピング大学	The Iimpact of AI on Human Work
FR011N	青木善貴氏	日本ユニシス	FRAMモデルの可読性向上のための支援	FRAMでは，六つの側面により機能を関連付けてモデル化し，分析者はそのモデルに内包されるシステムの振る舞いを解釈して機能共鳴の分析を行う．ところが，その解釈は分析者のドメイン知識に頼った定性的な評価でなされるため，複雑な振る舞いの評価を端的に示すことや分析者間の評価の共有が難しい．そこで，分析者が解釈しやすいように，FRAMモデルが内包するシステムの振る舞いを定量化する手法を提案する．振る舞いを定量化できれば，成功要因・失敗要因等を分析するための客観的な評価指標の提示ができ，FRAMモデルの可読性向上の支援につながると考える．提案手法では，FRAMモデルを確率を扱えるモデル検査ツールPRISMのモデルへ変換し，このモデルを経過時間を限定する検査式で検証することにより振る舞いの定量化を行う．発表ではFRAMモデルをPRISMモデルへ変換する手順及び検証方法を説明し，本提案手法を適用した事例を用いて，FRAMモデルにおけるシステムの振る舞いを理解しやすくできることを示す．
FR012N	野本秀樹氏	有人宇宙システム	ブラックボックス型人工知能システムの安全検証	ディープニューラルネットワーク等、ブラックボックス型AIの安全性を形式手法を用いて論証する手法について概説する。
FR021N	日下部茂氏	長崎県立大学	行動ベースのセーフティマネジメントへのFRAMの適用について	安全に関する取り組みにFRAMと行動分析を併用するアプローチについて発表する。行動とその変容についての科学な取り組みである行動分析学の知見は様々な領域において有用で，それは安全に関する行動にもあてはまる。そのため、行動分析学を現実世界の安全問題に適用し、人々の注意と行動を常に自分や他の人々の日常の安全行動に集中させるプロセスとして、行動分析学にもとづくBBS (Behavior Based Safety)の取り組みがなされてきた。BBSのベースである行動分析学では随伴性にもとづくオペラント条件付けが重要な役割を果たすが、その分析に用いられる随伴性ダイアグラムの作成と分析は属人性が高いものとなっている。本研究ではそのような随伴性とオペラント条件付けのモデル化と分析にFRAMを用い、ることについて発表する。
FR022N	広瀬貴之氏	京都大学	FRAMに基づく数値シミュレータの開発と活用
FR023N	植田聡史氏	JAXA	月着陸機の着陸シーケンスのFRAM分析
ST101S	中尾昌善氏	IPA 社会基盤センター	アーキテクチャ視点で挑むSociety5.0の実現	Society5.0では、その見取り図となる考え方や概念を「アーキテクチャ」という構造で捉え、推進の礎にしていこうとしています。アーキテクチャ検討のベースとなるシステムズエンジニアリングとIoTに関する取組みを紹介します。
ST102S	野本秀樹氏	有人宇宙システム株式会社	STAMPと創発性	STAMPの理論における重要なキーワードである「創発性」が、STAMPのモデルにどのように表現され得るのかについて概説する。
ST103S	兼本茂氏	会津大学	システム思考で考える複雑システムの安全とSTAMP	AI・IoT時代の複雑システムの安全は、従来の安全規格の範囲で守ることはできない。故障がなくても事故は起きるということを前提に安全設計をしないといけない。この背景と、そのための方法論の一つとして期待されているSTAMPの考え方を述べる。
ST111S	石濱直樹氏	JAXA	宇宙機等のクリティカルシステムの品質について（仮題）
ST121N	小松隆氏	富士通コンピュータテクノロジーズ	「つながる世界の品質確保に向けた手引き」をヒントワードに活用する取り組み	IoTシステムに特化した「ヒントワード」をまとめることで、IoTシステムに対するハザード誘発要因(HCF)の特定を容易にするための取り組みについて発表する。安全・安心なIoTシステムを開発するための考慮事項をまとめた冊子として「つながる世界の品質確保に向けた手引き」(2018・IPA)がある。手引きには「つながる機器の性能差」や「つながる機器の種類と接続数」といったIoTシステム特有のレビューの観点が記載されているが、これらの観点が「ヒントワード」として活用可能だということに着目し、「IoTシステムに特化したヒントワード」として独自にまとめた。 HCFの特定はSTAMP/STPAの手順の中でも特に分析者のスキルに依存する部分であり、ヒントワードからどれだけ発想を膨らませられるかがカギとなる。IoTシステムに特化したヒントワードを用意することによって、分析者のスキルに大きく依存することなく、IoTシステムで想定されるハザードシナリオを抽出できるようにすることを狙っている。現在はトライアル段階であるが、トライアルでの成果や新たな気付きを報告する。
ST122N	積田恵一氏	JASA安全性向上委員会安全仕様化ＷＧ	STAMPシミュレーションツール Sim4stampの機能向上”	Sim4stampはGUI上でモデルを作成し、VDM++のスケルトンソースを自動生成し、シミュレーション実行を行い、正常結果と偏差注入結果を比較することで、UCA一覧表の作成を補助するツールである。今回、変数の型として5値論理を追加することにより、より簡単にシミュレーションの作成、実行ができるようになった。また、結果をUCA一覧に準じた形でファイル出力可能にした。なお、5値論理とは「1」から「5」の数値を意味づけたものであり、例えば温度なら「とても低い」「低い」「適温」「高い」「とても高い」にそれぞれ割り付けたものであり、シミュレーションの作成と解釈を単化する効果がある。
ST131N	北村知氏	JR東日本	列車接近警報システムのSTAMP/STPA分析とSafety2.0”	STAMP/STPA手法と従来のFTA手法を併用して、JR東日本で導入を進めているGPSを活用した列車接近警報システム（GPS列警）の安全性分析を行い、それぞれの手法の特徴に基づいた分析上の役割分担を示した。また、産業安全の指標として近年提唱されているSafety 2.0（協調安全）を見据えてGPS列警の改善案を検討した結果、システムの役割分担が従来から変化し、システム全体としてさらに高度なレベルでの安全性を実現できることを示した。
ST132N	高野友佑氏	JR東日本	鉄道信号システムにおける効率的なハザード要因抽出のためのSTAMP/STPAの応用について	鉄道信号システムは、鉄道の安全安定輸送を確保するために必要不可欠な存在である。近年、鉄道信号システムは機能分散・ネットワーク化に伴うハードウェア構成の複雑化、機能向上に伴うソフトウェアの肥大化等により、システマティックエラーのリスクが増大する傾向にある。そのため、新規に開発するシステムにおいては、それらのリスクを回避するため、ハザードの要因を網羅的・効率的に抽出する必要がある。STAMP/STPAはハザード要因をトップダウンに抽出する手法として鉄道においてもその有効性が確認されているが、抽出する事象の「網羅性」と「抽象度」は相反する関係にあるため、網羅性が高く、かつ具体的な内容のハザード要因を抽出するため、鉄道信号システムのハザード要因解析に特化した新たなSTAMP/STPA手法の提案を行う。
ST133N	杉浦英樹氏	ETロボコン南関東地区実行委員会	ETロボコンにおけるSTAMP/STPAの利用促進	本発表では、ETロボコンにおけるSTAMP/STPAの導入推進活動に関する事例を紹介する。ETロボコンは、同一仕様のロボット走行体を用いて、同一仕様のコースを走行し、その時間を競う競技である。最大の特徴は、制御ソフトウェアの開発におけるプロセス成果物である、分析モデル、設計モデルを吟味し、ソフトウェア開発の工夫や正しさを評価し、競技結果に加味する点である。レースでは、ロボット走行体がコースに上のラインをトレースして走行することが基本となるが、競技である以上、様々な障害に陥る危険を考慮する必要がある。安全確実に競技を進めるにあたって、自動車に求められる安全性の考え方を踏襲したシステム安全解析手法が効かない理由がない。そこで、STAMP/STPAを利用し、ロボットの走行安定性、確実性、さらには、過去のレース経験の伝承伝達ができそうなことを確認し、ETロボコンでの利用を提案し、採用を推奨するに至った。プロセスの考え方、分析の考え方、モデルの考え方、明示する内容を具体的に紹介する。
ST134N	橋本岳男氏	一般社団法人JASPAR機能安全WG安全分析手法開発チーム	自動運転システムへのSTAMP適用の取組み～Unknown Unsafeシナリオ導出に向けた挑戦～”
ST201N	福島祐子氏	日本ユニシス	セキュアな機能の実現を目指すSTPA-Secの試行　〜プロセスモデルを中心とした分析〜	CPSでは、サイバー攻撃が情報システムだけではなく、システムにつながる機器、人、社会インフラにまで物理的な影響を及ぼすことが懸念される。そのため、セキュリティ対策においては、企画・設計の上流工程から安全性とセキュリティの両方の観点を検討する必要がある。 STPAは開発の早期から適用可能な安全分析手法であり、事故は故障によっても起きるが、“プロセスモデル（システムが信じているシステムの状態）”と“システムの実際の状態”の不一致によっても起きるという考え方に基づいている。 STPAに対してさらにセキュリティの観点を追加して拡張したSTPA-Secが提案されている。現在のセキュリティ分析手法は脅威分析に焦点を当てているが、STPA-Secはセキュアな機能の実現に重点を置く。STPAと同様にプロセスモデルを重視しており、コントロールアクションがハザードにつながるプロセスモデルの組み合わせを分析し、システム設計に反映することにより、セキュアな機能の実現を目指している。本発表では、STPA-Secによるプロセスモデルを中心とした分析事例を紹介し、CPSを設計する上での有効性について考察する。
ST202N	鈴木克明氏	オリンパス	医療事業におけるSTAMPを用いた安全性・セキュリティ対応プロセス改善の取り組み	オリンパスにおける医療機器の開発において、従来の安全を実現するための品質管理手法ではシステム視点の網羅的な識別に困難である。しかし、サイバーセキュリティにおいては、システム視点での網羅的な抽出は不可欠である。そこで、医療機器のセキュリティ脅威の分析をSTAMP/STPAをベースに拡張子、コンセプト開発レベルで分析を行った事例を紹介する。
ST203N	金子朋子氏	NTTデータ	STAMP S&S~レベル３自動運転事例によるセーフティ・セキュリティ統合リスク分析	STAMP/STPAはセーフティを中心に展開されてきたが，セキュリティ上のリスク分析にも適用可能であり，STPAのセキュリティ対応手法であるSTPA-Secも提案されている．さらにセーフティと脆弱性に着目したセキュリティを統合分析するSTPAの拡張であるSTPA-SafeSecも提案されている．しかし相互作用に着目したSTAMPの特長をいかし脅威をセキュリティ属性別に網羅的に識別するためにはさらなる工夫が要ると筆者らは考えている。そこでSTAMPモデルを使ってSTPAの手順に従いつつ脅威モデリングを追加する方法を提案し，セーフティとセキュリティを企画・要求段階から同時に分析できる手法としての手順を提示する．さらにそのフレームワークに対しての実験結果による評価を行った．具体的にはレベル3の自動運転のブレーキシステムにセーフティとセキュリティ統合フレームワークを適用して実施した実験結果とその有効性評価を提示する．
ST204N	DANIEL PATRICK氏	三菱航空機	Using ontology to support STPA analysis	Systems-Theoretic Process Analysis (STPA) is a safety analysis approach for evaluating the safety of complex systems. Different industries have employed STPA techniques to identify safety concerns during system operation. From our knowledge, the STPA for security does not gain attention from the industry yet. STPA for security is an extension of STPA that proposes to include security concerns into the analysis. However, the manner to investigate security concerns is different from safety. The former concerns to intentionality actions performed while the latter concerns to unintentional actions. We propose an ontology-based technique that extends STPA to improve identification of causal scenarios and associated casual factors, specifically those related to security. The approach assists the systems engineer to conduct safety and security analyses using STPA with a supporting ontology. A tool that implements the proposed ontology was created to support the systems engineer during the safety and security analysis.
ST211N	柳原靖司氏	ブラザー工業	多様なステークホルダの視点をSTAMP/STPAに導入する試み	我々の研究チームでは、情報システムの領域で多様なステークホルダの視点を考慮しながらSTAMP/STPAのような解析手法を用いた場合に獲得される安全性やセキュリティの非機能要件に着目しております。一般的に、システム開発では多様なステークホルダが持つ視点によって、要求・要件の合意形成でコンフリクトが起こることが知られています。特に非機能はそれが顕著に現れます。今回、仮想の「クラウドIoTランドリーシステム」をテーマとしてSTAMP/STPAを用いて予備実験を行ったところ、獲得された対策にはステークホルダの間で対立要件となりうるものが含まれていました。多様なステークホルダの視点を考慮したSTAMP/STPAと、そこで獲得された安全性やセキュリティの非機能要件をゴール指向で要求分析する提案手法を報告させて頂きたく存じます。なお、今回はSTAMPワークショップでの報告なので、予備実験の結果から得られたIoTシステムならではの分析結果にフォーカスを当てたいと考えております。
ST212N	日下部茂氏	長崎県立大学	行動分析を用いた自動改札システム利用者の心理的安全分析	行動についての科学に取り組みである行動分析学は、個人や組織の行動を、個人と環境との相互作用のありかた、としてとらえる。そのような行動分析の知見を、自動改札システム利用者の心理的安全についてのSTAMP/STPAでの分析に取り入れることを説明する。自動改札機そのものだけでなく、利用者が列車を降りてからの環境との相互作用に着目した分析を行う。相互作用において、先行条件（Antecedents）、行動（Behavior）、結果（Consequences）の分析、いわゆるABC分析をSTAMP/STPAと併用して行う。特に、先行条件を、弁別刺激による刺激性制御と強化刺激に対する確立操作に明示的に分けた分析を行う。弁別刺激は、ある特定の強化を受けるには何時・どこで・何をしたらよいか、つまりＢ（行動）のＴＰＯを指示する刺激であり、それは外部の環境刺激（他者の行動を含む）や、自分自身の言語反応や情動反応がその刺激としての働きをする可能性がある。また、確立操作というのはＣ（結果）となる事象の強化刺激としての効果を確立するための操作である。このような観点から利用者と改札機や駅の環境との相互作用および心理的安全についてSTAMP/STPAによる分析を行う。
ST221S	原聡氏	大阪大学産業科学研究所	機械学習モデルの判断根拠の説明“	行動についての科学に取り組みである行動分析学は、個人や組織の行動を、個人と環境との相互作用のありかた、としてとらえる。そのような行動分析の知見を、自動改札システム利用者の心理的安全についてのSTAMP/STPAでの分析に取り入れることを説明する。自動改札機そのものだけでなく、利用者が列車を降りてからの環境との相互作用に着目した分析を行う。相互作用において、先行条件（Antecedents）、行動（Behavior）、結果（Consequences）の分析、いわゆるABC分析をSTAMP/STPAと併用して行う。特に、先行条件を、弁別刺激による刺激性制御と強化刺激に対する確立操作に明示的に分けた分析を行う。弁別刺激は、ある特定の強化を受けるには何時・どこで・何をしたらよいか、つまりＢ（行動）のＴＰＯを指示する刺激であり、それは外部の環境刺激（他者の行動を含む）や、自分自身の言語反応や情動反応がその刺激としての働きをする可能性がある。また、確立操作というのはＣ（結果）となる事象の強化刺激としての効果を確立するための操作である。このような観点から利用者と改札機や駅の環境との相互作用および心理的安全についてSTAMP/STPAによる分析を行う。
ST222S	佐々木良一氏	東京電機大学	AI/IoTシステムの安全性確保のための考察	AI/IoTシステムの安全性確保のためにまずAIと安全性をめぐる4つの観点から分析を行う。(a) Attack using AI (b) Attack by AI (c) Attack to AI (d) Measure using AI。次に、IoT システムのセキュリティとリスク評価について研究状況を紹介したのちAI機能を持つIoTシステムのリスク評価に関する考察を行う。
ST223P	中江俊博氏	(株)デンソーソフトウェア先行開発室	【パネリスト講演】
ST224P	北村知氏	JR東日本	鉄道信号へのAIIoT応用に向けた挑戦と課題

お知らせ・イベント

QAML Seminar (2019/12/18)を開催します

日時：2019年12月18日(水) 16:45-18:00
場所：Patia Jinbocho (パティア神保町店)

タイトル:DeepStellar: Model-Based Quantitative Analysis of Stateful Deep Learning Systems

発表者：Lei Ma, 助教, 九州大学
概要：Deep Learning (DL) has achieved tremendous success in many cutting-edge applications. However, the state-of-the-art DL systems still suffer from quality issues. While some recent progress has been made on the analysis of feed-forward DL systems, little study has been done on the Recurrent Neural Network (RNN)-based stateful DL systems, which are widely used in audio, natural languages and video processing, etc. In this paper, we initiate the very first step towards the quantitative analysis of RNN-based DL systems. We model RNN as an abstract state transition system to characterize its internal behaviors. Based on the abstract model, we design two trace similarity metrics and five coverage criteria which enable the quantitative analysis of RNNs. We further propose two algorithms powered by the quantitative measures for adversarial sample detection and coverage-guided test generation. We evaluate DeepStellar on four RNN-based systems covering image classification and automated speech recognition. The results demonstrate that the abstract model is useful in capturing the internal behaviors of RNNs, and confirm that (1) the similarity metrics could effectively capture the differences between samples even with very small perturbations (achieving 97% accuracy for detecting adversarial samples) and (2) the coverage criteria are useful in revealing erroneous behaviors (generating three times more adversarial samples than random testing and hundreds times more than the unrolling approach).

related paper

参加をご希望の方は、吉岡までお知らせください。

お知らせ・イベント

QAML Seminar (2019/11/27)を開催します

日時：2019年11月27日(水) 16:45-18:00
場所：NII, 12F 1208

タイトル: Weighted Automata Extraction from Recurrent Neural Networks via Regression on State Spaces
発表者：関山太郎, 助教, NII
概要：
We present a method to extract a weighted finite automaton (WFA) from a recurrent neural network (RNN). Our algorithm is based on the WFA learning algorithm by Balle and Mohri, which is in turn an extension of Angluin's classic \lstar algorithm. Our technical novelty is in the use of regression methods for the so-called equivalence queries, thus exploiting the internal state space of an RNN. This way we achieve a quantitative extension of the recent work by Weiss, Goldberg and Yahav that extracts DFAs. Experiments demonstrate that our algorithm's practicality.

参加をご希望の方は、吉岡までお知らせください。

お知らせ・イベント

「AI/IoTシステムのための安全性シンポジウム」参加者募集！！

皆様のおかげさまで、308名の参加者を集め盛況にシンポジウムを終えることができました。

シンポジウムの報告及び資料は資料公開のページにて公開しております。

AI応用システムやIoTシステムの安全性に対する関心が高まりを見せています。本シンポジウムでは、AI/IoTシステムの安全性に関する著名な研究者やミッションクリティカルな産業の有識者による講演と共に、「FRAMワークショップ」（11/26）と「STAMPワークショップ」（11/28, 29）を開催します。（参加費：無料）
2つのワークショップでは、レジリエンス・エンジニアリングにおける分析手法FRAM（※1）やシステム理論に基づく安全性分析手法STAMP（※2）によって、複雑性、不確実性、曖昧性などの性質を持つシステムの安全性をいかに高めることができるかについて議論します。

Engineerable AI、XAI（説明可能なAI）、IoTの安全を知りたい方、AI/IoTを含んだシステムの開発やリスク分析に関わる方、レジリエントなシステム、ミッション・クリティカルなシステムに興味のある方、機械学習システムの安全性・信頼性を検討している方、参加無料ですので、ぜひお気軽にご参加ください。
（聞きたい講演のみに絞った部分的なご参加ももちろん可能です）
11/28の午前中には、STAMPと安全性のチュートリアルを実施しますので、STAMPを知らない方や安全性の基礎から学びたい方もぜひご参加ください。

＊STAMP向けモデリングツール STAMP Workbench は以下からダウンロードできます。
http://www.change-vision.com/stamp/

日時：2019年11月26日（火）開場：9:30
場所：国立情報学研究所（NII）12階 1208会議室（東京都千代田区一ツ橋2-1-2 ）

日時：2019年11月28日（木）、29日（金）開場：9:30
場所：NTT DATA 駒場研修センター１階イベントホール（東京都目黒区駒場2-18-2）

主催：国立情報学研究所(NII)
「高信頼な機械学習応用システムによる価値創造(QAML）」プロジェクト
共催：独立行政法人情報処理推進機構（IPA）、
株式会社エヌ・ティ・ティ・データ、
有人宇宙システム株式会社
協賛：株式会社チェンジビジョン、
一般社団法人日本ソフトウェア科学会機械学習研究会（MLSE）、
一般社団法人日本セキュリティ・マネジメント学会（JSSM）、
一般財団法人日本科学技術連盟（JUSE）、
一般社団法人電子情報通信学会　知能ソフトウェア工学研究会(KBSE)、
一般社団法人情報処理学会ソフトウェア工学研究会(SIGSE)、
一般社団法人情報処理学会コンピュータセキュリティ研究会（CSEC)、
一般社団法人組込みシステム技術協会(JASA)、
特定非営利活動法人安全工学会(JSSE)
後援：独立行政法人日本学術振興会第192(サイバーセキュリティ)委員会
一般社団法人JASPAR（Japan Automotive Software Platform and Architecture）

… 注目のセッション …………………………………………………………

【基調講演】

エリック・ホルナゲル氏（スウェーデン　ヨンショーピング大学教授）
講演："The Impact of AI on Human Work"

【招待講演】

原聡氏（大阪大学産業科学研究所 / 助教）

「機械学習モデルの判断根拠の説明」
本講演では、機械学習モデルの判断根拠を提示するための説明法について紹介する。高精度な認識・識別が可能な機械学習モデルは一般に非常に複雑な構造をしており、どのような基準で判断が下されているかを人間が窺い知ることは困難である。このようなモデルのブラックボックス性を解消するために、近年様々なモデルの説明法が研究・提案されてきている。本講演では近年の代表的な研究について紹介する。パネルディスカッションのパネリスト。

石濱直樹氏（研究開発法人宇宙航空研究開発機構　研究開発部門第三研究ユニット主幹研究開発員）

「宇宙機等のクリティカルシステムの品質について（仮題）」

佐々木良一氏（東京電機大学特命教授）

「AI/IoTシステムの安全性確保のための考察」
AI/IoTシステムの安全性確保のためにまずAIと安全性をめぐる4つの観点から分析を行う。(a)Attack using AI、(b) Attack by AI、 (c) Attack to AI、 (d) Measure using AI。次に、IoTシステムのセキュリティとリスク評価について研究状況を紹介したのちAI機能を持つIoTシステムのリスク評価に関する考察を行う。パネルディスカッションのパネリスト。

【共催者講演】

中尾昌善氏（(独)情報処理推進機構社会基盤センター　グループリーダ）

「アーキテクチャ視点で挑むSociety5.0の実現」
Society5.0では、その見取り図となる考え方や概念を「アーキテクチャ」という構造で捉え、推進の礎にしていこうとしています。アーキテクチャ検討のベースとなるシステムズエンジニアリングとIoTに関する取組みを紹介します。

【共催者講演（チュートリアル）】

野本秀樹氏（有人宇宙システム株式会社　IV&V研究センター長）

「STAMPと創発性」
STAMPの理論における重要なキーワードである「創発性」が、STAMPのモデルにどのように表現され得るのかについて概説する。

兼本茂氏（会津大学名誉教授・IPA IoTシステム安全性向上技術WG 主査）

「システム思考で考える複雑システムの安全とSTAMP」
STAMP for complex system safety design based on systems theory
AI・IoT時代の複雑システムの安全は、従来の安全規格の範囲で守ることはできない。故障がなくても事故は起きるということを前提に安全設計をしないといけない。この背景と、そのための方法論の一つとして期待されているSTAMPの考え方を述べる。

【パネルディスカッション】
「信頼できるAIシステムのために今取り組むべき課題と持続可能な社会への展望」

中江　俊博氏（(株)デンソー ソフトウェア先行開発室　課長）、パネリスト。

北村知氏（JR東日本　研究開発センター　主幹研究員）、パネリスト。

吉岡　信和氏（国立情報学研究所　准教授・QAMLプロジェクトリーダー）、司会。

=====================================================

プログラム20191122時点

参加お申し込みはこちらへ

参加の際は、名刺かconnpassの「受付票」をお持ちいただき、会場でお渡しするネームホルダーに入れてください。
ネームホルダーを回収する際に名刺・受付票も同時に回収させていただき、出席の記録とさせていただきます。
11/26の参加お申込み希望者が多かったため定員を150人まで増やしましたが、満席となりました。

**11/28の交流会の参加お申し込みは*こちらへ***

11/28（木)18:00～19:00に講演者や参加者のネットワーキングの場として「交流会」を開催しますので、ぜひご参加ください。
（会費1000円・ソフトドリンクと軽食のみ）
STAMPやFRAM、AIについて日頃思っていること、いまさら聞けない素朴な疑問などについて、軽食とドリンクを片手に気軽に語り合いませんか？

AI/IoTシステムのための安全性シンポジウム実行委員会
・実行委員長：吉岡信和(NII)　プログラム委員長：金子朋子(NII/NTTデータ)
・アドバイザー：兼本茂（会津大学）、野本秀樹（JAMSS）
・プログラム委員：岩永寿来（チェンジビジョン）、岡本圭史（仙台高等専門学校）、日下部茂（長崎県立大学）、髙橋雄志（東京電機大）、橋本岳男（日立産業制御ソリューションズ）、福島祐子 (日本ユニシス）、向山輝(IPA)、余宮尚志(東芝）Patrick Daniel(三菱航空機)　あいうえお順

問合せ先（主催者）：
qaml.aiiot_symp@nii.ac.jp（本メールアドレスにてお問合せください）
※ 送付いただいた個人情報は、本シンポジウムの主催者が管理し、本シンポジウムに関わる連絡以外の目的では使用いたしません。

※1：FRAM（Functional Resonance Analysis Method：機能共鳴分析手法）「複数の機能の相互インタラクションが、外乱に柔軟に対応する一方でエスカレーションを起こし、安全を脅かし得る」という考えに基づく分析手法
※2：STAMP（System Theoretic Accident Model and Process）「安全/事故はシステムの構成要素の相互作用による創発特性である」という理論に基づく分析手法

お知らせ・イベント

QAML Seminar: Requirements for Machine Learning Application on 9th October 2019

Invited Speaker: Amel Bennaceur, Lecturer, the Open University, UK

Title: Machine Learning Software is Still Software

Abstract:

Machine Learning (ML) is the discipline that studies methods for automatically
inferring models from data. Machine learning has been successfully applied in
many areas of software engineering ranging from behaviour extraction, to
testing, to bug fixing. However, there is comparatively less research on applying
software engineering techniques to designing and implementing machine
learning applications.
Machine learning techniques disrupt the traditional models of software
development and call for quicker, if not immediate, response from requirements
engineering (RE). Indeed, the social underpinning and the increasing reliance on
software systems for every aspect of our life, call for better methods to
understand the impact and implications of software solutions on the wellbeing of
individuals and society as a whole. The intrinsic ability of RE to deal with
conflicts, negotiation, and its traditional focus on tackling those wicked problems
is highly beneficial.
The seminar will review and reflect on the synergies between machine learning
and software engineering. In this seminar, I will introduce the principles of
machine learning, give an overview of some key methods, and present examples
of interaction between software engineering and machine learning. I will also
discuss some open challenges on how machine learning can benefit from
software engineering methods in general and requirements engineering in
particular.

Bio:

Dr. Amel Bennaceur is a Lecturer (Assistant Professor) in Computing at the Open
University, UK. She received her PhD degree in Computer Science from the
University of Paris VI in 2013. Her research interests include dynamic mediator
synthesis for interoperability and collaborative security.
She was part of the Connect and EternalS EU projects that explored synergies
between machine learning and software synthesis.
The results of her work have been published in leading conferences and journals
such as Middleware, ECSA, and IEEE TSE. Bennaceur has been a member of the
program committee of several software engineering conferences including
RE:Next 2016 and ESEC/FSE 2015-NIER. She has been the program co-chair for
ESEC/FSE 2017 Artifact track and SEAMS 2019 and is co-chairing the Poster
Track at RE 2020.

see http://www.open.ac.uk/people/ab33792 or https://amel.me/ for detailes

QAML speaker: Hiroshi Kuwajima, DENSO corp.

Title: Adapting SQuaRE for Quality Assessment of Artificial Intelligence Systems

Abstract:

More and more software practitioners are tackling towards industrial applications of artificial intelligence (AI) systems, especially those based on machine learning (ML). However, many of existing principles and approaches to traditional systems do not work effectively for the system behavior obtained by training not by logical design. In addition, unique kinds of requirements are emerging such as fairness and explainability. To provide clear guidance to understand and tackle these difficulties, we present an analysis on what quality concepts we should evaluate for AI systems. We base our discussion on ISO/IEC 25000 series, known as SQuaRE, and identify how it should be adapted for the unique nature of ML and Ethics guidelines for trustworthy AI from European Commission. We thus provide holistic insights for quality of AI systems by incorporating the ML nature and AI ethics to the traditional software quality concepts.

お知らせ・イベント

カテゴリー: お知らせ

第2回「AI/IoTシステム安全性シンポジウム」の参加者募集

開催概要

以下のURLより参加お申込みください