「第2回AI/IoTシステム安全性シンポジウム」の開催延期のお知らせ

6月1日から3日に予定していました「第2AI/IoTシステム安全性シンポジウム」と併設開催の「Asian STAMP Workshop」、「AI/IoTシステム安全性ワークショップ」は新型コロナウイルスの世界的な感染拡大により、海外講演者の訪日が難しくなったこと、また参加者の安全を確保する必要があることから開催を延期することになりましたのでお知らせいたします。

後日改めまして開催をする予定ですので、日程が決まり次第再度お知らせいたします。

なお、「Asian STAMP Workshop」、「AI/IoTシステム安全性ワークショップ」の発表募集等は引き続き行ってまいります。ご了承のほどよろしくお願い致します。

Asian STAMP Workshop・AI/IoTシステム安全性ワークショップの発表者募集        

昨年11月に行われた「AI/IoTシステムのための安全性シンポジウム」は、システム理論STAMP(*1)やレジリエンスエンジニアリング、セーフティやセキュリティに知見のある国内技術者・研究者が300余名参集した盛況で好評のイベントとなりました。
そこで、「第2回AI/IoTシステム安全性(愛称AIS^3)シンポジウム」(6/1)と併設の2つのワークショップ、「Asian STAMPワークショップ」(6/2)、「AI/IoTシステム安全性(愛称AIS^3)ワークショップ」(6/3)を開催します。


開催概要

(1) Asian STAMPワークショップ
日時:2020年6月2日(火) 10:00~18:00 (予定)
場所:国立情報学研究所(NII)12階 1208会議室 (東京都千代田区一ツ橋2-1-2 )
定員:150名
参加費:無料

(2) AI/IoTシステム安全性ワークショップ
日時:2020年6月3日(水) 10:00~18:00 (予定)
場所:国立情報学研究所(NII)12階 1208会議室 (東京都千代田区一ツ橋2-1-2)
定員:150名
参加費:無料


なお、「第2回AI/IoTシステム安全性シンポジウム」では以下の招待講演なども予定しています。

日時:2020年6月1日(月) 10:00~18:00 (予定)
場所:一般財団法人日本教育会館一ツ橋ホール (東京都千代田区一ツ橋2-6-2)
定員:500名
講演者予定:
Nancy Leveson教授(マサチューセッツ工科大学・STAMPの提唱者)
浦本 直彦氏           (人工知能学会会長・三菱ケミカルホールディングス)

他に機械学習システムの世界的研究者や日本の企業からの講演を予定しています。

※「第2回AI/IoTシステム安全性シンポジウム」の参加募集詳細、一般発表を含めた詳細プログラムの公開と参加者募集の開始は4月中旬ごろを予定しています。

※ 本シンポジウムをご支援いただけるスポンサーを募集しております。 詳細はこちらをご参照下さい。


2つのワークショップの一般発表者を
下記のように募集します。


「Asian STAMPワークショップ」は、システム理論に基づく安全性分析手法STAMPの提唱者のMIT Nancy Leveson教授を迎え、グローバルに開催。英語と日本語の一般発表とポスターセッションを募集します。
<テーマ>
・システム理論に基づくSTAMP、STPA、CAST等の適用事例/手法提案/実証実験等

「AI/IoTシステム安全性ワークショップ」は、AI応用システムやIoTシステムの安全性分析について、適用事例/手法提案/実証実験等に関するプレゼン(日本語)を募集します。
<テーマ>
・AI/IoTシステムのセーフティ
・AI/IoTシステムのセキュリティ
・AI/IoTシステムのレジリエンス
・AI/IoTシステムの信頼性

<両ワークショップの発表時間と日程>
発表時間(質疑含む):30分から40分
発表概要の提出期限: 2020年3月20日
著者への採択通知: 2020年4月10日
スライド提出期限: 2020年5月20日


以下をクリックして発表概要(アブストラクトまたは論文)をお送りください。

ワークショップ発表申し込み

※上の申込フォームにアクセスできない方は、お名前、ご所属、発表タイトル、発表概要(300500字程度)、発表区分(一般発表(英語)、一般発表(日本語)、ポスター)をページ末尾記載の「問い合わせ先」までメールでお送りください。6月3日のAI/IoTシステム安全性ワークショップの発表区分は、一般発表(日本語)のみとなります。


問合せ先(主催者):qaml.aiiot_symp@nii.ac.jp
※ 送付いただいた個人情報は、本シンポジウムの主催者が管理し、本シンポジウムに関わる連絡以外の目的では使用いたしません。


※1:STAMP(System Theoretic Accident Model and Process)「安全/事故はシステムの構成要素の相互作用による創発特性である」という理論に基づく分析手法

QAML Seminar (2020/2/10)を開催します

お知らせ

  • 本セミナーは主催者の都合により延期になりました!
  • 開催日は追ってお知らせします。

QAMLセミナー

日時:2020年2月10日(月) 16:45-18:00
場所:国立情報学研究所 19階1901会議室

タイトル: 深層学習の汎化誤差のための近似性能と複雑性解析

発表者:今泉允聡(統計数理研究所 / 理化学研究所 / JST)

概要:深層学習の汎化誤差を理論的に評価するにあたって、既存の理論は深層学習の実際と乖離する点が多く残っている。そのギャップを埋めるため、実状を説明できるように理論を拡張する研究が盛んに行われている。本講演では、汎化誤差の評価に必要な重要な要素のうち、(1) 近似誤差および (2) 複雑性誤差に注目し、それらの研究動向を紹介する。具体的には、深層ニューラルネットワークが相対的に優れた近似性能を発揮する状況の解析、および仮設集合全体の複雑性に依存しない誤差の解析を扱う。また、それらのアプローチの現状の達成点と限界について述べ、今後の研究の方針を議論する。

参加費:無料(遠隔参加も可能です)

登録:必要(登録フォームは後日公開します)

セミナー後有志で講師を囲む懇親会(有料)を開催予定です。

 

関連情報

 

 

AI/IoTシステムのための安全性シンポジウム 資料公開

11/26, 28, 29に、国立情報学研究所QAMLプロジェクト主催イベント「AI/IoTシステムのための安全性シンポジウム」が開催され、ソフトウェア工学、セーフティ、セキュリティに関する国内の15団体の共催、協賛、後援で308名の参加者を集める盛況な会となりました。

 金子朋子 吉岡実行委員長と金子プログラム委員長

製造業、輸送業、コンピュータメーカ、ITベンダー、大学・研究機関など幅広く、約180の企業や団体からの参加となり、アンケート結果は大概、一般講演(FRAM)が理解度90%・満足度85%、「興味ある内容だった(STAMP)」が88%となりました。「盛況で素晴らしかった」、「使用者の動向のわかる、とても有意義な会だった。」等のコメントが寄せられました。

28日の交流会には44名の方が参加され、AI、IoTを含めた複雑なシステムの安全性や今後のシンポジウムや活動の在り方について、様々な意見を交換しました。

kouryu-kai 交流会(28日)にて

今回はセーフティの2大巨匠の一人、レジリエンス・エンジニアリング提唱者のエリック・ホルナゲル教授の基調講演でしたが、次回は来年の6/1-3で、もう一人の巨匠MITナンシー・レブソン教授の来日講演などを予定しています。1月下旬に一般発表論文募集も行いますので、是非ご応募ください。

本シンポジウムの講演資料・発表資料・アンケート結果を公開します。

講演番号
講演/発表者名
所属
タイトル
概要
FR001Sエリック・ホルナゲル氏スウェーデン ヨンショーピング大学The Iimpact of AI on Human Work
FR011N青木 善貴氏日本ユニシスFRAMモデルの可読性向上のための支援FRAMでは,六つの側面により機能を関連付けてモデル化し,分析者はそのモデルに内包されるシステムの振る舞いを解釈して機能共鳴の分析を行う.ところが,その解釈は分析者のドメイン知識に頼った定性的な評価でなされるため,複雑な振る舞いの評価を端的に示すことや分析者間の評価の共有が難しい.そこで,分析者が解釈しやすいように,FRAMモデルが内包するシステムの振る舞いを定量化する手法を提案する.振る舞いを定量化できれば,成功要因・失敗要因等を分析するための客観的な評価指標の提示ができ,FRAMモデルの可読性向上の支援につながると考える.
提案手法では,FRAMモデルを確率を扱えるモデル検査ツールPRISMのモデルへ変換し,このモデルを経過時間を限定する検査式で検証することにより振る舞いの定量化を行う.
発表ではFRAMモデルをPRISMモデルへ変換する手順及び検証方法を説明し,本提案手法を適用した事例を用いて,FRAMモデルにおけるシステムの振る舞いを理解しやすくできることを示す.
FR012N野本 秀樹氏有人宇宙システムブラックボックス型人工知能システムの安全検証ディープニューラルネットワーク等、ブラックボックス型AIの安全性を形式手法を用いて論証する手法について概説する。
FR021N日下部 茂氏長崎県立大学行動ベースのセーフティマネジメントへのFRAMの適用について安全に関する取り組みにFRAMと行動分析を併用するアプローチについて発表する。行動とその変容についての科学な取り組みである行動分析学の知見は様々な領域において有用で,それは安全に関する行動にもあてはまる。そのため、行動分析学を現実世界の安全問題に適用し、人々の注意と行動を常に自分や他の人々の日常の安全行動に集中させるプロセスとして、行動分析学にもとづくBBS (Behavior Based Safety)の取り組みがなされてきた。BBSのベースである行動分析学では随伴性にもとづくオペラント条件付けが重要な役割を果たすが、その分析に用いられる随伴性ダイアグラムの作成と分析は属人性が高いものとなっている。本研究ではそのような随伴性とオペラント条件付けのモデル化と分析にFRAMを用い、ることについて発表する。
FR022N広瀬 貴之氏京都大学FRAMに基づく数値シミュレータの開発と活用
FR023N植田 聡史氏JAXA月着陸機の着陸シーケンスのFRAM分析
ST101S中尾 昌善氏IPA 社会基盤センターアーキテクチャ視点で挑むSociety5.0の実現Society5.0では、その見取り図となる考え方や概念を「アーキテクチャ」という構造で捉え、推進の礎にしていこうとしています。アーキテクチャ検討のベースとなるシステムズエンジニアリングとIoTに関する取組みを紹介します。
ST102S野本 秀樹氏有人宇宙システム株式会社STAMPと創発性STAMPの理論における重要なキーワードである「創発性」が、STAMPのモデルにどのように表現され得るのかについて概説する。
ST103S兼本 茂氏会津大学システム思考で考える複雑システムの安全とSTAMPAI・IoT時代の複雑システムの安全は、従来の安全規格の範囲で守ることはできない。故障がなくても事故は起きるということを前提に安全設計をしないといけない。この背景と、そのための方法論の一つとして期待されているSTAMPの考え方を述べる。
ST111S石濱 直樹氏JAXA宇宙機等のクリティカルシステムの品質について(仮題)
ST121N小松 隆氏富士通コンピュータテクノロジーズ「つながる世界の品質確保に向けた手引き」をヒントワードに活用する取り組みIoTシステムに特化した「ヒントワード」をまとめることで、IoTシステムに対するハザード誘発要因(HCF)の特定を容易にするための取り組みについて発表する。
安全・安心なIoTシステムを開発するための考慮事項をまとめた冊子として「つながる世界の品質確保に向けた手引き」(2018・IPA)がある。手引きには「つながる機器の性能差」や「つながる機器の種類と接続数」といったIoTシステム特有のレビューの観点が記載されているが、これらの観点が「ヒントワード」として活用可能だということに着目し、「IoTシステムに特化したヒントワード」として独自にまとめた。
HCFの特定はSTAMP/STPAの手順の中でも特に分析者のスキルに依存する部分であり、ヒントワードからどれだけ発想を膨らませられるかがカギとなる。IoTシステムに特化したヒントワードを用意することによって、分析者のスキルに大きく依存することなく、IoTシステムで想定されるハザードシナリオを抽出できるようにすることを狙っている。
現在はトライアル段階であるが、トライアルでの成果や新たな気付きを報告する。
ST122N積田 恵一氏JASA安全性向上委員会 安全仕様化WGSTAMPシミュレーションツール Sim4stampの機能向上”Sim4stampはGUI上でモデルを作成し、VDM++のスケルトンソースを自動生成し、シミュレーション実行を行い、正常結果と偏差注入結果を比較することで、UCA一覧表の作成を補助するツールである。今回、変数の型として5値論理を追加することにより、より簡単にシミュレーションの作成、実行ができるようになった。また、結果をUCA一覧に準じた形でファイル出力可能にした。なお、5値論理とは「1」から「5」の数値を意味づけたものであり、例えば温度なら「とても低い」「低い」「適温」「高い」「とても高い」にそれぞれ割り付けたものであり、シミュレーションの作成と解釈を単化する効果がある。
ST131N北村 知氏JR東日本列車接近警報システムのSTAMP/STPA分析とSafety2.0”STAMP/STPA手法と従来のFTA手法を併用して、JR東日本で導入を進めているGPSを活用した列車接近警報システム(GPS列警)の安全性分析を行い、それぞれの手法の特徴に基づいた分析上の役割分担を示した。
また、産業安全の指標として近年提唱されているSafety 2.0(協調安全)を見据えてGPS列警の改善案を検討した結果、システムの役割分担が従来から変化し、システム全体としてさらに高度なレベルでの安全性を実現できることを示した。
ST132N高野 友佑氏JR東日本鉄道信号システムにおける効率的なハザード要因抽出のためのSTAMP/STPAの応用について鉄道信号システムは、鉄道の安全安定輸送を確保するために必要不可欠な存在である。近年、鉄道信号システムは機能分散・ネットワーク化に伴うハードウェア構成の複雑化、機能向上に伴うソフトウェアの肥大化等により、システマティックエラーのリスクが増大する傾向にある。そのため、新規に開発するシステムにおいては、それらのリスクを回避するため、ハザードの要因を網羅的・効率的に抽出する必要がある。STAMP/STPAはハザード要因をトップダウンに抽出する手法として鉄道においてもその有効性が確認されているが、抽出する事象の「網羅性」と「抽象度」は相反する関係にあるため、網羅性が高く、かつ具体的な内容のハザード要因を抽出するため、鉄道信号システムのハザード要因解析に特化した新たなSTAMP/STPA手法の提案を行う。
ST133N杉浦 英樹氏ETロボコン南関東地区 実行委員会ETロボコンにおけるSTAMP/STPAの利用促進本発表では、ETロボコンにおけるSTAMP/STPAの導入推進活動に関する事例を紹介する。ETロボコンは、同一仕様のロボット走行体を用いて、同一仕様のコースを走行し、その時間を競う競技である。最大の特徴は、制御ソフトウェアの開発におけるプロセス成果物である、分析モデル、設計モデルを吟味し、ソフトウェア開発の工夫や正しさを評価し、競技結果に加味する点である。
レースでは、ロボット走行体がコースに上のラインをトレースして走行することが基本となるが、競技である以上、様々な障害に陥る危険を考慮する必要がある。安全確実に競技を進めるにあたって、自動車に求められる安全性の考え方を踏襲したシステム安全解析手法が効かない理由がない。そこで、STAMP/STPAを利用し、ロボットの走行安定性、確実性、さらには、過去のレース経験の伝承伝達ができそうなことを確認し、ETロボコンでの利用を提案し、採用を推奨するに至った。
プロセスの考え方、分析の考え方、モデルの考え方、明示する内容を具体的に紹介する。
ST134N橋本岳男氏一般社団法人JASPAR機能安全WG安全分析手法開発チーム自動運転システムへのSTAMP適用の取組み~Unknown Unsafeシナリオ導出に向けた挑戦~”
ST201N福島 祐子氏日本ユニシスセキュアな機能の実現を目指すSTPA-Secの試行 〜プロセスモデルを中心とした分析〜CPSでは、サイバー攻撃が情報システムだけではなく、システムにつながる機器、人、社会インフラにまで物理的な影響を及ぼすことが懸念される。そのため、セキュリティ対策においては、企画・設計の上流工程から安全性とセキュリティの両方の観点を検討する必要がある。
STPAは開発の早期から適用可能な安全分析手法であり、事故は故障によっても起きるが、“プロセスモデル(システムが信じているシステムの状態)”と“システムの実際の状態”の不一致によっても起きるという考え方に基づいている。
STPAに対してさらにセキュリティの観点を追加して拡張したSTPA-Secが提案されている。現在のセキュリティ分析手法は脅威分析に焦点を当てているが、STPA-Secはセキュアな機能の実現に重点を置く。STPAと同様にプロセスモデルを重視しており、コントロールアクションがハザードにつながるプロセスモデルの組み合わせを分析し、システム設計に反映することにより、セキュアな機能の実現を目指している。
本発表では、STPA-Secによるプロセスモデルを中心とした分析事例を紹介し、CPSを設計する上での有効性について考察する。
ST202N鈴木 克明氏オリンパス医療事業におけるSTAMPを用いた安全性・セキュリティ対応プロセス改善の取り組みオリンパスにおける医療機器の開発において、従来の安全を実現するための品質管
理手法ではシステム視点の網羅的な識別に困難である。
しかし、サイバーセキュリティにおいては、システム視点での網羅的な抽出は不可
欠である。
そこで、医療機器のセキュリティ脅威の分析をSTAMP/STPAをベースに拡張子、コン
セプト開発レベルで分析を行った事例を紹介する。
ST203N金子 朋子氏NTTデータSTAMP S&S~レベル3自動運転事例によるセーフティ・セキュリティ統合リスク分析STAMP/STPAはセーフティを中心に展開されてきたが,セキュリティ上のリスク分析にも適用可能であり,STPAのセキュリティ対応手法であるSTPA-Secも提案されている.さらにセーフティと脆弱性に着目したセキュリティを統合分析するSTPAの拡張であるSTPA-SafeSecも提案されている.
しかし相互作用に着目したSTAMPの特長をいかし脅威をセキュリティ属性別に網羅的に識別するためにはさらなる工夫が要ると筆者らは考えている。そこでSTAMPモデルを使ってSTPAの手順に従いつつ脅威モデリングを追加する方法を提案し,セーフティとセキュリティを企画・要求段階から同時に分析できる手法としての手順を提示する.さらにそのフレームワークに対しての実験結果による評価を行った.具体的にはレベル3の自動運転のブレーキシステムにセーフティとセキュリティ統合フレームワークを適用して実施した実験結果とその有効性評価を提示する.
ST204NDANIEL PATRICK氏三菱航空機Using ontology to support STPA analysisSystems-Theoretic Process Analysis (STPA) is a safety analysis approach for evaluating the safety of complex systems. Different industries have employed STPA techniques to identify safety concerns during system operation. From our knowledge, the STPA for security does not gain attention from the industry yet. STPA for security is an extension of STPA that proposes to include security concerns into the analysis. However, the manner to investigate security concerns is different from safety. The former concerns to intentionality actions performed while the latter concerns to unintentional actions. We propose an ontology-based technique that extends STPA to improve identification of causal scenarios and associated casual factors, specifically those related to security. The approach assists the systems engineer to conduct safety and security analyses using STPA with a supporting ontology. A tool that implements the proposed ontology was created to support the systems engineer during the safety and security analysis.
ST211N柳原 靖司氏ブラザー工業多様なステークホルダの視点をSTAMP/STPAに導入する試み我々の研究チームでは、情報システムの領域で多様なステークホルダの視点を考慮しながらSTAMP/STPAのような解析手法を用いた場合に獲得される安全性やセキュリティの非機能要件に着目しております。一般的に、システム開発では多様なステークホルダが持つ視点によって、要求・要件の合意形成でコンフリクトが起こることが知られています。特に非機能はそれが顕著に現れます。今回、仮想の「クラウドIoTランドリーシステム」をテーマとしてSTAMP/STPAを用いて予備実験を行ったところ、獲得された対策にはステークホルダの間で対立要件となりうるものが含まれていました。多様なステークホルダの視点を考慮したSTAMP/STPAと、そこで獲得された安全性やセキュリティの非機能要件をゴール指向で要求分析する提案手法を報告させて頂きたく存じます。
なお、今回はSTAMPワークショップでの報告なので、予備実験の結果から得られたIoTシステムならではの分析結果にフォーカスを当てたいと考えております。
ST212N日下部 茂氏長崎県立大学行動分析を用いた自動改札システム利用者の心理的安全分析行動についての科学に取り組みである行動分析学は、個人や組織の行動を、個人と環境との相互作用のありかた、としてとらえる。そのような行動分析の知見を、自動改札システム利用者の心理的安全についてのSTAMP/STPAでの分析に取り入れることを説明する。自動改札機そのものだけでなく、利用者が列車を降りてからの環境との相互作用に着目した分析を行う。相互作用において、先行条件(Antecedents)、行動(Behavior)、結果(Consequences)の分析、いわゆるABC分析をSTAMP/STPAと併用して行う。特に、先行条件を、弁別刺激による刺激性制御と強化刺激に対する確立操作に明示的に分けた分析を行う。弁別刺激は、ある特定の強化を受けるには何時・どこで・何をしたらよいか、つまりB(行動)のTPOを指示する刺激であり、それは外部の環境刺激(他者の行動を含む)や、自分自身の言語反応や情動反応がその刺激としての働きをする可能性がある。また、確立操作というのはC(結果)となる事象の強化刺激としての効果を確立するための操作である。このような観点から利用者と改札機や駅の環境との相互作用および心理的安全についてSTAMP/STPAによる分析を行う。
ST221S原 聡氏 大阪大学産業科学研究所機械学習モデルの判断根拠の説明“行動についての科学に取り組みである行動分析学は、個人や組織の行動を、個人と環境との相互作用のありかた、としてとらえる。そのような行動分析の知見を、自動改札システム利用者の心理的安全についてのSTAMP/STPAでの分析に取り入れることを説明する。自動改札機そのものだけでなく、利用者が列車を降りてからの環境との相互作用に着目した分析を行う。相互作用において、先行条件(Antecedents)、行動(Behavior)、結果(Consequences)の分析、いわゆるABC分析をSTAMP/STPAと併用して行う。特に、先行条件を、弁別刺激による刺激性制御と強化刺激に対する確立操作に明示的に分けた分析を行う。弁別刺激は、ある特定の強化を受けるには何時・どこで・何をしたらよいか、つまりB(行動)のTPOを指示する刺激であり、それは外部の環境刺激(他者の行動を含む)や、自分自身の言語反応や情動反応がその刺激としての働きをする可能性がある。また、確立操作というのはC(結果)となる事象の強化刺激としての効果を確立するための操作である。このような観点から利用者と改札機や駅の環境との相互作用および心理的安全についてSTAMP/STPAによる分析を行う。
ST222S佐々木 良一氏 東京電機大学AI/IoTシステムの安全性確保のための考察AI/IoTシステムの安全性確保のためにまずAIと安全性をめぐる4つの観点から分析を行う。(a) Attack using AI (b) Attack by AI (c) Attack to AI (d) Measure using AI。次に、IoT システムのセキュリティとリスク評価について研究状況を紹介したのちAI機能を持つIoTシステムのリスク評価に関する考察を行う。
ST223P中江 俊博氏(株)デンソー ソフトウェア先行開発室【パネリスト講演】
ST224P北村 知氏JR東日本鉄道信号へのAIIoT応用に向けた挑戦と課題

QAML Seminar (2019/12/18)を開催します

QAMLセミナー

日時:2019年12月18日(水) 16:45-18:00
場所:Patia Jinbocho (パティア 神保町店)

タイトル:DeepStellar: Model-Based Quantitative Analysis of Stateful Deep Learning Systems

発表者:Lei Ma, 助教, 九州大学
概要:Deep Learning (DL) has achieved tremendous success in many cutting-edge applications. However, the state-of-the-art DL systems still suffer from quality issues. While some recent progress has been made on the analysis of feed-forward DL systems, little study has been done on the Recurrent Neural Network (RNN)-based stateful DL systems, which are widely used in audio, natural languages and video processing, etc. In this paper, we initiate the very first step towards the quantitative analysis of RNN-based DL systems. We model RNN as an abstract state transition system to characterize its internal behaviors. Based on the abstract model, we design two trace similarity metrics and five coverage criteria which enable the quantitative analysis of RNNs. We further propose two algorithms powered by the quantitative measures for adversarial sample detection and coverage-guided test generation. We evaluate DeepStellar on four RNN-based systems covering image classification and automated speech recognition. The results demonstrate that the abstract model is useful in capturing the internal behaviors of RNNs, and confirm that (1) the similarity metrics could effectively capture the differences between samples even with very small perturbations (achieving 97% accuracy for detecting adversarial samples) and (2) the coverage criteria are useful in revealing erroneous behaviors (generating three times more adversarial samples than random testing and hundreds times more than the unrolling approach). 

related paper

参加をご希望の方は、吉岡までお知らせください。

QAML Seminar (2019/11/27)を開催します

QAMLセミナー

日時:2019年11月27日(水) 16:45-18:00
場所:NII, 12F 1208

タイトル: Weighted Automata Extraction from Recurrent Neural Networks via Regression on State Spaces
発表者:関山太郎, 助教, NII
概要:
We present a method to extract a weighted finite automaton (WFA) from a recurrent neural network (RNN). Our algorithm is based on the WFA learning algorithm by Balle and Mohri, which is in turn an extension of Angluin's classic \lstar algorithm. Our technical novelty is in the use of regression methods for the so-called equivalence queries, thus exploiting the internal state space of an RNN. This way we achieve a quantitative extension of the recent work by Weiss, Goldberg and Yahav that extracts DFAs. Experiments demonstrate that our algorithm's practicality.

参加をご希望の方は、吉岡までお知らせください。

「AI/IoTシステムのための安全性シンポジウム」参加者募集!!

開催概要

皆様のおかげさまで、308名の参加者を集め盛況にシンポジウムを終えることができました。

シンポジウムの報告及び資料は資料公開のページにて公開しております。


AI応用システムやIoTシステムの安全性に対する関心が高まりを見せています。本シンポジウムでは、AI/IoTシステムの安全性に関する著名な研究者やミッションクリティカルな産業の有識者による講演と共に、「FRAMワークショップ」(11/26)と「STAMPワークショップ」(11/28, 29)を開催します。(参加費:無料)
2つのワークショップでは、レジリエンス・エンジニアリングにおける分析手法FRAM(※1)やシステム理論に基づく安全性分析手法STAMP(※2)によって、複雑性、不確実性、曖昧性などの性質を持つシステムの安全性をいかに高めることができるかについて議論します。

Engineerable AI、XAI(説明可能なAI)、IoTの安全を知りたい方、AI/IoTを含んだシステムの開発やリスク分析に関わる方、レジリエントなシステム、ミッション・クリティカルなシステムに興味のある方、機械学習システムの安全性・信頼性を検討している方、参加無料ですので、ぜひお気軽にご参加ください。
(聞きたい講演のみに絞った部分的なご参加ももちろん可能です)
11/28の午前中には、STAMPと安全性のチュートリアルを実施しますので、STAMPを知らない方や安全性の基礎から学びたい方もぜひご参加ください。

*STAMP向けモデリングツール STAMP Workbench は以下からダウンロードできます。
http://www.change-vision.com/stamp/


日時:2019年11月26日(火) 開場:9:30
場所:
国立情報学研究所(NII)12階 1208会議室 (東京都千代田区一ツ橋2-1-2

日時:2019年11月28日(木)、29日(金) 開場:9:30
場所:NTT DATA 駒場研修センター 1階 イベントホール (東京都目黒区駒場2-18-2

主催:国立情報学研究所(NII)
「高信頼な機械学習応用システムによる価値創造(QAML)」プロジェクト
共催:独立行政法人情報処理推進機構(IPA)、
株式会社エヌ・ティ・ティ・データ、
有人宇宙システム株式会社
協賛:株式会社チェンジビジョン、
一般社団法人日本ソフトウェア科学会 機械学習研究会(MLSE)、
一般社団法人日本セキュリティ・マネジメント学会(JSSM)、
一般財団法人日本科学技術連盟(JUSE)、
一般社団法人電子情報通信学会 知能ソフトウェア工学研究会(KBSE)、
一般社団法人情報処理学会 ソフトウェア工学研究会(SIGSE)、
一般社団法人情報処理学会 コンピュータセキュリティ研究会(CSEC)、
一般社団法人 組込みシステム技術協会(JASA)、

特定非営利活動法人安全工学会(JSSE)
後援:独立行政法人日本学術振興会 第192(サイバーセキュリティ)委員会
一般社団法人JASPAR(Japan Automotive Software Platform and Architecture)


… 注目のセッション …………………………………………………………

【基調講演】


エリック・ホルナゲル氏(スウェーデン ヨンショーピング大学教授)
講演:"The Impact of AI on Human Work"

 

【招待講演】


原 聡氏(大阪大学産業科学研究所 / 助教)

「機械学習モデルの判断根拠の説明」
本講演では、機械学習モデルの判断根拠を提示するための説明法について紹介する。高精度な認識・識別が可能な機械学習モデルは一般に非常に複雑な構造をしており、どのような基準で判断が下されているかを人間が窺い知ることは困難である。このようなモデルのブラックボックス性を解消するために、近年様々なモデルの説明法が研究・提案されてきている。本講演では近年の代表的な研究について紹介する。パネルディスカッションのパネリスト。

 


石濱 直樹氏(研究開発法人 宇宙航空研究開発機構 研究開発部門 第三研究ユニット 主幹研究開発員)

「宇宙機等のクリティカルシステムの品質について(仮題)」

 

佐々木 良一氏(東京電機大学 特命教授)

「AI/IoTシステムの安全性確保のための考察
AI/IoTシステムの安全性確保のためにまずAIと安全性をめぐる4つの観点から分析を行う。(a)Attack using AI、(b) Attack by AI、 (c) Attack to AI、 (d) Measure using AI。次に、IoTシステムのセキュリティとリスク評価について研究状況を紹介したのちAI機能を持つIoTシステムのリスク評価に関する考察を行う。パネルディスカッションのパネリスト。

【共催者講演】


中尾 昌善氏((独)情報処理推進機構 社会基盤センター グループリーダ)

「アーキテクチャ視点で挑むSociety5.0の実現」
Society5.0では、その見取り図となる考え方や概念を「アーキテクチャ」という構造で捉え、推進の礎にしていこうとしています。アーキテクチャ検討のベースとなるシステムズエンジニアリングとIoTに関する取組みを紹介します。

【共催者講演(チュートリアル)】

野本 秀樹氏(有人宇宙システム株式会社 IV&V研究センター長)

「STAMPと創発性」
STAMPの理論における重要なキーワードである「創発性」が、STAMPのモデルにどのように表現され得るのかについて概説する。

 


兼本 茂氏(会津大学名誉教授・IPA IoTシステム安全性向上技術WG 主査)

「システム思考で考える複雑システムの安全とSTAMP」
STAMP for complex system safety design based on systems theory
AI・IoT時代の複雑システムの安全は、従来の安全規格の範囲で守ることはできない。故障がなくても事故は起きるということを前提に安全設計をしないといけない。この背景と、そのための方法論の一つとして期待されているSTAMPの考え方を述べる。

【パネルディスカッション】
「信頼できるAIシステムのために今取り組むべき課題と持続可能な社会への展望」 

中江 俊博氏((株)デンソー ソフトウェア先行開発室 課長)、パネリスト。

北村 知氏(JR東日本 研究開発センター 主幹研究員)、パネリスト。

吉岡 信和氏(国立情報学研究所 准教授・QAMLプロジェクトリーダー)、司会 。

=====================================================

プログラム20191122時点

参加お申し込みはこちらへ

  • 参加の際は、名刺かconnpassの「受付票」をお持ちいただき、会場でお渡しするネームホルダーに入れてください。
  • ネームホルダーを回収する際に名刺・受付票も同時に回収させていただき、出席の記録とさせていただきます。
  • 11/26の参加お申込み希望者が多かったため定員を150人まで増やしましたが、満席となりました

 

11/28の交流会の参加お申し込みはこちらへ

  • 11/28(木)18:00~19:00に講演者や参加者のネットワーキングの場として「交流会」を開催しますので、ぜひご参加ください。
    (会費1000円・ソフトドリンクと軽食のみ)
  • STAMPやFRAM、AIについて日頃思っていること、いまさら聞けない素朴な疑問などについて、軽食とドリンクを片手に気軽に語り合いませんか? 

AI/IoTシステムのための安全性シンポジウム実行委員会
・実行委員長:吉岡信和(NII) プログラム委員長:金子朋子(NII/NTTデータ)
・アドバイザー:兼本茂(会津大学)、野本秀樹(JAMSS)
・プログラム委員:岩永 寿来(チェンジビジョン)、岡本圭史(仙台高等専門学校)、日下部茂(長崎県立大学)、髙橋雄志(東京電機大)、橋本岳男(日立産業制御ソリューションズ)、福島祐子 (日本ユニシス)、向山輝(IPA)、 余宮尚志(東芝)Patrick Daniel(三菱航空機) あいうえお順

問合せ先(主催者):
qaml.aiiot_symp@nii.ac.jp(本メールアドレスにてお問合せください)
※ 送付いただいた個人情報は、本シンポジウムの主催者が管理し、本シンポジウムに関わる連絡以外の目的では使用いたしません。


※1:FRAM(Functional Resonance Analysis Method:機能共鳴分析手法)「複数の機能の相互インタラクションが、外乱に柔軟に対応する一方でエスカレーションを起こし、安全を脅かし得る」という考えに基づく分析手法
※2:STAMP(System Theoretic Accident Model and Process)「安全/事故はシステムの構成要素の相互作用による創発特性である」という理論に基づく分析手法

QAML Seminar: Requirements for Machine Learning Application on 9th October 2019

Seminar programme

Time and Date: 15:30-17:00, 9th October 2019 (starting time was changed.)
Place: 2010 meeting room, 20th floor, NII
Admission fee: free
Registration: required at https://forms.gle/fjbPLDDtn1AAz4En7
Remote attendance will be avaliable and the url will be announced to those who want.

Invited talk

Amel
Invited Speaker: Amel Bennaceur, Lecturer, the Open University, UK
Title: Machine Learning Software is Still Software
Abstract:

Machine Learning (ML) is the discipline that studies methods for automatically
inferring models from data. Machine learning has been successfully applied in
many areas of software engineering ranging from behaviour extraction, to
testing, to bug fixing. However, there is comparatively less research on applying
software engineering techniques to designing and implementing machine
learning applications.
Machine learning techniques disrupt the traditional models of software
development and call for quicker, if not immediate, response from requirements
engineering (RE). Indeed, the social underpinning and the increasing reliance on
software systems for every aspect of our life, call for better methods to
understand the impact and implications of software solutions on the wellbeing of
individuals and society as a whole. The intrinsic ability of RE to deal with
conflicts, negotiation, and its traditional focus on tackling those wicked problems
is highly beneficial.
The seminar will review and reflect on the synergies between machine learning
and software engineering. In this seminar, I will introduce the principles of
machine learning, give an overview of some key methods, and present examples
of interaction between software engineering and machine learning. I will also
discuss some open challenges on how machine learning can benefit from
software engineering methods in general and requirements engineering in
particular.

Bio:
Dr. Amel Bennaceur is a Lecturer (Assistant Professor) in Computing at the Open
University, UK. She received her PhD degree in Computer Science from the
University of Paris VI in 2013. Her research interests include dynamic mediator
synthesis for interoperability and collaborative security.
She was part of the Connect and EternalS EU projects that explored synergies
between machine learning and software synthesis.
The results of her work have been published in leading conferences and journals
such as Middleware, ECSA, and IEEE TSE. Bennaceur has been a member of the
program committee of several software engineering conferences including
RE:Next 2016 and ESEC/FSE 2015-NIER. She has been the program co-chair for
ESEC/FSE 2017 Artifact track and SEAMS 2019 and is co-chairing the Poster
Track at RE 2020.

2nd talk

QAML speaker: Hiroshi Kuwajima, DENSO corp.
Title: Adapting SQuaRE for Quality Assessment of Artificial Intelligence Systems
Abstract:
More and more software practitioners are tackling towards industrial applications of artificial intelligence (AI) systems, especially those based on machine learning (ML). However, many of existing principles and approaches to traditional systems do not work effectively for the system behavior obtained by training not by logical design. In addition, unique kinds of requirements are emerging such as fairness and explainability. To provide clear guidance to understand and tackle these difficulties, we present an analysis on what quality concepts we should evaluate for AI systems. We base our discussion on ISO/IEC 25000 series, known as SQuaRE, and identify how it should be adapted for the unique nature of ML and Ethics guidelines for trustworthy AI from European Commission. We thus provide holistic insights for quality of AI systems by incorporating the ML nature and AI ethics to the traditional software quality concepts.

AI/IoTシステムのための安全性シンポジウムを開催します

参加者募集を開始しました。(20191017日)

詳細は以下をご覧ください。

https://qaml.jp/2019/10/15/ai-iot-participate/

 

AI応用システムやIoTシステムの安全性に対する関心が高まりを見せています。本シンポジウムでは、AI/IoTシステムの安全性に関する基調講演と共に、「FRAMワークショップ」(11/26)と「STAMPワークショップ」(11/28, 29)を開催します。

2つのワークショップでは、レジリエンス・エンジニアリングにおける分析手法FRAM(※1)やシステム理論に基づく安全性分析手法STAMP(※2)によって、複雑性、不確実性、曖昧性などの性質を持つシステムの安全性をいかに高めることができるかについて議論します。

発表してくださる方を募集します!
発表お申し込みはこちらへ


※1:FRAM(Functional Resonance Analysis Method:機能共鳴分析手法)「複数の機能の相互インタラクションが、外乱に柔軟に対応する一方でエスカレーションを起こし、安全を脅かし得る」という考えに基づく分析手法
※2:STAMP(System Theoretic Accident Model and Process)「安全/事故はシステムの構成要素の相互作用による創発特性である」という理論に基づく分析手法