QAMLセミナーの開催

10月9日(水)15:00から国立情報学研究所(NII)でQAMLセミナーが開催されました。

最初の講演者は英国のオープン大学でコンピューティングの講師(准教授)をされているAmel Bennaceur博士でした。講演タイトルは「Machine Learning Software is Still Software」。データからモデルを自動的に推測する方法を研究する分野である機械学習(ML)とソフトウェアエンジニアリングの相乗効果について語られました。要件エンジニアリング(RE)の観点からMLがどのように利益を得ることができるかについての研究は日本では聞く機会の少ないテーマであり、興味深いものでした。MLとSEのkeyコンセプト比較、翻訳合成の事例、コンポーネントモデルの学習、体系的でなく実践的なプロセス、コンポーネント抽出のためのオートマタ学習L*、学習ベースのメディエーター合成、明確な指示のある第一世代、例を通じた処理をする第2世代、そして、コラボレーションを通じた第3世代のSEパラダイムなどについて話されました。数々の具体的な事例を通じ、終始明るくにこやかにスピーチをされるAmel博士だからこそ、少し難易度の高い内容を英語でスピーチされたにも関わらず、とても楽しく聞くことができました。


次の講演はデンソーの桑島洋氏による研究発表でした。ISSREに採択されたBest Industry Papersという素晴らしい成果をおさめた「Adapting SQuaRE for Quality Assessment of Artificial Intelligence System」という論文についてスピーチされました。
http://2019.issre.net/node/80?fbclid=IwAR3wa7ZilfpIvHyjUF45l01zT1NLeIzvI9ORcbH-JQLHfuz9JEYLUzGZD0U

この論文では、AIシステムについてどの品質概念を評価すべきかについての分析を提示するため、 SQuaREとして知られるISO / IEC 25000シリーズに基づいて議論し、MLの独自性と欧州委員会の信頼できるAIの倫理ガイドラインにどのように適合させるかを特定しています。そしてMLの性質とAIの倫理を従来のソフトウェア品質の概念に組み込むことにより、AIシステムの品質に関する全体的な洞察を提供する内容となっています。MLの品質保証という重要なテーマのスピーチでした。


講演の最後に吉岡先生からお二人に記念のQAMLグッズも渡されました。

  

また、講演終了後はQAMLルームでたこ焼きパーティーが開催され、親睦も深める有意義なセミナーとなりました。

ICSE2019併設ワークショップ(DeepTest, MET)参加報告

ICSE2019 signboardICSE2019 registration kitICSE2019 Venue
2019年5月25日~31日の間にモントリオールで開催されたICSE 2019(41st ACM/IEEE International Conference on Software Engineering)では機械学習工学関連の多くのワークショップが開催されました。そのうち、機械学習アプリケーションに対するテスト技術に関係が深いDeepTest 2019(1st International Workshop on Testing for Deep Learning and Deep Learning for Testing)とMET 2019(4th International Workshop on Metamorphic Testing)に参加してきましたので、概要と私の興味を持ったトピックについてご紹介します。

DeepTest 2019

DeepTest2019 Opening
DeepTestでは、深層学習に対するテストと、深層学習を用いたテストの両方を興味の対象としています。2件のキーノート、12件の口頭発表、パネルディスカッションで構成されますが、口頭発表に必要な提出物は要旨のみのため、Proceedingsもなく、発表時間も1人15分と短めに設定されていました。全体的な感想としては、精度だけ見ていれば良いわけではない、というのは既に共通の認識で、ロバストネス、説明容易性、公平性などを考慮する必要があるのですが、今回は特にロバストネスに関する発表が多かった印象です。
Fujitsu Laboratories of AmericaのMukul Prasadの発表ではロバストネスの定義を(画像の場合、回転や拡大縮小などの)変換したデータに対する損失関数の値として評価する方法を提案していました。
一方、ジョージア工科大学のAlessandro Orsoは「ニューラルネットワークの正しさに関する仕様は確率的に表される」と「その確率的仕様を満たしているかの検証は統計的アプローチとシンボリックアプローチが必要」という仮説に基づき、確率的なロバストネスを定義し、それを満たすか検証する方法を披露していました。こちらはICSE本会議のNIER trackで採択された論文の内容とほぼ同等のものでした。
さらにコロンビア大学のYizheng Chenは、既存のロバストネスの検証における課題である計算コストを、ランダムサンプリングによる確率的近似と、精度とロバストネスをバランスさせる動的な損失関数により、1/15に減らせることを実験で示した成果を紹介した。現時点では、ロバストネスの評価またはある閾値以上かの検証を目的とした研究がほとんどで、それもまだ実用的な成果までは至っていないのですが、将来的にはその結果からどう修正していくか、ということが課題になっていくのではないかと考えます。同内容の論文のpreprintはここから入手可能です。
キーノートの1つはPurdue UniversityのXiangyu ZhangによるMLモデルのデバッグと敵対的サンプル攻撃の検知に関する研究の紹介でした。MLモデルのデバッグは、ソフトウェア工学分野のトップカンファレンスの1つであるFSE 2018で発表されたMODEという手法なのですが、正解データと不正解データそれぞれで特徴量の傾向を知らべ、その差分をとることでことで悪影響を与えている特徴量を特定する、というものです。数学的な正しさというのはなく、ソフトウェア工学的な知識によって構築したものでありますが、特徴量の影響を知ってデバッグに活かす、というのは他の研究も近いものがあり、今後さらに増えていく領域ではないかと考えます。preprintはここから入手可能です。
敵対的サンプル攻撃の検知の話は、サイバーセキュリティ分野で著名な国際会議であるNDSSにおいて発表されたものをベースとしています。アイデアとしては、通常のデータと敵対的サンプル攻撃とではアクティベーションパターンが異なることを利用し、アクティベーションパターンをinvariantとして実行環境でのアタックを検知するというもので、実験で90%の精度で敵対的サンプルを検知できたという結果を出しています。preprintはここから入手可能です。

MET 2019

MET2019 keynote
METはメタモルフィックテスティングに関するワークショップで、もちろん機械学習アプリケーションについてのメタモルフィックテスティングも興味の対象に入っています。多くのスライドは公式ページにアップされていますので、詳細はそちらを参照してください。ここでは機械学習関連のトピックについて紹介します。
University of WollongongのZhi Quan Zhouは、メタモルフィック関係パターン(metamorphic relation pattern(MRP))として、振る舞いを変えないようなノイズを入力に加えることを提案しました。ユースケースとして、自動運転におけるLiDARによる障害物の検知を挙げており、背景などの検知対象外領域にノイズを加えることで、検知すべき障害物が検知できなくなるという事例の紹介をしていました。MRPについて興味深かった議論としては、メタモルフィック関係とMRPの境界はどこになるのか、ということです。もしメタモルフィック関係自体が十分に抽象的に書かれている場合にそれはMRPと呼べるのか、どこまで抽象的に書けばMRPと呼ぶのか、というようなことが議論されていますが、現状はまだ十分な整理がされておらず今後の課題のようです。
Metamorphic testing for machine learningのセッションでは3件の発表があり、Anurag Dwarakanath (Accenture Labs)がLSTMを用いた予測(Forecast)について、Sen Yang (University of Nottingham Ningbo)がk-meansクラスタリングについて、それぞれメタモルフィック関係とそれを用いた実験結果を紹介しました。Rohan Reddy Mekala (Fraunhofer CESE)は、アフィン変換によるメタモルフィック関係を用いて敵対的サンプルの特定を行う方法を提案し、ImageNetを用いた実験では最高96.85%の精度で敵対的サンプルを検出したという発表を行いました。どれもアイデアとして斬新なものではないですが、既存研究ではまだ行われていないことを着実に取り組んでいっているなという感想を持ちました。
報告者:徳本 晋

SEMLA2019参加報告

SEMLA(The Software Engineering for Machine Learning Applications international symposium)は機械学習アプリケーションのためのソフトウェアエンジニアリングを対象とした国際学術会議で、今年で2回目の開催となります。今年の開催時期・場所はICSE参加者が参加しやすいように、ICSEの前週の木・金曜の2日間にモントリオール理工科大学で行われました。そのような配慮もあったためか、参加者数は170名以上となり、この分野の期待の高さを感じられました。
プログラムの構成としては、1日目が主に学術界、2日目は主に産業界の人による講演・パネルで、投稿は募集せず全員招待されての講演となっています。講演資料の多くは公開されているため、詳細は割愛しますが、その中から私が興味を持ったトピックについていくつか紹介します。

STAMP WS2019に参加して

金子朋子

 安全性工学の世界的権威であるMITナンシーレブソン教授が推進するSTAMPをご存じだろうか?

 STAMP (Systems-Theoretic Accident Model and Processes) とは、マサチューセッツ工科大学のNancy Leveson教授が提唱したシステム理論に基づく安全分析の考え方。STAMPに基づく分析手法は、システムの構成要素単体ではなく、それらの相互作用に着目してハザード要因を考える点に特徴がある。主な手法には、システムの開発段階の安全設計に使うSTPA(Systems-Theoretic Process Analysis)と、事故発生後に原因を分析するCAST(Causal Analysis using Systems Theory)がある。筆者は毎年、3月末に開催されるMITでSTAMPワークショップに3年連続3回目の参加をしている[1] [2]。そこでSTAMPの最近の傾向について所感を述べる。

 今回の参加者は28%増加し、416名。参加者の分野でみると多い順に航空153、防衛125、セーフティ104と続くが、例年に比べ、アカデミア・大学が87と大きく伸びているのが特徴である。これは、AIへの安全分析適用という新しいトピックが発生している影響もあるだろう。
 レブソン教授のWelcomeスピーチでは日本の第3回STAMPワークショップも300名程度の参加者があり、盛況だった旨も伝えられた。技術動向として今後の取り組みとして“System of Systems” のハザード分析、システムアーキテクチャを生成するSTPAの利用法などが提唱された。2年前にはSTPA適用中心の発表だったが、今回はCAST本格適用やSTAMP理論にもとづくMBSE、システムズエンジニアリング、AI適用に適用の方向性が進化している。昨年のWSで発行されたSTPAハンドブックの手順に統一されている点に特徴を感じた。さらにSTPAによるセキュリティ分析で多くの事例がでていた。今後はセーフティ・セキュリティ統合分析もより本格化することであろう。
 また、企業における実用化の進展を感じた。昨年、ボーイングなどで紹介された社内での取り組み紹介のコーナーが今年はさらに発展し、GM、ボーイングの他、Akamai、エンブレア航空、AAIA(Air Accident Investigation Authority)などの会社・組織が実績を披露した。また陸上輸送・航空宇宙機器分野の専門家団体であるSAE (Society of Automotive Engineers)において、STAMPの国際規格化もなされたことが発表された。
 さて、QAMLプロジェクトに属する者として、最も知りたいのは、AIへの展開。
発表の中では、Thomas氏らによる「STPA for Autonomous Automobiles」が最もAIを取り扱っていた。STPAの分析結果をヒューマンシナリオとソフトウェアシナリオに分けて作成し、コントロールストラクチャに安全モニタ/保護機構を追加して、その要求事項を抽出していることなどが特徴的であった。STPA適用により、想定以上の多くのリスクが洗い出され、プロジェクトは公道での実験をキャンセル、今後は知覚ソフトウェアの開発のみに注力するという。ちなみにAIへの本格的な適用研究はまだ始まったばかりで、2年計画でJAXAと共同研究も始まるそうである。STAMPによるAIの安全性分析はこれから本格化するところだが、今までの蓄積をもとにAIの安全性分析の実用的な技術となっていく可能性は高いと期待する。

<参考文献>
[1]金子朋子,中沢 潔,システムの相互作用に着目したこれからの安全(STAMP) ,ニューヨークだより特別号(2018年 5 月)
https://www.jetro.go.jp/ext_images/_Reports/02/2018/2e64896cc069cbd3/ny201805.pdf
[2] 金子朋子,SECセミナー「2017 STAMP Workshop参加報告」,https://www.ipa.go.jp/sec/old/users/seminar/seminar_tokyo_20170529-06.pdf

機械学習とIoT:書籍紹介

機械学習は講義のIoTにおける重要な要素です.IoTシステム開発手法には,機械学習工学が含まれます.
ここでは,私が関係したIoTに関する書籍を2つ紹介します.

■戦略的IoTマネジメント (シリーズ・ケースで読み解く経営学 4)
本書では,IoT導入の困難を分類していますが,機械学習システム開発の困難とかなりオーバーラップしています.

■デジタル・プラットフォーム解体新書
本書では,ソフトウェアのプラットフォームとビジネスのプラットフォームの関係が整理されています.

報告者:内平

SysML2019 参加報告

2019年4月1日から2日間、国際会議SysML2019が開催された。
私はこの会議に参加したのだが、語弊を恐れずに言えば非常に「楽しい」会議だったので、ぜひ本記事で紹介してみたい。なお、より詳細な内容の記事は『コンピュータソフトウェア』に寄稿予定である。

この会議は今年で2回めとなる新しい国際会議であり、計算機システム(System)と機械学習(ML、Machine
Learning)という2つの研究トピックの学際領域における研究発表を行うという趣旨のもので、機械学習を実用するためのソフトウェア・ハードウェア全般が対象となる。

本年の参加者は515名で、第1回である昨年の292名から1.8倍程度に増加している。それ以前はNIPS(現NeurIPS)等機械学習分野の会議の併設ワークショップとして数度開催されていたが、聞くところによればその頃の参加者は50名程度だそうで、数年で実質10倍の規模になった。

その中での産学の内訳は、企業から68%、大学から29%とのことだった。主だった参加者の所属としては、企業はFacebook、Google、Amazon、Intel、Microsoftなど、大学はスタンフォード大、CMU、カリフォルニア大学バークレー校、ETHなど、とのこと。

プログラムに関しても、昨年は招待講演が大半を占める1日のみの開催で開催実績だけが先行したイメージだったが、本年に関してはシングルトラックながら2日間に渡って質の高い発表があり、また採択率も16.9%と、立派な国際会議に成長した印象を受けた。プログラムの構成は、先述の通りシングルトラックで、基調講演2件、研究論文発表4セッション32件、ポスター・デモ発表が15件であった(さらに口頭発表した研究もポスターに同時掲載していた)。

なお、会議の様子は当日Youtube Liveにてライブ配信され、現在もYoutube上でアーカイブを観ることができる((1日目
https://youtu.be/7CkV6jEDwlY、2日目 https://youtu.be/uRfp-reEJQ0))。

各発表の詳細は『コンピュータソフトウェア』寄稿の記事に取り置くとして、この会議に参加して強く感じたのは『機械学習のための〇〇』といった研究が今強く求められているということである。この数年で機械学習・深層学習が急速な発展と社会への普及を遂げるにつれ、大きく成長した機械学習を既存の情報科学の中でどう位置づけるべきか、あるいは逆に機械学習の社会実装のために既存の情報科学をどう用いるべきか、が今社会から問われていて、この会議はそうした社会からの強い要求に基づいて登場したものなのだ。参加してみてその熱量の大きさに私は強く感銘を受けた。

おそらく日本においても、分散・並列計算、システムアーキテクチャ、LSI設計、プログラミング言語、ソフトウェア工学といった諸分野において機械学習・深層学習への応用を踏まえた研究を進めている諸氏は多いはずだが、ぜひ「機械学習のための」諸分野の研究が集うこの会議への参加を検討してみてはいかがだろうか。機械学習分野とシステム分野それぞれの見地から同時に良い示唆が得られるのではと思われる。

なお、次回SysML2010は開催だけは決まっているが詳細は未定である。今年と同じスケジュールで開催されるとするなら、論文投稿締切は9月頃になろうかと思われる。

また、国内では機械学習工学研究会(MLSE)でもこの会議とほぼ同様のトピックを扱っているので、こちらへの参加もぜひ検討してみてほしい。

報告者: 今井