DeepTest 2019
DeepTestでは、深層学習に対するテストと、深層学習を用いたテストの両方を興味の対象としています。2件のキーノート、12件の口頭発表、パネルディスカッションで構成されますが、口頭発表に必要な提出物は要旨のみのため、Proceedingsもなく、発表時間も1人15分と短めに設定されていました。全体的な感想としては、精度だけ見ていれば良いわけではない、というのは既に共通の認識で、ロバストネス、説明容易性、公平性などを考慮する必要があるのですが、今回は特にロバストネスに関する発表が多かった印象です。
Fujitsu Laboratories of AmericaのMukul Prasadの発表ではロバストネスの定義を（画像の場合、回転や拡大縮小などの）変換したデータに対する損失関数の値として評価する方法を提案していました。
一方、ジョージア工科大学のAlessandro Orsoは「ニューラルネットワークの正しさに関する仕様は確率的に表される」と「その確率的仕様を満たしているかの検証は統計的アプローチとシンボリックアプローチが必要」という仮説に基づき、確率的なロバストネスを定義し、それを満たすか検証する方法を披露していました。こちらはICSE本会議のNIER trackで採択された論文の内容とほぼ同等のものでした。
さらにコロンビア大学のYizheng Chenは、既存のロバストネスの検証における課題である計算コストを、ランダムサンプリングによる確率的近似と、精度とロバストネスをバランスさせる動的な損失関数により、1/15に減らせることを実験で示した成果を紹介した。現時点では、ロバストネスの評価またはある閾値以上かの検証を目的とした研究がほとんどで、それもまだ実用的な成果までは至っていないのですが、将来的にはその結果からどう修正していくか、ということが課題になっていくのではないかと考えます。同内容の論文のpreprintはここから入手可能です。
キーノートの1つはPurdue UniversityのXiangyu ZhangによるMLモデルのデバッグと敵対的サンプル攻撃の検知に関する研究の紹介でした。MLモデルのデバッグは、ソフトウェア工学分野のトップカンファレンスの1つであるFSE 2018で発表されたMODEという手法なのですが、正解データと不正解データそれぞれで特徴量の傾向を知らべ、その差分をとることでことで悪影響を与えている特徴量を特定する、というものです。数学的な正しさというのはなく、ソフトウェア工学的な知識によって構築したものでありますが、特徴量の影響を知ってデバッグに活かす、というのは他の研究も近いものがあり、今後さらに増えていく領域ではないかと考えます。preprintはここから入手可能です。
敵対的サンプル攻撃の検知の話は、サイバーセキュリティ分野で著名な国際会議であるNDSSにおいて発表されたものをベースとしています。アイデアとしては、通常のデータと敵対的サンプル攻撃とではアクティベーションパターンが異なることを利用し、アクティベーションパターンをinvariantとして実行環境でのアタックを検知するというもので、実験で90%の精度で敵対的サンプルを検知できたという結果を出しています。preprintはここから入手可能です。
MET 2019
METはメタモルフィックテスティングに関するワークショップで、もちろん機械学習アプリケーションについてのメタモルフィックテスティングも興味の対象に入っています。多くのスライドは公式ページにアップされていますので、詳細はそちらを参照してください。ここでは機械学習関連のトピックについて紹介します。
University of WollongongのZhi Quan Zhouは、メタモルフィック関係パターン（metamorphic relation pattern(MRP)）として、振る舞いを変えないようなノイズを入力に加えることを提案しました。ユースケースとして、自動運転におけるLiDARによる障害物の検知を挙げており、背景などの検知対象外領域にノイズを加えることで、検知すべき障害物が検知できなくなるという事例の紹介をしていました。MRPについて興味深かった議論としては、メタモルフィック関係とMRPの境界はどこになるのか、ということです。もしメタモルフィック関係自体が十分に抽象的に書かれている場合にそれはMRPと呼べるのか、どこまで抽象的に書けばMRPと呼ぶのか、というようなことが議論されていますが、現状はまだ十分な整理がされておらず今後の課題のようです。
Metamorphic testing for machine learningのセッションでは3件の発表があり、Anurag Dwarakanath (Accenture Labs)がLSTMを用いた予測(Forecast)について、Sen Yang (University of Nottingham Ningbo)がk-meansクラスタリングについて、それぞれメタモルフィック関係とそれを用いた実験結果を紹介しました。Rohan Reddy Mekala (Fraunhofer CESE)は、アフィン変換によるメタモルフィック関係を用いて敵対的サンプルの特定を行う方法を提案し、ImageNetを用いた実験では最高96.85％の精度で敵対的サンプルを検出したという発表を行いました。どれもアイデアとして斬新なものではないですが、既存研究ではまだ行われていないことを着実に取り組んでいっているなという感想を持ちました。
報告者：徳本 晋
