SEMLA（The Software Engineering for Machine Learning Applications international symposium）は機械学習アプリケーションのためのソフトウェアエンジニアリングを対象とした国際学術会議で、今年で2回目の開催となります。今年の開催時期・場所はICSE参加者が参加しやすいように、ICSEの前週の木・金曜の2日間にモントリオール理工科大学で行われました。そのような配慮もあったためか、参加者数は170名以上となり、この分野の期待の高さを感じられました。
プログラムの構成としては、1日目が主に学術界、2日目は主に産業界の人による講演・パネルで、投稿は募集せず全員招待されての講演となっています。講演資料の多くは公開されているため、詳細は割愛しますが、その中から私が興味を持ったトピックについていくつか紹介します。
Lionel Briand: Functional Safety in ML-Based Systems
Lionel Briandはソフトウェアテスト分野における重鎮であり、ソフトウェアテストの国際学会ICSTの創立者でもあります。今回の講演は（機械学習コンポーネント単体ではない）機械学習システム全体、特に自動運転システムに対する機能安全についてのアイデアを披露しました。既存の安全性に関する研究の多くは敵対的サンプルや1枚ずつの画像を用いたテストしか考えていませんでしたが、Model-in-the-LoopやHardware-in-the-Loopといった環境を考慮しながら、SOTIF（Safety Of The Intended Functionality）という規格の中で扱われるシナリオベースの分析手法を用いる研究を進めているそうです。
Thomas G. Dietterich: Viewing Machine Learning Through a Software Engineering Lens
Thomas G. Dietterichは機械学習分野で多くの業績を残しており、トップジャーナルJournal of Machine Learning Researchの創立者の1人でもあります。AIの危険性（Dangers of AI）について2015年頃からメディアで発信しており、今回の講演も機械学習における不確かさなどの課題や、精度だけを追い求めるアカデミアの風潮に対し、テスト、デバッグ、保守性などのソフトウェア工学的観点の必要性を語ってくれました。また、人間によるフィードバックループの発生による入力分布への影響をどのように検知するか、という問題に対し、一部の出力を止めるBlocked A/B testという方法を紹介しました。
François Laviolette: Certifying Machine Learing Systems
François Lavioletteは地元カナダ・ケベック州のラヴァル大学の教授で、専門分野は機械学習です。講演の内容は機械学習システムの認証（お墨付き）についてです。堅牢性（Robustness）、説明容易性（Explainability）、透過性（Transparancy）などについて評価方法の考え方を紹介していました。2日目最後のClosing Keynoteでの講演だったのですが、質疑も盛り上がり、各国でAIに対する認証への興味について感じることができました。
報告者：徳本 晋