ディープラーニング初心者の音響エンジニアが半年で論文投稿へ ― 若手を着実に成長させるパナソニックのトップ人材育成プログラムREAL-AI

主著の谷川です。超音波を用いて、プライバシーに配慮しながら人物領域を可視化する技術を開発しています。一般的に人センシングにはカメラで撮影した画像が使われますが、プライバシー面で活用が難しいことがあります。本手法は超音波帯域の信号のみを使いセンシングするので、画像や声といったセンシティブな情報を使わず人領域を可視化できるのです。

お客様のくらしを捉えたセンシングが実現できれば、パナソニックが提供する家電やサービスの価値をさらに高められる可能性があります。一方、プライバシーの観点でお客様のくらしそのものをセンシングするハードルも高いのが事実です。行動以外の情報をあえて全部捨てることで、センシングに対するプライバシー面での安心感を得て頂くことを目指して取り組みました。

別の音響センシング系テーマに取り組んでいた際に、小塚さんと話す機会がありました。議論の中で、プライバシーへの配慮という観点で超音波が使えるのでは、というアイデアが立ち上がり、このプロジェクトに発展しました。

実はそのテーマは全然ディープラーニングには関係なかったんです。ただ、異分野の技術を融合させるのは面白いんじゃないか、と。で、ディープラーニングをやるんだったら、山下先生のところ行こうぜ！って、教わりに行ったという流れです。

画像以外のセンサーデータや時系列データを扱う事も最近は増えてきていたので、話を聞いた時点で、面白いな、と思いました。

先端研究レベルでは、北米のバークレー大学やCMU(カーネギーメロン大学)が、人がはっきりと映らない情報から人の位置を推定する技術に取り組んでいます。ニーズについては、倫理的な観点が大きいですね。EUのGDPRなど倫理・プライバシー保護に関する法規制の大きな流れに対応するための技術手段として、こういった要素技術へのニーズはさらに高まる可能性があると考えています。

取組を始めた段階ですね。音の波形をそのままニューラルネットに入れていたんですが、本当に何をやってもうまくいかず…このまま続けて本当にうまくいくのかな？とずっと思いながら、試行錯誤して。

結果的には画像っぽい形に変換したのですが、画像向けのニューラルネットに音の情報をどう入力すればいいのか、最初の1～2ヶ月はひたすら模索でした。画像と超音波両方の知見が合わさってうまく性能が出るところまで、最終的に何とか持って行くことができましたが、苦労の連続でした。

また、音だけに反射の影響をかなり受けるんです。リファレンスとして人がいないデータを取って、画像上で差し引きして反射波の影響を低減するなど、音の物理的な特性によって生じる課題を信号処理で回避する部分が大変でしたね。

どの観点で改良すればいいのかも悩みました。よくある画像認識って人物がこう映ってエッジがこうあって、じゃあこうすればうまくいくだろうと想定してモデルを組めばいいんですけど、今回みたいにぼやっとした画像の特徴をどう取ればいいんだっていう…

私、よく「ディープラーニングのお気持ちになって…」みたいなことを言うんですけど、その「お気持ち」に今回なかなかなれず、どう設計したらこの子は賢くなっていくんだろう？ってかなり悩みました。打破したきっかけは、谷川さんが「こんなこと試してみました！」って連絡してきて、見てみたら精度上がってたんですよ。独自でいろいろ裏で試されていた時にポンと出て来て…その瞬間は、おお！と感動しましたね。

前使ってたモデルと組み合わせたら良くなるんじゃないかな？理論で悩むくらいならとにかくやってみよう！…と試してみたら精度があがっていて…

その結果に理論付けをして、今の論文の形になったという流れです。

これから仲良くなっていきたいと思っています。笑

苦労というか…谷川さんはディープラーニング技術の初心者だったんです。専門分野が異なるメンバーとどこまでいけるのか？という不安が正直ありました。でも、超音波から人の形を抽出できるって、シンプルに見てインパクトがありますよね。不安を乗り越えたからこそのインパクトを出せたと思っています。

そうですね。大学の授業とかで、概要を聞くぐらいで、実際に手を動かした事はなかったです。入社後に山下先生が担当されているディープラーニング研修を受けたのですが、自分のモデルを動かしたわけでもなかったので、REAL-AIに出始めたときは本当にわからない状態からという状況でした。

ディープラーニングって、ある意味ノウハウの塊なんですね。ゼロベースでそのノウハウを受け継ぐのが初めての体験というか…画像系でやってきた方については、ある程度わかっている前提で進められたんですけど、今回どうすればいいか悩みました。ただ、谷川さんがわからない部分はすぐアクションしてくれて、丁寧に返せたのが、打破できたポイントの一つかなと思います。

REAL-AIという社内研究グループの枠組みで活動しています。 2017年に立命館大の谷口先生がクロスアポイントメント制度でパナソニックに参画し、AI分野のトップ人材育成を狙う組織としてREAL-AIが立ち上がりました（その後CoRL,IROS,ICRA等に採択）。2019年よりさらに画像系メンバーも強化しようということで、中部大の山下先生にアドバイザーとしてご指導頂いています。

トップカンファレンス投稿を目指すだけでなく、相互査読や勉強会などチームだからこそできる活動を重視しています。また、研究テーマ立ち上げ時は仮説検証のループをしっかり回します。こういったプロセスを通じ、先端技術の目利きから研究活動、そして事業まで、一貫して持っていけるようなトップ人材の育成を目指して活動しています。

今年度からは論文の内容に加えて書き方・読み方を学ぶ場も強化しています。例えば、トップカンファレンスで賞を取った論文の読み合わせをしたり、Rebuttalについて議論する会もしています。こういった活動を通じてメンバーの論文を書く力を鍛えるとともに、パナソニックには実は先端技術・論文に興味のある事業会社メンバーがかなり多いのですが、論文を書くまでの時間は取れないけれど勉強したい、という人たちの受け皿にもなっている感じですね。

ホールディングスの研究部門に限らず、事業会社からも参画いただけるプログラムにすることで、グループ全体の人材底上げを狙っています。

若手とメンターでペアを作って、オンラインで進捗を議論しています。ものすごく早いタイミングで、実験結果や分からない部分を投げてくれるので、オンサイトでやるよりも逆にスピーディに進められたと思います。

とにかく石井さんのレスポンスがめちゃくちゃ早くてですね…これ明日レスポンス来たらいいかな、ぐらいの気持ちで送ったら、数分後に返信が来ているという…笑。そのスピード感のおかげで質問しやすかったし、原稿もスムーズに進められましたね。

谷川さん、とにかく試すのがめちゃめちゃ早いんですよ。「このパターンありました！」「このパターンやりました！！」って、次々に結果を出してくるので…そう来られるとこちらも全力で期待に応えよう、という気になりますよね。

小塚さんです

ディープラーニング系の研究はスピード勝負な部分もあるので、レスポンスのサイクルが容赦なく早いお二人がペアになったことも結果に繋がったのだと思います

小塚さん、ピースを合わせるのがうまいんですよね。問題設定や人をうまいこと組み合わせて面白い化学反応が起きるだろうな～、というのをニヤニヤしながら見てる印象。笑

全体を見ながら最適解を見出せる方なので安心感ありますし、気さくに話せる良い関係です。

まあ驚きという感じで…正直、通ればラッキーぐらいの感じでした。王道じゃないというか、ちょっと奇をてらった感じではあったと思うので、そういう意味で面白いと思ってもらえたのであれば、狙い通りではあったかもしれないです。

昨年国際学会にも投稿したのですが、不採択の理由が「実験不足」だったんです。それを受けて、バリエーションを増やして認識モデルもアップデートして、論文としてのクオリティを上げる努力を谷川さんが重ねられていたんです。なので、論文として本質的に押さえるべきところを、きちんと積み上げていったところが評価されたのかなと思っています。

現場のニーズに基づく取組をいかに学会発表に繋げるか、というのは企業ならではですし、そういった目的が明確な部分も採択に繋がったのかなと思います。大学ではどちらかというと、公開されているデータからいかにいい手法に仕上げるか、という感じなのですが、ニーズオリエンテッドで、シーズはスタート段階、という部分は企業ならですよね。

現場のデータやニーズが見えるところと、「速さ」ですね。ディスカッションの中で出たアイデアを次の打ち合わせまでに実装、というのが当たり前のようにできている。 あとは人の継続性もありますね。卒研だったら一年で終わって、誰かがそれを引き継いで…そこで数ヶ月、時間がロスしちゃうんですけど、REAL-AIでは、人を継続的に育成するので、学んだ人がどんどんステップアップして高みを目指せるところが良いと思います。

ステップアップという面で、実は既に着手しているんですけど、パナソニックが連携している北米トップ大学との取組に、このREAL-AIで育成した研究者を送り込んでいます。最初からその分野に強い研究者じゃなくても、育成を通じてトップ研究者との連携・議論に入れるレベルに引き上げられる環境を提供できるのがパナソニックならではと思っていますので、もっと育成して強い研究者を増やして行きたいですし、こういった活動に興味のある若手研究者とか、学生さんには是非パナソニックのREAL-AIに参画していただきたいなと思っています！

行動認識などのアプリケーションに応用していきたいですね。個人としては、音を軸に色々な技術を取り入れた研究開発にこれからも挑戦し続けたいです。

今回のMIRUは谷川さんの音響の話以外にも、パナソニックからカメラ幾何、動画像認識、Computational Photographyなど多様なテーマでの発表を行っています。ホールディングスとして多様な技術のダムを深めつつ、さらに全社に向けて活動の厚みを増しながら、トップ層の人材をもっと増やしていきたいですね。

小塚さんは北米大学との連携関係があり、石井さんはREAL-AIで研究者を育成したいという思いがあり、二人とも目指すところを高く設定しているところが素晴らしいと思います。一方でメンバーにいきなり無茶振りすることなく、少し頑張ったら届きそうな丁度いいところを設定しながらうまく伸ばしているところも素晴らしいと思います。

REAL-AIのメンバーには、このままトップカンファレンスを継続して目指してもらいたいですね。また、小塚さんの話に出たような、海外トップ研究者との議論ができる研究者にしっかりステップアップしていってもらえたらと思います。