入社2年目で思い切って飛び込んだREAL-AI‐初めての国際会議投稿を経て得たものとは―――

自動車関連の製品や技術を開発、生産、販売するパナソニック オートモーティブシステムズ株式会社（PAS）に所属しています。PASはひとりひとりのより良い暮らしの実現のため、継続可能なモビリティ社会を創出するというミッションのもと、新しいモビリティ社会の構築に取り組んでおり、私自身はAIアルゴリズムの設計や開発に取り組んでいます。

大学院での研究テーマがsemantic segmentationだったので、入社後は事業と近い開発に挑戦しつつ、研究寄りの話にも取り組みたいという思いがありました。パナソニックグループでは、入社1年目に任意参加の「AI新人研修」があるんです。そこで講義を受けたり、仲間と協力して課題に取り組んだりするのですが、とある講義でREAL-AIというパナソニックグループ横断の取り組みを知りました。年齢・事業会社問わず先端研究に挑戦できることを知り、すぐ上司に参加を打診しました。

AI研究への想いは定期的に伝えていたので、課長や所長から強く背中を押してもらえました。

実はレオの上司が、私の入社二年目からよく知っている人で…なんなら部長も係長も。私を知っている人だらけのところだったこともあり、「どうぞどうぞ！」とレオの活動を後押ししてくれ、非常にスムーズでした笑。

実際私も、上司や周囲の方から「石井さんなら安心して任せられる」という言葉を聞きました笑。

業務時間の20%を充てていました。所属するPASの開発本部 統合制御システム開発センターには20%ルール、80%は業務に使って、残り20%は自由に使ってもいいですよ、みたいのがあるんです。ちなみに他にも技術チャレンジ部だったり、社内副業だったり、様々な活動を行っているメンバーがいます。

論文投稿は初めてでしたし、技術面も色々と学べました。投稿までのスケジュールが本当にタイトだったので、スケジュールの立て方も…石井さんがプッシュしてくれるんですよね。来週までに○○やってみて、みたいな感じ。じゃないと短時間で完成できなかったです。

レオに言ったかわかんないですけど、1年で1～2テーマのスパンでやろうとするとそうなりますね。

あと発表に対する恐れがなくなりました！入社前は充分準備しないと怖くて発表できなかったのですが、細かく準備しなくても喋れるようになったのは収穫でした。

私は3次元画像処理の専門家としてこのプロジェクトに参画したのですが、本取組では、 自動運転などの個別タスク特化ではなく、点群処理における３つの本質的な課題に有効なアノテーション手法を確立できたことがポイントだと思います。
点群のアノテーションには、２次元のディスプレイを見ながら３次元の情報を扱わなければならず、見づらく操作しにくいという課題が第一にあります。 そのうえ、一般的なＲＧＢ画像とは異なり、点群はスパース（物体形状の見た目がスカスカ）。さらに各時刻ごとに点群があるため、扱う量も膨大になります。

アノテーションって2次元の画像でも、十分難しい問題なんですよね。3Dのポイントクラウドという、さらに難しい対象にアタックしたという点に加え、 その問題に対して、既存の学習済みの検出器を使うことで、簡便なアノテーションができると新たに見いだせた点は大きいです。 具体的なポイントとしては、2Dと3Dの検出結果をフュージョンするところですね。 新たに学習し直すのではなく、既存の検出器を2D、3D、いろんな視点から組み合わせたってところが新しい点です。 既存の組み合わせではありますが、効果的に組み合わせることで、大変なアノテーションを手間なくできるようにできたところが一番のポイントです。

石井さんがおっしゃる通り、アノテーションの自動化は難しい問題。最近では、ディープラーニング技術も使われるようになっていますが、点群データに対する取り組みはそれほど多くありません。今回、点群データのアノテーションにもディープラーニングをうまく適用することで、アノテーション時間を約70%も削減できたのがポイントですね。

点群データってRGBなどと比べてデータセットがかなり少ないんです。でもデータセットがないと、なかなか良いAIモデルが作れない。どうしてもデータセットを自分で用意する必要があるうえに、アノテーションというハードルがある。我々の研究はここに貢献できるかなと思っています。

ポイントクラウドって車載もそうですし、ロボットも含めて三次元シーンを理解する上で非常に重要な情報になるんです。シーンに出てくる車とか人とかそういったものを検出したり、領域分割したり。シーンの予測、自動運転、自動駐車みたいなことをしようとすると、どうしてもデータセットが必要で、アノテーションが必要。かつ、そういう認識を自分たちの事業領域で行おうとすると、個別にアノテーションしなきゃいけないっていうところが必然的にこの研究に繋がりました。

ADASでは、対象物体に衝突しないかを評価するので、その物体までの正確な距離が重要になってきます。そこで、カメラだけでなく、正確な距離が計測できるLiDARというセンサを使って、点群データを収集します。点群データは、人間にとって扱いづらいのですが、レオさんの手法では、点群のAIと画像のAIを組み合わせて、効率的に正解データが生成できるようになりました。

最初、私はLiDARが全く分からない初心者みたいな感じだったんですよ。4-6月は論文サーベイしかやってなかったかもしれない。基礎知識を補完する必要がありました。3Dは2Dとは使っている技術もフォーマットも全然違っていて。

そうですね。当初2月〆切の学会をターゲットにしていて、7月に実験を開始して11月ぐらいまで実験で…。しかもレオ、12月とか1月は工場実習が入って一ヶ月ぐらいいなかったんだよね？たしか。帰ってきてから論文を書いて、と言う流れ。

何の問題を解こうとしているのか、本当に解決しなければならないポイントはどこかの見極めや意識の共有が難しかったですね。

そうそう。特に最初の一手が決まらないのは一番しんどかったですね。フュージョンするというコンセプト自体は早めに出てたんですけど、じゃあ、どう定義してどう進めよう？っていうところが結構しんどくて…あるときレオが「こういう方法を試してみました！」って出してきてくれたものが、ちゃんと性能改善していて、それが突破口になりましたね。

今回時間がタイトだったのですが、1Qでたくさん論文をサーベイしたからこそ、短期間で見極めができて、やるべきことが見えました！

山下先生とは隔週の打ち合わせになるので、私からREAL-AI全員に、仮説思考の考え方を共通して持つように伝えています。打ち合わせでは、①前回話したこと ②今回までに取り組んだこと ③②を受けて立てた仮説、の3点を伝え、議論や相談に臨みます。このスキームにより、打ち合わせを研究のマイルストンとしてテンポよく進捗を積み上げられました。

メンバーのSlackがあるんですけど、そこでECCV2022に採択された若井さんから論文執筆ノウハウとか、論文の考え方とか色々と教えて頂きましたね。ACCV2022に採択された中村譲さんの進め方、パワーポイントのまとめ方も参考になりました。

Slackに論文とか実験の途中結果とかを書いてアップしておくと、そこに私と若井さんが飛んでいって修正するのが慣例になってます笑。

本質的な課題や従来手法との差がどこにあるか、自ら気づく力をつけられるよう、「問い」を投げかける形でコミュニケーションをとるようにしていました。

レオは中国出身で細かい言語のギャップや、アルゴリズム理解のギャップがあったので、そこを埋められるよう、平易に簡潔に、と心がけてましたね。

そうですね。私は日本語がそんなに得意ではないんですけど、お2人から分かりやすく伝えて頂いて助かりました。

レオとは、議論がちゃんと白熱するんですよ。だからこそ、深い話ができて、短期間で研究が進んだ。ぶつかりすぎてあんまり進まないこともありましたけど、私や福田さんの言うことを正解としない考え方は大事なんだろうなって気がします。 専門ではないのでもちろんミスもあるけれど、受け身ではなくて自分で取りに行く、前向きな姿勢が他の人にも刺激になったんではなかろうかという気がします。 今後は、パナソニックらしいデータでAIのアルゴリズムモデル開発に挑戦してみてほしいですね！

レオさんには積極的な姿勢と貪欲に学ぶ謙虚さがあるので、この短期間で本当に多くの技術と知識を得られたと思います。今回のプロセスの良かった点を活かして、より本質的な課題に対してクリティカルな手法を考えていってほしいです。

はい、論文調査にはじまり、調査のまとめや論文作成の指導、折々に発表する機会が設定されていたため、技術力に加えて論理的に説明する力が習得できたと実感しています。 業務の効率化につながる取り組みということで、職場メンバーのサポートも受けながら論文を完成、結果として今回MVAに採択されました。 周りも巻き込み、やりきることで得たものは非常に大きかったと思います。

REAL-AIで国際会議への投稿に挑戦してみて、本当に良かったと思います。論文を書き上げて採択までたどり着けたことは大きく、自分がかなり成長できた実感があります。 今後も引き続き、AIに関わる仕事をして、最終的には、REAL-AIの他のメンバーが出されているようなトップカンファレンスに挑戦したいです！

現地でポスター発表を予定しています。気になることがあればお気軽に聞いてください！

はい。実はレオとは先々週ぐらいに初めて会ったんですよ！福田さんとも…一回も会ってないですね。一年間会わずに投稿しました。

そうですね。コロナの影響で…

どうにかこうにか？

どのようにしてアノテーションを効率的に行うかという問題に対して, カメラとLiDARの複数のモーダル情報を利用している点が面白いところです．

REAL-AIでは参画メンバーが入れ替わりながら，国際会議を狙えるテーマを次々に出すことができています．初期から参画していただいているメンバーがメンターとなり，全体的な底上げと知識の共有がしっかりできているように思います．