パナソニックの#はたらくってなんだろう 肉眼で識別できない色の違いを可視化できるカメラの実現へ

チームメンバーは光の専門家が多く、ハードの設計は得意であるものの、ソフト面の開発は苦手で、画像処理の高速化技術はうまくいっていませんでした。原因は多波長ゆえの膨大なデータ量。画像処理の高速化はフレームレート向上に必須でしたが、当時のフレームレートは1fpsで目標の30fpsに遠く及びませんでした。

フレームレートは、当時社内外からヒアリングしたなかの最高値であった30fpsをめざそうと決めました。30fpsはテレビ放送の映像と同じ値です。当初から従来製品よりも高感度、高フレームレートで動画撮影ができるHSカメラの開発をめざしていたので、これは必ずクリアすべき数字でした。

画像処理に特化したGPUを活用できれば、画像処理が高速化できると知っていたものの、チーム内に誰ひとり知見がない。そこで、このプロジェクトに起用したのが、入社１年目の清原さんです。専門外の研究分野と分かっていましたが、チームとして技術の幅を広げるきっかけにと、あえて指名しました。

配属直後に打診を受けたとき、今だから言えますが、「いくらなんでも無謀じゃないか」と戸惑いました。GPUも画像処理もまったく知見がなく、全てが手探り。でも、私は知らないことが目の前にあると逆に発奮するタイプ。生来の好奇心がふつふつと沸き上がり、文献を読みあさりながら、独学で開発にのめりこんでいきました。

ハイパースペクトル画像は、空間情報に加えて広い波長帯の情報を細かく保持した3次元情報で、データ量が実に膨大。撮影データから所望の画像を得るために、ソフト側で周到に計算式を設定する必要があります。料理に例えるなら「下ごしらえ」。ハイパースペクトル画像は食材そのもので、料理に合わせてカットや前処理が必要なのです。

当面の課題は、画像処理アルゴリズムをいかに最適化しGPUの演算処理速度を最大化するか。アルゴリズムのコーディングに詳しい別部署の方に協力を仰ぎながら、どこで処理が滞っているか、ひとつずつ解明し、フローの最適化に悪戦苦闘する日々。知識を自分のものにするにつれ、徐々に課題解決への活路が見えてきました。
GPU処理速度の最大化には、低速な一般メモリへのアクセスを極力減らし、高速で低容量な共有メモリ内で演算を極力完結させる必要があります。そして、複数の共有メモリに格納されている情報のみで小規模な演算を並列で行うことで、高速演算が可能となります。そのGPUの原理に基づいて，画像処理アルゴリズムをGPU処理に最適に変形することで大幅な高速化を実現しました．開発着手から１年、ついに30fpsを達成しました。念願のソフト開発が実を結んだ瞬間でしたので、喜びもひとしお。チームのみんなと感動を共有しました。

動く被写体をリアルタイムで動画撮影し、その場で多波長画像をパソコンで表示しました。グループ内ではHSカメラの情報が先行していたものの、実物を目にする機会がコロナ禍により失われていた影響もあってか、こちらが驚くほどの高い注目ぶりでした。

多くの来場者からは、技術の中身よりも「どんな場面で活用できるのか」「こんな課題を解決できないか」など実用面の質問が集中。それだけ製品の完成度、信頼性を高く評価いただいたのでしょう。手ごたえを感じました。

被写体のわずかな色の違いを高レベルで判別できることや、将来的には従来のHSカメラでは対応できなかった，幅広い分野にも応用できる・・・、当社製品の優位性や展望を説明する私も熱が入り、興奮を抑えきれませんでした。

※3総合技術シンポジウム・・・1981年より開催され、パナソニックグループ全社の技術者が一堂に会し、オンライン講演、技術展示や専門技術セッションなどで技術開発、製品開発の実現を目指す、年に1度のイベントです。

最初にハード設計を検討する際、他部署のイメージセンサの技術者にアドバイスを求めたところ、全員口をそろえて「SN比は高く」でした。ある色は通すけど、ある色は通さない、その比率が高いほどベストというのが「RGBカメラの定説」でした。ただ、その定説に疑問に感じていました。
日ごろから壁打ちのように、石川さんに考えを投げかけ、意見を求めながら開発を進めていました。このときも「早速実験で確かめてみれば」と一言。新しいハード設計をしてみたら、やはり後者が優れていた。最終的にわれわれが採用した設計は、社内で賛同が得られなかったアイディアから生まれました。

前職が大学教員だったこともあり、若い技術者の挑戦は大歓迎。どんなアイディアも否定せず、後押しだけを常に心掛けていました。

テーマリーダーを担当し、最初から開発に携わった立場から言わせてもらうと、イメージセンサやGPUなどの専門家がチームにひとりもおらず、入社1～3年目の若い研究者で構成された環境が逆に良かったと感じます。先入観や前例にしばられず、たとえ周囲から否定されても諦めない。のびやかに発想できたからこそ、発見できた新技術がいくつもありました。ハード設計もそのひとつです。

これまでの試作機は自分たちの手作りでしたが，ハードの完成度を挙げるために，社内のものづくりのプロに相談，その結果，見事に我々のハード設計を十分に実現してくれた．私も含めメンバー内に製品量産化の経験がなかったこともあり、今回を通じて、改めてパナソニックグループのものづくり技術の高さを誇りに感じました。たとえアイディアがあっても、それを実現できるのは実装技術があってこそ。HSカメラは、いい意味で私たち「素人集団」の開発と「玄人」の技術が見事に組み合わさった結晶だと思います。

入社1年目から未知の分野に飛び込み、無我夢中で駆け抜けたこの2年間は、とても刺激的でした。GPUやアルゴリズムの基礎的な知見を身に付け、専門技術者から毎日のように考えを吸収できたおかげで、技術の幅がおもしろいように広がりました。「自分の武器を活かせない」と、最初は若さゆえの葛藤がありました。ですが、今なら入社した時の自分に言い聞かせてやりたい。「新しい武器(専門)を増やすチャンス」と。
HSカメラの技術領域は、ハードからソフトまで幅広く、どちらか一方だけの知見では、問題解決が滞ってしまいます。例えばこの現象がハードかソフトのどちらに原因があり、どちらで解決すべきか、最初に見極められれば、より早く正解にたどりつけます。今の私の強みは「俯瞰力」。学生時代に光子を使った量子回路の研究に打ち込み、光への知識は誰にも負けない。そこにソフト側の知識が加わり、全体をくまなく見渡し、問題を切り分けて考えられる能力をさらに磨くことができました。新分野に絶えず挑戦し、視野を広げ続ける。私が理想とする技術者人生はまだ始まったばかりです。

「研究開発は人」、改めて胸に刻んだ言葉です。大学教員時代、学生と一緒に研究テーマに取り組む際、不思議に思っていたことがあります。思い入れが強く未来のあるテーマを薦めても、学生が本気にならないと結果に結びつかない。一方、たとえスケールが小さく開発時間や資金がなくても、学生が興味を持ちさえすれば、論文が国際的に評価されることもある。この差は一体何だろうかと。多くの学生と接してきた経験から、リーダーに必要な要素のひとつは、引き出しの数だと考えるようになりました。
引き出しとは単なる知識量の多寡ではなく、経験の数。自分自身の成功と失敗の経験が多ければ多いほど、困難な局面にもアドバイスや鼓舞するカードを何枚も出し続けられます。私たちのチームは、比較的若い技術者が多く、立場的に私のキャリアとマッチしていました。技術者がいきいきと研究に打ち込む姿は気持ちがいいものです。立場に関係なく互いの発想や意見を尊重し、個々の可能性を伸ばしたい。若いパッションの炎を見守りつつ、私も負けずに研究心を燃やし続けていきたいです。

画像処理技術の応用により、非常に高性能なHSカメラを実現できました。光の現象はありとあらゆる領域で多岐にわたり、ハードとソフトの融合により、今回の世界最高感度のHSカメラのような、世界初のデバイスを次々と開発できるのではと考えています。そのためにこれまで以上にハードの設計だけでなくソフトの知見をさらに深めていきたい。
私にとって開発の原動力は「驚き」です。ある展示会で、私が商品説明をする動画を資料添付し、HSカメラで撮影したと説明したところ、来場者の意表を突き、「本当にこのカメラで撮ったの？」と心をつかむことができました。今回の光学的なハード設計では、想像をはるかに超える結果にメンバーが驚き、新鮮な喜びがありました。世の中にはまだない製品を作り、開発者の驚きをそのまま世の中に送り出したい。まだ入口に立ったばかりですが、研究のおもしろさに夢中になっています。