LUMIX S1Rに組み込まれた、恐るべき技術の「ヒミツ」をすべて開発者にきいてみた
カメラグランプリ2019の大賞を受賞した「LUMIX S1R」を速攻で購入した私は、使っているうちに膨大なギモンが山積してしまった。
魅惑のシャッター音のヒミツから、DFDやHLG、ハイレゾフォトなど、聞いてはいるけど、どんなロジックでどう実現されているのか、おカメラ好きとしては絶対に知っておきたいのだ。
ついにガマンできなくなって、Panasonicさんにお願いして門真取材を敢行した。S1Rに入っている技術について、開発者のみなさんにしっかりうかがってきましたよ~
LUMIX S1Rの開発に携わったみなさんに会うために大阪・門真に来ました。お時間いただきありがとうございます!!
左が商品企画部の角和憲さん、中央がシステムカメラ開発総括の新谷大さん、そして商品設計部でSシリーズ・プロダクトリーダーの高橋征契さん。どうやら、このお三方の「こだわり(わがまま?)」によってSシリーズのスペックは決まった(あくまでもインタビュアー個人の感想です)。
撮像素子だけなのに
なぜこんなにAFが速いのですか??
Q:S1RのAFはとっても高速で、なおかつ正確で驚きました。
システムカメラ開発総括 新谷大氏:
はい、マイクロフォーサーズからずっとコントラストAFを追求してきました。撮像素子の中にAFのための位相差素子を組み込むことは、画質の向上という点で障害になります。さらに、LUMIXは動画撮影も重視していますので、実際に撮像素子に映っている画像を使ってAFを高速化していくことにこだわってきました。
Q:AF高速化にはレンズも関わりますよね?
ソフト設計部 澁野剛治氏:
AFの高速化については、3つの大きな要素があります。まずは、レンズのフォーカス駆動制御の高速化、さらに撮像素子の読み出し速度の高速化、そして画像処理エンジンの処理能力の向上が必須です。
Sシリーズのレンズはリニアモーターやダブルフォーカスを使って高速化を実現しています。撮像素子についてもフルサイズながら480fpsで読み出してAF処理をおこなっています。そして画像処理エンジンで「空間認識技術」DFDを使って高速なAFを実現しています。
Q:独自といえるのがDFDだと思うのですが具体的なしくみを教えてください?
澁野氏:
DFDは「Depth From DeFocus」の略でして、簡単にいうと、ボケから距離を検出するという技術です。実際のしくみですが、「ライブビューの画像を距離情報に変換する」ということを画像処理エンジン内でおこなっています。レンズごとのボケの形状の情報と画像の情報を組み合わせることによって、画面全体について、この部分は手前方向にボケている、焦点が合っている、後ろ方向にボケているというふうに分類します。
ライブビュー中に画像を認識して、そのボケ具合から前ピン・後ピンを判断。最下段右のような「距離マップ」を作る。
Q:この図を見ると、画面全体の距離情報をリアルタイムで把握しているということなんでしょうか?
澁野氏:
はい、ライブビューと同じフレームレートで更新できる処理速度を実現しています。まず、カメラの電源がONになると、画像を取り込んで動作し、距離を把握します。
その後、カメラの構えを変えたり、シャッター半押しや動画開始などの動作がおこなわれるたびに、この処理をおこなっています。
レンズで合焦処理をする前から距離情報を得られるのが自慢の技術ですね。
Q:えっ、半押しするまでカメラはなにもしていないと思っていましたが、こっそり働いていたんですね。
澁野氏:
はい、DFDが動作することによって、シャッターを半押しする前に、カメラは実はレンズを動かす方向が分かっているということです。
ユーザーさんが半押ししたときに、すでにわかっている方向にレンズを動かして合焦しているので迷いもなく高速なんです。
シャッターが半押しされると、すでに分かっている方向にレンズが動くしくみだ
新谷氏:
今後もDFDは進化していきますし、澁野の目が黒いうちは、空間認識AFで高速化を追求していくつもりですのでご期待ください(笑)
自動認識AFは鳥にワンちゃんネコちゃんだけでなく
実はお馬さんやカメさんも認識してしまう
左がソフト設計部の澁野剛治さん、中央がソフト設計部の櫻井幹夫さん、右が商品設計部の杉野功明さん。AFや手ブレ補正といったコントロール部分を司るみなさんである。
Q:カタログによると、人や動物を認識する「自動認識AF」に「ディープラーニング」を使っているとありますが、本当はどうやっているんですか?
澁野氏:
Sシリーズでは人体と動物を認識しています。開発にあたっては、数万枚以上の画像を、ディープラーニング技術を用いて学習させ、人体と動物が認識可能なニューラルネットワークを作りました。これをカメラに搭載して、画像処理エンジンで処理することで、ライブビューの画像から、ここに人物がいるとか動物がいるということを認識できるようになりました。後ろ向きの人や動物の頭部も認識します。
Q:発表では「イヌ科とネコ科と鳥を認識します」とありますが?
澁野氏:
イヌ科とネコ科と鳥の画像でニューラルネットワークを作ったのですが、実は馬から亀まで、4本足の動物の多くを認識できています。
ただし、鳥は特別で、ツバサの状態によって様々な外観になるので、当初は認識精度が上がらず、ニューラルネットワークの作り方を工夫しました。もちろん、リアルタイムで認識してAFに利用できないと意味がないので、軽量化・高速化のとりくみも同時にやってきました。
Q:さらにいろいろなモノも認識するようになるんでしょうか?
新谷氏:
もちろん対象を拡張することはできますが、どれだけの速度と精度でやるのかにかかってきます。電車や飛行機を撮りたいといわれればもちろんやります。ユーザーさんの要望によってですかね。蟻を撮りたいという方がいたらやりますよ~(笑)。
澁野氏:
今回、開発にあたって、グローバルにヒアリングしたところ、「鳥を認識してほしい」というのがいちばん多かったですね。鳥を撮るためにいいカメラを買われるユーザーさんは多いです。ですので、大変でしたが鳥の認識機能を入れました。
今後の進化としては、種類を増やすという考え方と、精度と速度をあげるという考え方がありますね。人や動物も顔に合わせるのか、胴体にするのかといった判断も必要ですし、自分の子供やペットを学習しておいて優先して合焦するといった進化もあります。
HLGフォトなら高いダイナミックレンジの再現と
「マブしさ・キラめき」が表現できる
Q:HLGフォトはHDR撮影機能とは違うんですよね??
商品設計部 栃尾貴之氏:
はい。露出を変えて複数枚から合成する方式とは異なり、HLG(ハイブリッド・ログ・ガンマ)を用いて1枚で高ダイナミックレンジな撮影を行います。
また、後ほど詳しく述べますが、HLGフォトはHLGに対応したディスプレイで写真鑑賞頂くスタイルで、ディスプレイにて高輝度で表示することで、眩しさや煌めきまでも表現可能となります。
HLG方式を採用した静⽌画撮影機能は今回のSシリーズが世界初となります。
栃尾氏:
この図のとおり、従来のSDR(スタンダード・ダイナミックレンジ)が「0~1」の輝度範囲を出力するものとすると、HLGは最大でその12倍、つまり「0~12」の範囲を再現するものです。従来のSDRの部分の情報と、その上の部分の領域を両方=ハイブリッドで保存するのが「ハイブリッド・ログ・ガンマ」の規格となっています。
もうひとつ重要なポイントとして、SDRが最高輝度の部分の明るさが100とか300nitで表示していたものが、HLGでは最高出力の部分を例えば1000nitといった、高輝度で表示することによって、眩しさや煌めきが表現できます。
JPEGでは8bitで色域はRec.709でした。そしてHLGの静止画保存フォーマットであるHSPファイル(HDR Still Photo)では、10bitで色域も広いRec.2020になっています。
Q: HLG対応のディスプレイが必要なんですよね?
栃尾氏:
はい、HLGフォトを鑑賞するには、SシリーズとHLGに対応したテレビやPCモニターをHDMIケーブルで接続していただくことになります。
さらにHSP形式のファイルを直接再生できるテレビも登場しています。USBメモリーなどにHSPファイルが入っていれば、それを装着して、テレビだけでも再生可能なビエラが最近発売されました。
Q:先ほど、複数枚合成とは異なると仰っていましたが?
栃尾氏:
そうなんですよ。複数枚合成⽅式ではダイナミックレンジは広がるのですが、最終的に8bitのJPEGに階調を圧縮して表⽰するため、シーンによってはコントラストが低い、のっぺりとした不⾃然な画像になるという課題がありました。。
それに対してHLGフォトは、ディスプレイの高輝度・高コントラスト化の進化を利用し、画像データの潜在能力を引き出す新方式です。1000nit等の高輝度と10bitという高い階調を掛け合せることで、眩しさや煌めきまでも表現することが可能となります。
また、絵作りという観点で言うと、LUMIXが狙った絵作り(⾊)を表⽰させるには最新ビエラのプロフォトモードを推奨しています!!
新谷氏:
TOKYO2020に向けて、みなさん新しい4Kテレビを購入いただければ、お楽しみいただけると思います。ぜひ宮野さんもビエラ買ってください(笑)
こちらが画像処理4天才のみなさんです(あくまでもインタビュアーの個人的感想です)、左から商品企画部の周防利克さん(絵作り)、商品設計部の岡本晃宏さん、技術本部の仮屋崎拓さん(ハイレゾ)、商品設計部の栃尾貴之さん(HLG)
1億8700万画素の恐怖
ハイレゾモードのヒミツとは
Q:ハイレゾの1億8700万画素の写真がスゴすぎです。どんどん拡大しても写っているんですよね。どうやって撮影しているのでしょうか?
技術本部 仮屋崎拓氏:
ハイレゾフォトには風景や建物をガッチリと撮影して、大きく印刷したいですとか、文化財を撮影してデジタルアーカイブのように保存しておくという用途があります。
ご存じのとおり、ボディ内手ブレ補正を使って、撮像素子を微細にずらして8枚の写真を撮影して、1枚の高解像度写真を生成しています。
この図のように、画素はベイヤー配列なので、RGGBという並びです。まずは「1画素」づつずらして、4回撮影して、各色の全画素情報を取得します。さらに、「0.5画素」ずらして、また田の字型に4枚撮影して、合計8枚の写真を撮っています。
Q:最初の4枚でも4倍の情報が得られているとおもうのですが
仮屋崎氏:
たしかに4倍の情報は得られますが、解像度が増えないので、0.5画素ぶんずらす必要があります。1画素の間に異なる情報があったとしても、最初の4回では情報は得られませんので、次の4回で0.5ずらすことで縦横2倍の解像が得られるということですね。
Q:なるほど~~、では、0.3画素ずつづらしてとか、さらに細かくするともっと画素数は増えるんですか?
仮屋崎氏:
カメラシステムのトータルの光学性能が十分高ければ、さらに細かくすることで高解像度化できるはずですが、実際には、レンズの光学性能や、センサーの開口率などによって、上限が出てきます。
さらなる高解像度化は重要ですが、今回新たに搭載した被写体ブレ抑制のような、撮影の幅を広げたり、使ってもらいやすくすることも重要だと思っています。S1/S1Rでは風景のような不意に動くものが写った場合でも、自然な写真を撮影できるのでぜひ試してもらいたいです。
Q:もうひとつ、フォーカス合成です。仕事のブツ撮りや趣味のミニカー撮影に活用させていただいていますがどういうしくみなんでしょうか
澁野氏:
これは、4K6Kフォトで実現している機能なんですが、撮った画像からピントが合った部分を合成して出力しています。ただ、フォーカスをずらした複数枚の画像というのは、微妙に画角が変化したり、ブレたりしますので、その補正も実施しています。
Q:何枚くらい撮影しているのでしょう?
澁野氏:
最初にAF動作で、画面全体の距離の分布を測って、その後、実際に焦点をずらしながら撮影しています。撮影する枚数については、画面全体で49カ所のAFエリアがありますので、最大49枚の写真を撮って保存し、合成するしくみです。
最初に、後からピント位置を選べる「フォーカスセレクト」という機能をGH4に搭載しまして、そのあと、セレクトできるのなら、合成してほしいという要望があり、G8より搭載しています。それを今回のSシリーズにもってきたものです。海外でも評価していただいておりまして、昆虫を撮るみなさんに好評ですね。
デジタルカメラにおける
「絵作り」のヒミツとは
Q:S1Rを使っていてよく感じるのが、とても「キモチいい」写真が撮れることです。撮りたい写真が撮れているというか・・・Sシリーズの絵作りのコンセプトはどういうものなんですか?
新谷氏:
「スタンダード」による撮影において、RAWデータからJPEGを生成するうえで、「思想に則った絵作り」ということをしています。これは昔でいうと、フィルムの特性やレンズの味みたいなもので、メーカーさんごとに異なる味付けがおこなわれていますが、LUMIXでは統一した「絵作り」をおこなっています。
G9 PROを作るときに、社内の有志を募って「絵作りプロジェクト」という組織を作りました。そして、「生命力・生命美」という思想をうちたてたのです。
Q:「生命力・生命美」ですか・・・
商品企画部 周防利克氏:
例えば肌色をどう出すか、赤味ののせ具合や明るさの仕上げなどは、各社さん異なっています。ただ、プロのみなさんとしては、メーカーごとに違うのは個性だとしても、カメラの世代によって異なるのは困ると。新機種のたびに絵作りが変わるメーカーがいくら「うちは高画質だ」と言っても信用できないですよね?
そこで、LUMIXとしてブレないように「生命力・生命美」を絵作りの柱としました。
写真は平面で時間も止まっているものですが、生き物があたかも呼吸しているような、⾵景でも⽴体感や時の流れが感じられるような。森の中の木々や草花の匂いや小春日和のぽかぽかとしたあたたかさまで連想していただけるような絵作りを⽬指しました。
左が目指す絵作り、右が過去機種の画像。目指す絵作りでは遠くにいくにつれて⻘からシアンへとなめらかに変化していく
左が目指す絵作りで、右はシャープネスが強い写真。目指す絵作りのほうが毛並みのフワフワ感が出ている。
周防氏:
これが実際の絵にしたものですが、空のグラデーションはこれくらい自然になっていたほうが奥行きを感じるとか、ポートレートでも肌感や血色のよさをうまく表現できているかとか。
このレッサーパンダの子供ですと、毛並みの柔らかさを感じてもらいたいのですが、シャープネスをかけすぎていると毛がゴアゴアして見えるんです。毛は断面が丸いものですけど、その丸みが感じられなくなってしまうんですよね。フワフワした感じを出すにはこちらの描写のほうがいいという、ほんのちょっとの違いなんですが、こういったところにわたしたちの生命力・生命美へのこだわりが表れています。
シャッター音のヒミツ
この音を狙って設計しました!!
Q:昨日もプロカメラマンと話していて、S1Rのシャッター音にみんな惚れてしまっているのですが、設計上「音」へのこだわりとかあるんでしょうか
高橋氏:
とにかく写真家さんに使っていただくカメラですから「まじめ」に設計しました。シャッター速度も正確ですし、40万回という耐久性も当然ですし、オール金属でガッチリ作っています。ストロボ同調も320分の1秒と表記させていただておりますが、これは幕速がきちんと出ている証拠です。そうやって作っていったら、今の音になりました。
Q:おお、この音を目指したわけではないんですか~
新谷氏:
「はい、狙って作りました」と書いていただいてもいいですよ(笑)。Sシリーズはボディを完全に防塵防滴として仕上げましたから、自然にシャッター音は小さくなります。もちろんメカの設計がきちんとしているので無駄な動作をしませんから、いやな音もしません。
シャッターはどうしても「動かす」と「止まる」という動作を高速に行いますから、衝撃を伴います。 Sシリーズではきちんと衝撃を吸収する処理もしていますから、手に感じる感触もよくて、静かでいい音になっているのだと思います。
Q:世の中の流れとしては、機械シャッターはなくなっていくのでしょうか??
新谷氏:
センサーの読み出し速度が速くなり、メモリーと一体となったグローバルシャッターが実現すれば、機械式シャッターがなくてもカメラは作れるようになるとおもいます。でも、メカは日本のお家芸として残したいですね。なくなればサイズが小さくなる可能性はありますが、重量的にはあまり変わらないと思います。
全然手ブレが起きないのですが
新たなしくみはあるんですか?
Q:手ブレ補正がとてもよく効くのですが、ボディ内とレンズ内の手ブレ補正機構をどうやって使い分けているのでしょうか?
ソフト設計部 櫻井幹夫氏:
ボディで5軸、レンズで2軸の手ブレ補正を行っています。焦点距離やシャッター速度、被写体距離などの情報によって、どちらの手ブレ補正をどういった役割で駆動すれば最大の補正効果が得られるかということを考えて制御しています。
ボディ内の手ブレ補正機能は、レンズの焦点距離が長くなればなるほど補正が効きにくくなります。レンズ内のほうは焦点距離によらず、ほぼ一定量の補正ができるようになっています。ですから、焦点距離がテレ側になればなるほど、レンズ側の補正を活かすような制御になっています。
逆にレンズの焦点距離がワイド側になればなるほど、ボディ側の補正機能を活用するわけですね。
Q:足りないときは両方がフルに働くわけですか?
櫻井氏:
補正量が足りないとき両方を駆動というより、2つの補正機構を最大限活用するように制御しています。マイクロフォーサーズのDual I.S.2システムでは、手ブレ補正機能を内蔵したレンズに対して、高精度ジャイロセンサーとB.I.Sを搭載したカメラボディを後から発売し、その高精度ジャイロセンサーの情報を元に、補正効果を最大化する制御を行っていました。
しかし、今回のSシリーズでは、レンズとボディを同時開発し、フルサイズ向けにDual I.S.2システムを最適化していますので、B.I.SとO.I.S、お互いの補正能力を最大限活用できるような設計をしています。
Q:センサーやレンズの移動量を増せば、さらなる向上は可能なんでしょうか?
櫻井氏:
実は7月9日にボディのファームウェアのアップデートを実施し、ボディ内で5.5段から6.0段に、レンズ内も使ったDual I.S.2で6.0段から6.5段へと手ブレ補正性能の改善を行いました。この性能改善は、ハードウェアの機構はそのままで、制御アルゴリズムを改善することにより、実現しています。
更なる補正性能向上となると、制御アルゴリズムの改善だけでなく、メカの移動量を増やすこと、ジャイロセンサーなどのデバイスの高精度化なども必要になってきます。
Q:ファームアップで手ブレ補正量が向上するって初めての体験なんですが・・・
櫻井氏:
S1R/S1では「フルサイズにおけるNo.1手ブレ補正性能を提供すること」を目標として開発を行い、6.0段の補正性能(Dual I.S.2において)を実現しました。
しかし、“Gシリーズでは、6.5段実現できているじゃないか”。という声があったのも事実で、その声に答えるべく、発売後も継続して性能改善検討を行っていた。というのが本当の所です。
その結果、補正性能向上のめどが立ち、ファームアップという形になりましたが、6.5段という手ブレ補正性能を提供することができました。
新谷氏:
まだ、なにか隠しているかもしれませんね・・・・(笑)
初のフルサイズレンズは
どのようにして設計されたのか?
Q:同時発売の3本のレンズをお借りして、写りがいいのと、使い勝手のよさに驚きました。ユーザーとしてはどういう順番で設計していくのか知りたいのですが。最初に何を決めるんですか?
Sレンズの凸凹コンビ(あくまで個人的感想です)、左が光学設計部の美藤恭一さん(レンズ設計のボケ担当)、右が商品企画の小瀧遼さん(凸凹コンビのボケ担当)です。
光学設計部 美藤恭一氏:
MTFのターゲットや、重さやサイズをどうするかといった決定はある段階で行うのですが、今回とくにSシリーズのレンズについては、どういった写真を撮りたいかというところから検討を始めました。
Sシリーズのレンズでは4つのコダワリがあります。
○ピントが合った部分できちんと解像性能が出ること
○立体感、ボケ味を表現力として活用できること
○高速高精度AFやDual I.S.2等の機動性
○4K60Pという高い動画性能を支える高品位
基本的にM4/3で培ってきた部分ではありますが、フルサイズなので「ボケ味」というものをとても大切に設計しています。
たくさん写真を集めて、このボケはキレイだとか、これはちょっと△とか、カタチや輪郭とか、2線ボケはダメとか狙いを絞っていきました。特に50ミリF1.4ではポートレートに使われた場合、どこからどういうふうにボケると「立体感」が出るか考えました。瞳にピントが合ったときの耳にかけての「奥行き5センチ」の部分の連続性といいますか、「ボケの連続性」です。
Q:「ボケのなめらかさ」はどうやって光学設計に組み込むのでしょうか
美藤氏:
こういった定性的な性能というものを、定量値に変換して設計を進めました。立体感というものも指標に置き換えているんですよ。具体的にはお話できないのですが、ある指標を設定してそれを使えばボケのなめらかさをコントロールできるということが分かりました。
元々、解像度とボケの両立というのは相反するものですし、性能を追い求めすぎると大きくなるとか重くなるということが起きます。つねに相反することとの闘いですね。
Q:50ミリのレンズはとても大きいのですが、上限は設定されていたのですか??
美藤氏:
いいえ、今回は世界最高の標準レンズを作るということを目標にしましので、サイズや重さの制限はまったく設けずに設計しました。
新谷氏:
いいレンズはデカくて重いんです~~(笑)。今回出させていただいた3本のレンズは、それぞれどんなシチュエーションで何を撮るレンズなのかというのを徹底的につきつめています。そして、その目的となる写真を最高の水準で撮影できる設計になっています。
Q:S PROレンズとSレンズの違いはなんなんでしょうか?
商品企画部 小瀧遼氏:
S PROレンズのほうは、高い基準を設定しています。卓越した描写性能、ボケ味、描写の品位までこだわったレンズです。
Sレンズのほうは、バランスを重視しており、高い描写性能はもちろんですが、より機動性や扱いやすさ-ユーザビリティを重視したコンセプトです。
ただ、今回の標準ズームの写りは、はっきりいってS PROレンズといっていいレベルです。美藤さんがメチャメチャフルスイングしてくれまして、同カテゴリーのレンズにおいて、はっきりいって業界最高の描写を実現していると言っても過言ではありません。
美藤氏:
50ミリはとにかくこだわって設計していたのですが、24-105ミリの標準ズームも、そのエッセンスを生かしています
Q:最短撮影距離が全焦点距離で30センチなのも、旅行でも仕事でも、とてもつかいやすいです。
小瀧氏:
はい、最初から全域最短30センチは決めていました。寄れることを意識しています。Sシリーズのユーザビリティとういのはそのあたりの使い勝手も入っていますね。
Q:今後のラインナップが楽しみなんですが
新谷氏:
2.8シリーズがありますね。2020年も含めてあと7本が表明されている。合計10本になります。
Q:このあと7本ってだいじょうぶですか
小瀧氏:
「少なくとも10本」といわれておりまして(笑)、さらなるプレッシャーをうけていますが、シグマさんからもレンズがどんどん出てくると思いますので、Lマウントレンズとしてそろっていくと思います。
最後に個人的希望ですが
小さいお散歩レンズおねがいします
Q:スイングして撮るパノラマ撮影機能が大好きなんですが入りませんか?
高橋氏:
フルサイズでもパノラマ機能は実現できますが、プロ向けのカメラとしてはどうかということで今回は入っておりません。今後のSシリーズで小さいのとか出てきたら、入れるかもしれません。
Q:おっ、重大発言ですね。「小さいの」やってるんですか??
新谷氏:
とにかく、S1/S1Rは、プロの写真家さんが仕事に使えるカメラを目標として作ってきました。性能はもちろん、長時間使っていただいて疲れないとか、例えばメニューの部分もストレスありません。スイッチも使いやすくて誤動作しないといった部分です。ぜひ手にとってさわっていただきたい。感性に訴える部分もすべて吟味しています。
これからラインアップを増やすとしたら、より広いみなさんに使っていただける機種になると思います。
みやの:その時には、お散歩用の「軽い単焦点レンズ」もお願いします!!!!自分としては24ミリ希望です~~~
みなさん長時間ありがとうございました!!!
24-105ミリの望遠端だと約0.5倍のマクロ撮影が可能。ここにも「なめらかなボケ」が感じられる。
門真にいったら
パナソニックミュージアム必須です
パナソニックの歴史館には何度かおじゃましたことがあるのですが、昨年それがリニューアルというか2倍の面積になって一新されたということで、行ってみました。
松下幸之助氏の生涯はもちろん、なつかしい昭和の電化製品もたくさん並んでいます。
開館時間は9時~17時で、日曜日と年末年始は休館です。駐車場もありますよ~~