Archive for October, 2017

GoogleのAIスマホ「Pixel 2」は世界最高水準のカメラ、Deep Learningが鮮やかな画像を生成する

Friday, October 6th, 2017

Googleは2017年10月4日、第二世代のAIスマホ「Pixel 2」(下の写真、左側) と「Pixel 2 XL」(下の写真、右側) を発表した。Pixel 2はカメラ性能が大きく進化し、ベンチマークで世界最高位をマークした。高い評価を受けた理由はDeep Learning技法の強化で、AIが高品質の画像を生成する。

出典: Google

AIで構成されるスマートフォン

Pixel 2は音声アシスタント「Google Assistant」、ビジュアル検索機能「Google Lens」、及びイメージ生成技法「Computing Photography」とAI機能をフルに実装している。Pixel 2はイメージ生成機能が格段に強化され、世界最高のスマホカメラと評価されている。カメラの世界標準ベンチマーク「DxOMark」でPixel 2は98ポイントと評価されトップとなった。前モデルのPixelは89ポイントで、Pixel 2のカメラ性能が大きく向上したことが分かる。

人物写真専用モード「Portrait Mode」

Pixel 2は人物を撮影するための機能「Portrait Mode」を導入した。これは人物をシャープに、また、背景をぼかして撮影する機能である (下の写真)。一眼レフカメラでは望遠レンズの絞りを開き被写界深度を浅くして撮影する。Apple iPhone 8では搭載されている二つのカメラで被写体と背景を3Dで捉えてこれを表現する。これに対しPixel 2は一つのカメラでPortrait Modeの撮影ができる。撮影されたイメージをMachine Learningの手法で解析しPortrait Modeに変換する。

出典: Google

特殊なセンサーを搭載

Pixel 2はメインカメラ (12.2MP, f/1.8) に「Dual-Pixel Sensor」という特殊なイメージセンサーを搭載している。撮影した写真はこのセンサーで二つに分解される。右と左の二つのカメラで撮影したように、二枚のイメージとして把握する。つまり、左右二台のカメラで撮影したように、イメージを3Dで捉えることができる。

Machine Learningの手法で画像を生成

次に、このイメージをDeep Learningの手法で解析し被写体と背景を明確に区分けする。アルゴリズムは百万枚の写真を使い教育され様々なシーンに対応できる。アルゴリズムは前面と背景を区別できるようになり、カメラは人物のパーツ部分をシャープにフォーカスし、それ以外の部分はボケ(Bokeh)の効果を与える。人物だけでなくモノに対してもPortrait Modeで撮影できる。このモードを使うとプロカメラマンのように被写体が背景に浮き上がる写真を取ることができる。

自撮りでも使える

Portrait Modeはフロントカメラ (8MP, f/2.4) でも使うことができる。フロントカメラはDual-Pixel Sensorを搭載していないがDeep Learningの手法でPortrait Modeを生成する。アルゴリズムは画像の中で顔を認識し、顔に繋がっている身体パーツや髪などを把握する。つまり、アルゴリズムが人物の形状を認識しそこにフォーカスを当てる。このため、自撮り (Selfie) でPortrait Modeを使うことができる (下の写真、左側)。もし画面に顔が映っていなければPortrait Modeはオフとなる。

出典: Google

イメージを生成する機能「HDR+」

Pixel 2は暗い環境でも細部にわたり精密に表現できる (下の写真)。また、光のコントラストが厳しい状況でもバランスよくイメージを生成する。これは「HDR+」というイメージ合成手法により実現される。そもそも、HDR (High Dynamic Range) イメージングという手法は異なる露出の複数枚の写真を組み合わせて一枚の写真を生成する技術を指し、多くのスマホで幅広く使われている。これに対しHDR+は同じ露出の写真を多数枚組み合わせて一枚の写真を生成する手法である。

出典: Google

Computation Photography

Pixel 2はカメラアプリを開いた時から撮影を始め、シャッターが押されたポイントを撮りたいシーンと理解する。HDR+は数多くの写真を重ねるが、同じ露出で撮影するので暗い部分はノイズが乗る。しかし、暗い部分の写真を数多く重ね合わせることで数学的にノイズを減らす。この手法により、光の条件が厳しいところでも綺麗な写真が撮れ、また、Portrait Modeでは肌が滑らかに仕上がる。HRD+はアルゴリズムがイメージを生成する方式で「Computation Photography」とも呼ばれる。カメラはAIを含むソフトウエアが機能や性能を決定する。

高度な手ぶれ補正機構

Pixel 2のメインカメラはビデオや写真撮影向けに高度な手ぶれ補正機構を搭載している。これは「EIS (electrical image stabilization) 」と「OIS (optical image stabilization)」とMachine Learningで構成される。EISはハードウェア機能でセンサーが画像のブレを補正する。OISはソフトウェア機能でフレームごとのブレをアルゴリズムが補正する。Pixel 2はOISをジャイロと連携し手の物理的な振動を検知する。これらの情報をMachine Learningで解析し安定したイメージを生成する。具体的にはMachine Learningは撮影した各フレームから主要な動き(例えばオートバイの動き)を検知し、これに沿って撮影したフレームからブレを補正する。

ビジュアル検索機能「Google Lens」

Pixel 2はビジュアル検索機能「Google Lens」を搭載した。Google Lensとはカメラが捉えたオブジェクトに関する情報を画面に表示する機能である。Google LensはMachine Vision (画像認識機能) とMachine LearningとKnowledge Graph (知識データベース) で構成される。名所旧跡や本や音楽アルバムや映画などの情報を表示することができる。例えば、建物をGoogle Lensで見るとこれは1236年に建立された東福寺であることが分かる (一つ上の写真、右側)。

AIカメラ「Google Clips」

Googleは小型軽量のカメラ「Google Clips」 (下の写真) を発表した。これはハンズフリーカメラでClipsが自動でビデオを撮影する。Clipsをテーブルの上に立てて置いたり、椅子に挟んで使う。Clipsは興味あるシーンを認識し自動でシャッターを切る。また、専用アプリで利用者がシャッターボタンを押して撮影することもできる。

出典: Google

人物を識別する

Clipsはインテリジェントな機能を持ちAIが人物を識別する。このためClipsは親しい人物を中心に撮影する。また、Clipsは撮影のタイミングも自律的に判断する。被写体の動きが止まったタイミングを見て撮影を始める。また、被写体の一部が隠れているようなときは撮影しない。このため事前にClipsに家族関係者などを教えておく。また、Clipsを使うにつれ搭載されているMachine Learningは親しくしている人物を学びその人を中心に撮影するようになる。Clipsは屋内で家族やペットなどを撮影することを想定してデザインされている。

専用AIプロセッサを搭載

Clipsは専用AIプロセッサを内蔵している。このプロセッサはMovidius社の「Myriad 2」で、Computer Vision機能を司る。ここで人物の顔を認識しAI機能はデバイス上で実行される。この方式は「On-Device AI」と呼ばれる。クラウドと接続する必要はなく、顔情報をデバイスに格納し個人のプライバシーを守ることができる。

カメラとAIは相性がいい

Googleはハードウェア製品にAIをフルに実装し機能強化を推し進めている。Pixel 2ではAIがプロの写真家の役割を担い高品質なイメージを生成する。Clipsではもはや写真を撮影する行為は必要が無くAIが最適なシーンを撮影する。カメラはコンピュータとなり機能や特性はDeep Learningが決定する。カメラとAIは相性が良く技術革新が急速に進むことになる。

GoogleはAIスピーカー「Home」を大幅強化、高度なDeep Learningが製品の価値を決める

Wednesday, October 4th, 2017

Googleは2017年10月4日、ハードウェア新製品を一挙に発表した (下の写真)。製品はハードウェアがソフトウェアとAIに融合した形式となっている。AIが製品を差別化する決定的な要因になっていることが分かる。

出典: Google

新製品ラインアップ

発表された製品は次の通り。「Pixel 2」はスマホ最新モデルでAIを使ったイメージング技術でカメラの性能が格段に向上。AIスピーカーGoogle Homeの小型モデル「Mini」と最上位モデル「Max」が登場。「Google Clips」はAIカメラでアルゴリズムが最適なシーンを識別し自動で撮影する。「Google Pixel Buds」はBluetoothヘッドセットで音楽を再生し異なる言語を翻訳する。この他に「Pixelbook」と「Daydream View」の新製品が登場した。

ドーナツ型の「Mini」

発表の主要テーマはAIで全ての製品がAIで強化された。その中でもGoogle HomeのAI機能が大きく進化した。Google Home製品ラインが拡充され「Mini」と「Max」が登場した。これらは「Home」と同様にAIアシスタント「Google Assistant」が搭載され、ヒトの言葉を理解し音声で操作する。Miniはドーナツサイズの形状で (下の写真)、上部にはLEDライトが搭載されデバイスの状況が表示される。各部屋に一台備えることを前提としたデザインで、家庭空間がAIで埋め尽くされる。

出典: Google

音質を重視した「Max」

Maxは音質を重視したモデルでハードウェアとAIでこれを達成する (下の写真)。Maxは4.5インチのウーファーを2基搭載しディープなサウンドを生成する。「Smart Sound」機能を搭載し、AIが置かれた環境やコンテクストに合わせ音楽を再生する。AIが部屋の形状を把握しそれに最適なサウンドを再生する。また、朝はボリュームを控えて再生するが、食器洗い機が回っている時はボリュームを上げる。

出典: Google

Google Assistantがベース

HomeにはAIアシスタント「Google Assistant」が組み込まれ製品の中核機能となる。Google Assistantはこの他に、スマートフォン (AndroidとiOS)、スマートウォッチ (Android Ware) 及びテレビ (Android TV)にも対応し、製品インターフェイスは急速に音声に向かっている。Google Assistantはエコシステムを広げ、スマートホーム関連ではNest、Philips Hue、SmartThingsなど1000製品とリンクしている。

Google Assistant新機能

Google Assistantは質問に応え、音楽を再生し、家電を制御するハブとなる。また、六人の声を聞き分け (Voice Matchという機能)、利用者に沿った対応ができる。発表イベントではGoogle Assistantの新機能が紹介された。「Everyday Routines」は一言で複数のコマンドを実行する機能。例えば、「Good Morning」というと、Homeは一日のスケジュールを確認し、道路渋滞情報を知らせ、主要ニュースを読み上げる。「Let’s Play a Game」と指示すると子供向けのゲームが始まる。Homeは子供に人気のデバイスで、子供たちが安全に使える機能が登場した。

スマートホーム連携が強化された

Google HomeはAlphabet配下のスマートホーム企業Nestとの連携を強化した。Nestのセキュリティカメラ「Nest Cam」をGoogle Homeから操作できるようになった。例えば、玄関で物音がしたときに「Show me the entryway on my TV」と語ると玄関の様子がテレビに映し出される (下の写真)。

出典: Google

ドアベル「Nest Hello」をGoogle Homeから操作できる。Nest Helloは顔認識機能を備え来訪者を識別できる (Familiar Facesという機能)。来訪者がドアベルを押すとHelloはその人物を認識し、Google Homeは「Anti Susie is at the front door」と訪問者の名前を知らせてくれる。Nestと連携することで家屋のセキュリティをGoogle Homeで集中管理できる。

出典: Google

DeepMindの音声合成技術

Google Homeの音声が高度なAIを適用することでとても滑らかになった。DeepMindは昨年、音声合成(Speech Synthesis)に関する新技術を発表した。これは「WaveNet」と呼ばれDeep Neural Networkを使い人間のような自然な発声ができる技法を開発した。一般に音声合成は言葉をごく小さなパーツに分けてこれを繋ぎ合わせる方式 (Concatenative TTS)でスピーチを生成する。このため機械的でぎこちないトーンとなる。

滑らかなスピーチを生成する仕組み

これに対してDeepMindは従来方式と全くことなるアプローチを取る。WaveNetは多くの音声サンプルを学び、音声の波形(Audio Waveform)をゼロから丸ごと生成する。具体的にはネットワーク (Convolutional Neural Network、下の写真) はスピーチの構成を学習し、どの音色(Tone)の後にどの音色が続くか、また、どんな波形(Waveform)が自然であるかを学ぶ。このため、非常に滑らかな音声を合成できるようになった。

出典: Aaron van den Oord et al.

WaveNetをGoogle Homeに適用

しかし、昨年の時点では音声合成を短時間で実行することができなかった。0.02秒のオーディオを生成するために1秒を要した。DeepMindはこのアルゴリズムを改良し、高速で音声合成ができるようにした。1秒のオーディオを50ミリ秒で生成できリアルタイムで使えるようになった。Google Homeで使われている音声は改良されたWaveNetで生成されたものである。WaveNetは英語と日本語を対象としており、日本で発売されるGoogle Homeの音声はWaveNetで生成されたものである。

AIが差別化の要因

このようにGoogle Homeはシステムの背後で最新のAI技法が幅広く使われている。利用者の音声を認識するだけでなく、音声合成でもAI無しでは実現できない。ハードウェア製品の主要機能は各社とも横並びの状態になり、これからはAIが差別化の要因となり製品価値を決定する。