Archive for the ‘モバイル’ Category

GoogleのAIスマホ「Pixel 2」は世界最高水準のカメラ、Deep Learningが鮮やかな画像を生成する

Friday, October 6th, 2017

Googleは2017年10月4日、第二世代のAIスマホ「Pixel 2」(下の写真、左側) と「Pixel 2 XL」(下の写真、右側) を発表した。Pixel 2はカメラ性能が大きく進化し、ベンチマークで世界最高位をマークした。高い評価を受けた理由はDeep Learning技法の強化で、AIが高品質の画像を生成する。

出典: Google

AIで構成されるスマートフォン

Pixel 2は音声アシスタント「Google Assistant」、ビジュアル検索機能「Google Lens」、及びイメージ生成技法「Computing Photography」とAI機能をフルに実装している。Pixel 2はイメージ生成機能が格段に強化され、世界最高のスマホカメラと評価されている。カメラの世界標準ベンチマーク「DxOMark」でPixel 2は98ポイントと評価されトップとなった。前モデルのPixelは89ポイントで、Pixel 2のカメラ性能が大きく向上したことが分かる。

人物写真専用モード「Portrait Mode」

Pixel 2は人物を撮影するための機能「Portrait Mode」を導入した。これは人物をシャープに、また、背景をぼかして撮影する機能である (下の写真)。一眼レフカメラでは望遠レンズの絞りを開き被写界深度を浅くして撮影する。Apple iPhone 8では搭載されている二つのカメラで被写体と背景を3Dで捉えてこれを表現する。これに対しPixel 2は一つのカメラでPortrait Modeの撮影ができる。撮影されたイメージをMachine Learningの手法で解析しPortrait Modeに変換する。

出典: Google

特殊なセンサーを搭載

Pixel 2はメインカメラ (12.2MP, f/1.8) に「Dual-Pixel Sensor」という特殊なイメージセンサーを搭載している。撮影した写真はこのセンサーで二つに分解される。右と左の二つのカメラで撮影したように、二枚のイメージとして把握する。つまり、左右二台のカメラで撮影したように、イメージを3Dで捉えることができる。

Machine Learningの手法で画像を生成

次に、このイメージをDeep Learningの手法で解析し被写体と背景を明確に区分けする。アルゴリズムは百万枚の写真を使い教育され様々なシーンに対応できる。アルゴリズムは前面と背景を区別できるようになり、カメラは人物のパーツ部分をシャープにフォーカスし、それ以外の部分はボケ(Bokeh)の効果を与える。人物だけでなくモノに対してもPortrait Modeで撮影できる。このモードを使うとプロカメラマンのように被写体が背景に浮き上がる写真を取ることができる。

自撮りでも使える

Portrait Modeはフロントカメラ (8MP, f/2.4) でも使うことができる。フロントカメラはDual-Pixel Sensorを搭載していないがDeep Learningの手法でPortrait Modeを生成する。アルゴリズムは画像の中で顔を認識し、顔に繋がっている身体パーツや髪などを把握する。つまり、アルゴリズムが人物の形状を認識しそこにフォーカスを当てる。このため、自撮り (Selfie) でPortrait Modeを使うことができる (下の写真、左側)。もし画面に顔が映っていなければPortrait Modeはオフとなる。

出典: Google

イメージを生成する機能「HDR+」

Pixel 2は暗い環境でも細部にわたり精密に表現できる (下の写真)。また、光のコントラストが厳しい状況でもバランスよくイメージを生成する。これは「HDR+」というイメージ合成手法により実現される。そもそも、HDR (High Dynamic Range) イメージングという手法は異なる露出の複数枚の写真を組み合わせて一枚の写真を生成する技術を指し、多くのスマホで幅広く使われている。これに対しHDR+は同じ露出の写真を多数枚組み合わせて一枚の写真を生成する手法である。

出典: Google

Computation Photography

Pixel 2はカメラアプリを開いた時から撮影を始め、シャッターが押されたポイントを撮りたいシーンと理解する。HDR+は数多くの写真を重ねるが、同じ露出で撮影するので暗い部分はノイズが乗る。しかし、暗い部分の写真を数多く重ね合わせることで数学的にノイズを減らす。この手法により、光の条件が厳しいところでも綺麗な写真が撮れ、また、Portrait Modeでは肌が滑らかに仕上がる。HRD+はアルゴリズムがイメージを生成する方式で「Computation Photography」とも呼ばれる。カメラはAIを含むソフトウエアが機能や性能を決定する。

高度な手ぶれ補正機構

Pixel 2のメインカメラはビデオや写真撮影向けに高度な手ぶれ補正機構を搭載している。これは「EIS (electrical image stabilization) 」と「OIS (optical image stabilization)」とMachine Learningで構成される。EISはハードウェア機能でセンサーが画像のブレを補正する。OISはソフトウェア機能でフレームごとのブレをアルゴリズムが補正する。Pixel 2はOISをジャイロと連携し手の物理的な振動を検知する。これらの情報をMachine Learningで解析し安定したイメージを生成する。具体的にはMachine Learningは撮影した各フレームから主要な動き(例えばオートバイの動き)を検知し、これに沿って撮影したフレームからブレを補正する。

ビジュアル検索機能「Google Lens」

Pixel 2はビジュアル検索機能「Google Lens」を搭載した。Google Lensとはカメラが捉えたオブジェクトに関する情報を画面に表示する機能である。Google LensはMachine Vision (画像認識機能) とMachine LearningとKnowledge Graph (知識データベース) で構成される。名所旧跡や本や音楽アルバムや映画などの情報を表示することができる。例えば、建物をGoogle Lensで見るとこれは1236年に建立された東福寺であることが分かる (一つ上の写真、右側)。

AIカメラ「Google Clips」

Googleは小型軽量のカメラ「Google Clips」 (下の写真) を発表した。これはハンズフリーカメラでClipsが自動でビデオを撮影する。Clipsをテーブルの上に立てて置いたり、椅子に挟んで使う。Clipsは興味あるシーンを認識し自動でシャッターを切る。また、専用アプリで利用者がシャッターボタンを押して撮影することもできる。

出典: Google

人物を識別する

Clipsはインテリジェントな機能を持ちAIが人物を識別する。このためClipsは親しい人物を中心に撮影する。また、Clipsは撮影のタイミングも自律的に判断する。被写体の動きが止まったタイミングを見て撮影を始める。また、被写体の一部が隠れているようなときは撮影しない。このため事前にClipsに家族関係者などを教えておく。また、Clipsを使うにつれ搭載されているMachine Learningは親しくしている人物を学びその人を中心に撮影するようになる。Clipsは屋内で家族やペットなどを撮影することを想定してデザインされている。

専用AIプロセッサを搭載

Clipsは専用AIプロセッサを内蔵している。このプロセッサはMovidius社の「Myriad 2」で、Computer Vision機能を司る。ここで人物の顔を認識しAI機能はデバイス上で実行される。この方式は「On-Device AI」と呼ばれる。クラウドと接続する必要はなく、顔情報をデバイスに格納し個人のプライバシーを守ることができる。

カメラとAIは相性がいい

Googleはハードウェア製品にAIをフルに実装し機能強化を推し進めている。Pixel 2ではAIがプロの写真家の役割を担い高品質なイメージを生成する。Clipsではもはや写真を撮影する行為は必要が無くAIが最適なシーンを撮影する。カメラはコンピュータとなり機能や特性はDeep Learningが決定する。カメラとAIは相性が良く技術革新が急速に進むことになる。

Apple iPhone Xは顔認証を導入、写真はドラマチックに仕上がる、AIチップで画像認識を強化

Wednesday, September 13th, 2017

Appleは新本社で次世代ハイエンドモデル「iPhone X」を発表した。iPhone Xは顔認証方式「Face ID」を導入し、カメラに顔を向けるだけで認証ができる。顔認証は指紋認証より安全性が高く、Appleが導入したことで一気に普及が進む可能性を秘めている。

出典: Apple

次世代モデル三機種を発表

AppleはiPhone次世代モデル三機種を発表した。最上位機種はiPhone X (上の写真、左端) で、デバイスの前面が全てディスプレイ (Super Retina HD Display) となりホームボタンが無くなった。iPhone 7の後継モデルとしてiPhone 8 (上の写真、右端) とiPhone 8 Plus (上の写真、中央) が発表された。三機種とも新型プロセッサ「A11 Bionic」を搭載しAIとグラフィック機能を強化している。

Face IDとは

iPhone Xは顔認証機能「Face ID」を備えており、デバイスのロックを解除するには顔をカメラにかざすだけ (下の写真)。顔がパスワードになりデバイスをオープンできる。また、Apple Payで支払いをする際も顔をカメラに向けるだけで認証が完了する。指をホームボタンに押し付ける操作は不要で、安全なだけでなく使いやすくなった。

出典: Apple

顔認証のメカニズム

Face IDを使うためには事前に顔を登録する必要がある。システムの指示に従って顔をカメラに向け、ディスプレイに示された円に沿って顔を回す (下の写真)。iPhone Xは「TrueDepth Camera」と呼ばれる特殊なカメラを搭載している (先頭の写真左側、ディスプレイ最上部の黒いバーの部分)。顔を登録する時はTrueDepth Cameraのプロジェクター (Dot Projector) から3万個のドットが顔に照射され、これを赤外線カメラ (Infrared Camera) で読み込み顔の3Dマップを作成する。

出典: Apple

この情報がプロセッサのストレージ (Secure Enclave) に暗号化して格納される。Face IDを使うときは光源 (Flood Illuminator) から赤外線が照射されこれを赤外線カメラで読み込み、登録した顔のマップと比較して認証を実行する。

利用者の風貌が変わると

顔認証では利用者の状態が変わるという課題を抱えている。髪を伸ばしたり眼鏡をかけると登録した顔のイメージと異なり本人確認が難しくなる。このためAppleは機械学習 (Machine Learning) の手法を使って両者のイメージを比較する方式を採用した。アルゴリズムは登録した顔が髪を伸ばし眼鏡をかけるとどう変化するかを機械学習の手法で学習する。様々な条件を事前に学習しておき利用者の外観が変わっても高精度に判定できる。また、顔を3Dで比較するので写真を使って不正に認証を受けることはできない。

カメラの特殊効果

TrueDepth Cameraは自撮り (Selfie) する際に特殊効果を出すために使われる。これは「Portrait Lighting」という機能でスタジオで撮影する時のように、あたかも光を調整したかのように特殊効果を出す。Natural Lightというオプションを選択すると自然光のもとで撮影したように写る (下の写真、左側)。Studio Lightを選択するとスタジオの明るい環境で撮影した効果が出る。Contour Lightは顔の凹凸を際立たせ (下の写真、中央) ドラマチックな仕上がりとなる。Stage Lightは背景を黒色にして顔を浮き上がらせる (下の写真、右側)。

出典: Apple

カメラの性能はAIで決まる

TrueDepth Cameraはステレオカメラでオブジェクトを3Dで把握する。カメラが人物と背景を区別し、更に、AIが人物の顔を把握しここに光を当てて特殊効果を生み出す。メインカメラにもPortrait Lighting機能が搭載されており上述の機能を使うことができる。カメラは光学センサーが差別化の要因になっていたが、今ではキャプチャしたイメージをAIで如何に綺麗に処理できるかが問われている。iPhoneカメラはSoftware-Defined Cameraと呼ばれソフトウェアが機能を決定する。

絵文字を動画にしてメッセージを送る

TrueDepth Cameraを使うと絵文字の動画「Animoji」を生成して送信できる。カメラは顔の50のポイントの動きを把握し、これを絵文字キャラクターにマッピングする。笑顔を作るとキャラクターも笑顔になる (下の写真)。ビデオメッセージを作る要領で録画すると、キャラクターがその表情を作り出し音声と共にiMessageで相手に送信される。猫の他にブタやニワトリなど12のキャラクターが揃っている。

出典: Apple

AIプロセッサ

これら機械学習や画像処理を支えているのがAIチップA11 Bionicだ。名前が示しているようにAI処理に特化したエンジン「Neural Engine」を搭載している。Neural Engineは機械学習処理専用のエンジンで人や物や場所などを高速で把握する機能を持つ。このエンジンがFace IDやAnimojiの処理を支えている。またAR (拡張現実) における画像処理もこのエンジンにより高速化されている。

価格と出荷時期 (米国)

ハイエンドのiPhone Xの価格は999ドルからで11月3日から出荷が始まる。また、iPhone 8 Plusの価格は799ドルからでiPhone 8は699ドルからとなっている。両モデルとも9月22日から出荷が始まる。

iPhone発売から10周年

発表イベントは新設されたApple本社 (下の写真、左奥) に隣接するSteve Jobs Theater (下の写真、中央) で開催された。イベントの模様はライブでストリーミングされた。これはSteve Jobsを記念して建設されたシアターで円形のアーキテクチャになっている。一階部分は円盤状のロビーで、シアターは地階部分に設けられている。今年はiPhone発売から10周年の区切りの年になり、これを象徴してiPhone X (10) が登場した。

出典: Apple

Google PixelはApple iPhoneを超えた!スマホがAIで構成される

Friday, October 28th, 2016

Googleは独自に開発したスマホ「Pixel」を投入した。ハードウェア機能が格段に向上しただけでなく、AIが利用者とのインターフェイスとなる。PixelはGoogleが運営するMVNO (仮想モバイルネットワーク) で利用できる。Googleモバイル事業はAndroidとハードウェアとネットワークを垂直に統合したモデルに進化した。Pixelを使ってみると先進的な機能に感銘を受け、これが近未来のスマホの姿を示していると実感した。

出典: Google

独自ブランドのスマートフォン

Googleは2016年10月、Googleブランドのスマートフォン「Pixel」 (上の写真) の販売を開始した。手に取ってみるとPixelはiPhoneと見間違うほど似ている。よく見るとPixelの表面にはホームボタンはなく、背後に円形の指紋センサー (Pixel Imprint) が搭載されている。ここに指をあててデバイスをアンロックする。PixelはGoogleがゼロから開発したスマホで、台湾HTCが製造する。AppleのようにGoogleがスマホ全体を開発して製品を販売する。

PixelはAIスマートフォン

Pixelは最新基本ソフト「Android 7.1」を搭載し、そこには会話型AI「Assistant」が組み込まれている。AssistantはApple Siriに相当する機能で、言葉で指示するとコンシェルジュのように応えてくれる。AIがスマホ機能の中心となり、Pixelはソフトウェアと人工知能の交点として位置づけられる。

ハードウェアの完成度が格段に向上

Pixelはハードウェアとしての完成度が格段に向上した。iPhoneのような形状となり、薄くて軽くて快適に使える。Nexusシリーズと比較すると数世代分を一気に成長した感がある。ディスプレはAMOLEDでカメラは12.3MPの解像度とf/2.0の口径を持つ。Pixelカメラは「Software-Defined Camera」と呼ばれ、ソフトウェアが驚くほどきれいな画像を創りだす。Pixelカメラの性能はiPhone 7を超えたと評価されている。

Assistantが会話を通して生活をサポート

PixelはAIスマホとして位置づけられ、Assistantはコンシェルジュのように会話を通して生活をサポートする。Pixelに対し「Ok Google」と語り掛けるとAssistantが立ち上がり、これに続く言葉を認識する。「When does the San Francisco Moma close」と質問すると、「Moma is open now, it closes at 5 pm」と答える。美術館は5時に閉館するのでまだ開いていることが分かる (下の写真左側)。Assistantは声を聞き分ける生体認証機能があり、筆者のPixelに対して他人が「Ok Google」と呼びかけれも反応しない。

出典: VentureClef

Assistantで撮影した写真を探す

Assistantは写真検索で威力を発揮する。「Show me my photos in the rain」と指示すれば、雨の日に撮影した写真を表示する (上の写真右側上段)。「Show me my pictures taken at Google campus」と指示すると、Googoleキャンパスで撮影した写真を表示する (上の写真右側下段)。音声で操作できるのでスマホでサクサク検索できる。Pixelで撮影した写真はオリジナルサイズで写真アルバム「Google Photos」に格納される。ストレージ容量の制限は無く何枚でも格納できる。

Assistantでレストランを予約する

Assistantは情報検索だけでなく指示されたタスクを実行する。レストランを予約する時はAssistantと対話しながら場所や時間などを決めていく。最後に確認画面が表示され、Yesと答えるとレストランアプリ「OpenTable」で予約が完了する。電話で話すように驚くほど簡単にレストランの予約ができる。また、Assistantは一日のスケジュールを管理する。「What’s next on my calendar」と質問するとAssistantは次の予定を回答する。ここでは予約したレストランの概要が示された (下の写真左側)。

出典: VentureClef

Assistantでアプリを操作する

AssistantはPixelアプリを操作できる。つまり、搭載しているアプリを音声で利用できる。Assistantに「Katy Perry on Instagram」と指示すると、インスタグラムのPerryのページを開く (上の写真右側)。また、「Open Snapchat」と指示すると、スナップチャットが起動してメッセージを読むことができる (下の写真左側)。Assistantに「Play music by Beyoncé」と指示すると、音楽アプリ「Google Music」が起動しビヨンセの音楽を再生する (下の写真右側)。Assistantの音声認識精度は高く、言葉でスマホを操作できるのはとても便利だ。

出典: VentureClef

カメラの性能が業界トップ

Pixelの最大の特長はカメラの性能が業界トップであることだ。カメラの性能は「DxOMark」のベンチマーク指標が使われる。これによるとPixelカメラは89ポイントをマークし、Apple iPhone 7の86ポイントを上回った。今までのトップはSamsung Galaxy S7 Edgeなどで88ポイントをマークしているがPixelがこれを追い越した。DxOMarkはカメラ、レンズ、スマホカメラの性能を評価するサイトでDxO Labs.が運営している。同社は光学関連のソフトウェアやデバイスを開発するフランス企業。

イメージング処理ソフトウェアの威力

Pixelカメラの性能がトップとなった理由はイメージング処理ソフトウェアのアルゴリズムにある。カメラはGoogle独自のハイダイナミックレンジイメージング機能「HDR+」を搭載する。この機能によりダイナミックレンジが広がり、明るい箇所から暗い箇所までバランスよく撮影できる。下の写真はその事例で、厳しい逆光のもとGoogle本社ビルを撮影したもの。肉眼では真っ黒に見えたガラス張りのビルが内部まで写っている。同時に、背後の青空とまぶしい雲がちゃんと写っている。HDR+の威力を感じる一枚となった。

出典: VentureClef

HDRとは

HDR (High Dynamic Range) イメージングとは、異なる露出の複数枚の写真を組み合わせて一枚の写真を生成する技術を指す。一般にHDRは被写体に対して三枚の写真を使う。Underexposure (露出アンダー)、Overexposure (露出オーバー)、及びBalanced (適正露出) の三枚の写真を撮影し、ここから最適な部分を抽出し、これをつなぎ合わせて一枚の写真を生成する。

HDR+とは

これに対してPixelのHDR+は同じ露出の写真を多数枚組み合わせて一枚の写真を生成する。Pixelはカメラアプリを開いた時から撮影を始め、シャッターが押されたポイントを撮りたいシーンと理解する。露出を上げないので暗い部分はノイズが乗ることになる。しかし、暗い部分の写真を数多く重ね合わせることで数学的にノイズを減らす。この手法により、重ね合わせがシンプルになり、ゴーストが発生しないという特徴がある。下の写真はまぶしい雲を背景に星条旗が風にたなびいているが、ゴーストは発生していなく細部まで写っている。

出典: VentureClef

Software-Defined Camera

Pixelカメラは特殊なハードウェア機構は備えていない。Googleはコモディティカメラを使いソフトウェアでイメージング技術を向上させるアプローチを取る。これは「Software-Defined Camera」と呼ばれソフトウェアがカメラの性能や特性を決定する。一眼レフカメラは高価なハードウェアで1枚だけ撮影する。これに対しGoogleは安価なカメラで大量の写真を撮影してソフトウェアで最適化する。イメージング技術はAIを含むアルゴリズムが勝敗を決める。

音声で写真撮影

Pixelカメラは音声で写真を撮影できる。これはAssistantの一部で、フロントカメラで自撮りする時は、「Ok Google, take a selfie」と語るとシャッターが下りる。腕を伸ばして難しい姿勢でシャッターを押す必要はない。メインカメラで写真撮影をするときも、「Ok Google, take a picture」と言えばシャッターが下りる。タイマーを使う代わりに音声で集合写真を撮影できる。メインカメラからフロントカメラに切り替えるときは、Pixelを縦に持ち二回ひねる。

指紋センサー

Pixelをアンロックする時には指紋認証を使う。上述の通りPixelにはホームボタンはなく、背後の指紋センサーに指をかざす。片手で操作でき、かつ、スリープ状態から直接アンロックできるのでとても便利。Pixelは指紋認証の認識率が非常に高く、殆どのケースで1~2回程度でアンロックできる。指紋で認証できないときはPINなど従来方式の認証を行う。

Googleが独自のネットワークを運営

Pixelは米国最大のキャリアVerizonが販売している。また、Google独自のネットワーク「Fi Network」を使うこともできる。Fi NetworkはMVNO (仮想モバイルネットワーク) 方式のネットワークで、背後でSprintとT-Mobile USの4G LTEが使われている。Fi Networkを利用する時は専用のSIM Cardを挿入する。PixelはGoogleオリジナルのスマホをGoogleネットワークで運用する構造となっている。

Fi Networkの特徴

Fi Networkは単に通信網を提供するだけでなく、両者のうち電波強度の強いネットワークに自動で接続する。また、LTEやWiFiなど異なるネットワーク間で最適な通信網を選択し、サービスを途切れなく利用できる。屋内では通話やテキストメッセージはWiFi経由で交信する。屋外に出るとGoogleの移動体ネットワークFi Networkに接続される。

出典: VentureClef

ネットワーク間での自動切換え

このためネットワーク間で途切れなくサービスを利用できる。自宅でWiFi経由で電話している時、屋外に出るとネットワークがLTEに切り替わる (上の写真左側)。通話は途切れることなくシームレスにハンドオーバーされる。通話だけでなくデータ通信でも自動でネットワークが切り替わる。自宅のWiFiでGoogleの音楽ストリーミングを聞きながらクルマで屋外に出るとFi Networkに切り替わる (上の写真右側)。

出典: VentureClef

クルマの中でAssistantが大活躍

クルマの中では言葉でAssistantに指示して好みの音楽を聴ける。電話やメッセージもAssistantに言葉で指示して発信する。ナビゲーションもAssistantに言葉で語り掛けて使う。少し大きめの声で語り掛ける必要はあるが、Assistantは運転中に絶大な威力を発揮する。今ではPixelはドライブに必須のインフォテイメントデバイスとなった。

シンプルで良心的な料金体系

Fi Networkの料金体系はシンプルで基本料金とデータ料金の組み合わせで構成される。基本料金は月額20ドルで、ここに通話、テキストなどが含まれる。データ通信は月額10ドル/GBで、例えば2GBで契約すると月額20ドルとなる。制限量まで使っていない場合は、翌月分の料金から差し引かれる、良心的な料金体系となっている (上の写真左側)。またデータ通信料はグラフで示され (上の写真右側) 使用量を明確に把握できる。(ロックスクリーン左上にFi Networkと表示される、下の写真左側。アイコンは小さめの円形になりホームスクリーンのデザインがすっきりした、下の写真右側。)

出典: VentureClef

Samsungとの関係は微妙

Googleのモバイル事業はAndroidを開発しこれをパートナー企業に提供することで成り立っている。SamsungなどがAndroidを利用してスマホを販売している。このためスマホ事業はSamsungなどに依存しているだけでなく、Googleの収益構造が問われてきた。事業が拡大するのはSamsungでGoogleは大きな収益を上げることが難しい状態が続いている。GoogleがPixelでスマホ事業に乗り出すことで、Appleのような垂直統合型となり、収益構造も改善すると期待される。一方、Android陣営内でGalaxy顧客がPixelに乗り換えることも予想され、Samsungなどパートナー企業との関係が難しくなる。

ソフトウェア+デバイス+ネットワーク

Googleは基本ソフト (Android) とデバイス (Pixel) だけでなく、ネットワーク (Fi Network) を含めた垂直統合システムでモバイル事業を始めた。Appleのようにスマホを販売するだけでなく、それを運用するネットワークも提供する。キャリアが提供するネットワーク単体では技術進化が停滞している。Googleはデバイスとそれをつなぐネットワークを統合することでイノベーションを起こせるとしている。AIスマホを独自のネットワークで結び、Googleはスマホ事業の近未来の姿を示している。

GoogleはAIメッセージング「Allo」をリリース、仮想アシスタントとの対話は近未来のライフスタイルを感じる

Saturday, September 24th, 2016

Googleは2016年9月、AIを搭載したメッセージングアプリ「Allo」をリリースした。AlloはLineのようにテキストやマルチメディアを使って会話するメッセンジャーとして位置づけられる。これに加え、Alloは仮想アシスタント「Google Assistant」を搭載しているのが最大の特徴 (下の写真左側)。仮想アシスタントとは会話型AIで、コンシェルジュのように対話しながら応対してくれる。使ってみると、まだまだ開発途上であるが、会話型AIが巨大ビジネスに成長する兆しを感じる。

Googleはメッセージング市場で苦戦

メッセージング市場ではFacebook MessengerとSnapchatが先行し、AppleがMessageでこれを追っている。日本ではLineがトップを走り世界市場を目指している。Googleはメッセージングプラットフォーム「Hangouts」を運用しているが苦戦を強いられている。Googleは新たに、Alloを投入しAIを基軸に製品ラインアップを大幅に見直している。

メッセージングの表現力が豊かになる

この市場で勝つためには若者層を引き付ける必要がある。Alloは表現力が豊かで、メッセージをグラフィカルに示する。これは「Whisper or Shout」と呼ばれ、メッセージ欄のスライドを上下してテキストの大きさを変更できる。上にあげると文字やシンボルが大きくなる (下の写真右側上段)。またAlloオリジナルのStickerが数多く揃っており、メッセージで表現できる幅が広がった。 (上の写真右側下段)。

返信文を自動で生成

Alloは受信メッセージを読み、これを理解して、自動で返信文を生成する。これは「Smart Reply」と呼ばれる。「Do you like to drive」とのメッセージを受信すると、それに対してAlloはリアルタイムで「Sure」、「Yes」、「No」の返信文を生成する (下の写真左側)。自分でタイプする必要はなく、ボタンにタッチするだけで返信でき大変便利。Smart Replyは既にメール「Inbox」で導入され人気の機能となっている。

写真に対しても返信文を生成

AlloのSmart Replyはテキストだけでなく写真に対しても使える。空港で撮影した飛行機の写真を受信すると、Alloは「Nice plane」、「Have a nice flight」、「Bon voyage!」と返信文を生成する (上の写真右側)。Alloは高度なイメージ認識能力を持っている。ひまわりの写真を受信すると、Alloは「Beautiful」、「Nice sunflower」、「Pretty」と返信文を生成する (下の写真左側)。Alloは花だけでなく、この花がひまわりであることを把握する。花の種別を判定するには高度な技術を要し、この背後にはニューラルネットワークが使われている。

利用者のスタイルを反映した返信文

しかしAlloは食べ物の写真についてはうまく判定できない。サラダの写真に対し、「Yummy!」、「Wish I could try」と返信文を生成する (上の写真右側)。Alloはこれは食べ物であると理解するが料理の種類までは特定できない。Googleはイメージ認識技術で世界のトップを走っており、料理の種類を認識することは容易い。近々にこの機能がAlloに実装されると思われる。Alloは機械学習を重ねることで利用者の表現方法を学んでいく。利用者のスタイルを反映した返信文を作成できるようになる。

Assistantが手助けする

Alloの最大の特徴は仮想アシスタントGoogle Assistantをメッセージングに導入したこと。Assistantがコンシェルジュのように、会話しながら生活の手助けをする。Assistantは利用者同士のチャットを聞いており、手助けが必要と判断すると会話に割り込みアドバイスする。背後で会話を聞かれているのは奇異な気がするが、使ってみると便利な機能であることに気付く。

Assistantがレストランを教えてくれる

今日はイタリア料理を食べようと話していると、Assistantが気を利かせて近所のイタリア料理店を紹介する。友人に「Let’s go for Italian food」とメッセージを送ると、Assistantはコンテキスト理解してして「Italian food places nearby」と語り、近所のイタリア料理店を紹介する (下の写真左側)。ここではGoogle Knowledge Graph機能が使われている。

レストランのカードにタッチするとその詳細情報が表示され、店舗内の写真などをみることができる。気に入ればこのレストランをそのまま予約できる。ただ、レストランを予約するには専用アプリ「OpenTable」を起動し、ここから予約する仕組みとなる (下の写真右側)。まだ、Alloから直接予約することはできなくて、別アプリで実行することになる。Assistantと会話しながらタスクを実行できれば生活が格段に便利になる。

Assistantとの直接対話

友人との会話を離れ、直接Assistantと対話することができる。Assistantに指示すれば有能な秘書のようにこれに答えてくれる。「Cute dog pictures」と指示すると、Assistantは「Check out these pictures」と述べ、可愛い犬の写真を探してくる。更に「Cute puppy images」と指示すると、子犬の写真を表示する。ここではGoogle Image Searchの検索結果が使われている。

Assistantがこなせるタスク

Assistantは対応できるタスクをカードとして示する。それらは「Subscription (ニュース購読)」、「Action (タイマーセットなど)」、「Fun (ゲームなど)」、「Translation (翻訳)」、「Weather (天気予報)」、「Travel (旅行案内)」、「Sports (スポーツニュース)」、「Answer (Q&A)」、「My Assistant (Assistantの自己紹介)」となる。

旅行案内で格安フライトを探す

Travelカードにタッチすると旅行関連の情報が表示される。フライトを探すときには「Flights to New York」と指示すると、現在地 (San Francisco) からNew Yorkまでの航空運賃が表示される。条件で絞り込んで希望のフライトを探す。また、到着地のホテルの検索もできる。ここでもフライトやホテルの予約はリンク先のウェブサイトで行う。まだ、Assistantから直接予約することはできない。

一日のスケジュールを管理

Assistantは利用者のスケジュールを把握しており、秘書のように会議予定などを管理をする。例えば、「Show my flights」と指示すると、予約しているフライト情報を表示する (下の写真左側)。また、「What’s my next meeting」と言えば、今日の予定を表示する (下の写真右側)。Assistantは忙しい生活の中でなくてはならない存在になりつつある。AssistantはGoogle Calendarとリンクしスケジュールを把握している。

AlloとGoogle音声検索

Alloはメッセージング機能では目新しさを感じないが、Assistantの会話型AIは便利であると感じる。Assistantがインターフェイスとなり対話を通してGoogleを利用する。ただ、Assistant機能の多くはGoogle音声検索からも使える。Googleに「What’s my schedule today?」語り掛けると、今日のスケジュールを教えてくれる。音声検索とAlloでできることに大きな違いはないが、Alloは会話を通して利用者とインタラクションする点が大きく異なる。検索結果が表示されそこで会話が止まるのではなく、連続して対話が進む点が大きな特徴となる。

メッセージを暗号化して送る

Alloはセキュリティにも配慮している。匿名モード「Incognito Mode」を選択すると、Alloのメッセージは暗号化される (下の写真左側)。また、メッセージは指定時間だけ表示され、制限時間を過ぎると消去される。例えば、相手に送るメッセージは10秒間だけ表示されるよう設定することもできる (下の写真右側)。この方式はSnapchatなどで人気を呼び、ティーンエイジャーから圧倒的な支持を得ている。きわどい内容のメッセージでも記録に残らないので、安心して伝えることができるためである。

通常モードのメッセージの安全性

つまり、Alloの通常モードのメッセージは暗号化されているわけではない。ハッシュ処理 (HTTPSのプロトコール) で最低限のセキュリティは確保されるが、Alloはハッカーによる盗聴に対して弱点がある。ただ、Alloだけでなく、Facebook Messengerも同様に、暗号化オプション (Secret Conversation) を指定しない限りメッセージは暗号化されない。前述の通り、Alloは利用者のメッセージを背後で聞いており、メッセージが暗号化されるとこの機能が使えない。

データ保存とAI開発

Googleは当初、Alloで交わされるメッセージを一時的に利用するが、長期的にサーバに保管することはないと述べていた。しかし、Googleはこの指針を変え、Alloで交わされたメッセージを長期間保管する。目的はアルゴリズムの開発で、保管されたデータを使ってAIを教育する。AIがインテリジェントになるためにはデータがカギを握る。メッセージングデータがAI開発の宝の山で、Googleは長期間保管に踏み切った。

プライバシー保護とクールな機能

これに対して市場からは懸念の声も聞かれる。米国国防総省諜報機関の元職員Edward SnowdenはAlloを使わないように呼び掛けている。Googleが保管するメッセージングデータが犯罪捜査などで利用されることを懸念しているためだ。個人のプライバシー保護に配慮するのは当然であるが、厳しすぎるとAIが提供する便利な機能の恩恵を受けられない。プライバシー保護とクールな機能のバランスが難しい。

インターフェイスに温かみを感じる

Alloは「Preview Edition」と表示されているように、使ってみると開発途上のベータ版との印象を受ける。まだまだ生活するうえでの必須ツールとは言い難い。一方、Alloは人間とマシンの関係で大きな将来性を感じる。Assistantと対話できることでインターフェイスに温かみを感じる。音声検索で機械的に結果を表示されるのとは異なり、言葉を交わしながら目的を達成できるのはフューチャリスティックでもある。対話型AIが巨大ビジネスに成長する兆しを感じる。

Appleの人工知能戦略、SiriはiOS 10でボイスクラウドに進化

Thursday, September 15th, 2016

Appleは2016年9月13日、iPhone向け基本ソフトiOS 10をリリースした。早速使ってみたが、Siriが大きく成長する兆しを感じた。Siriの機能が一般に公開され、企業は音声で操作するアプリを作ることができる。SiriはもはやOS機能ではなく、ボイスクラウドとして位置づけられる。AIで足踏みをしているAppleが巻き返しに転じた。

メッセージングが劇的に機能アップ

iOS 10を使って驚いたのはメッセージング「Messages」の機能が飛躍的に向上したこと。絵文字やマルチメディアが使えるだけではなく、画面いっぱいのアニメーションが目を引く。お祝いメッセージの背後で紙吹雪が舞い散る (上の写真左側)。沢山の風船が舞い上がり、夜空に大輪の花火が上がるシーンもある。文字も大文字でジャンプしながら表示され、インパクトのあるメッセージを送ることができる。Apple Watchで登場した心臓が鼓動するアニメーションやキスマーク (上の写真右側) が使え、メッセージが格段にカラフルになった。Messengerはお洒落でハイセンスでAppleらしい製品に仕上がっている。ヒットすること間違いない。

メッセージングに若者が集う

ここにはFacebook MessengerやSnapchatに対抗するAppleの姿勢がうかがえる。ソーシャルメディアは伸び悩み、若者はメッセージングに集っている。ここが人気スポットで、生活の基盤であり、買い物をする場所でもある。ビジネスとして大きな可能性を秘め、Appleが全力でキャッチアップしている姿勢が見て取れる。

オープンなプラットフォーム

iOS 10の最も重要なポイントはプラットフォームが広範囲にわたり公開されたこと。音声アシスタントSiriはApple製アプリだけで使われてきたが、iOS 10ではサードパーティが開発したアプリから利用できる。企業はSiriの機能を組み込んだアプリを開発できるようになり、ユーザインターフェイスが格段に向上した。音声操作のアプリが勢いを増す中で、Siriを組み込んだボイスアプリのエコシステムが広がっている。

写真を言葉で検索する

Apple製アプリについてもSiriがカバーする範囲が広がった。特に便利なのは写真アプリ「Photos」を言葉で操作できる機能。「Show my photos from airports」と言えば空港で撮影した写真を表示する (下の写真左側)。旅行で撮影した写真を探すときは「Find my pictures from my trip to San Francisco」と言うと、サンフランシスコで撮影した写真を表示する (下の写真右側)。Deep Learningでイメージ検索技術が格段に向上し、質問に対しズバリ結果を表示する。使ってみてとても便利と感じる。

電車の乗り換えを教えてくれる

Siriは電車の路線案内ができるようになった。現在地からサンフランシスコ空港に行くには「Give me public transit directions to San Francisco Airport」と言えば、バスと電車を乗り継いで空港に行く経路を示す (下の写真左側)。また、クルマの中で目的地までの道順を尋ねるときは「Give me directions to San Jose Airport」と指示する。ナビゲーションが始まるので、それに沿って運転する。

Appleのスマートホーム

iOS 10からスマートホームアプリ「Home」が登場した (下の写真)。このアプリがハブとなり開発キット「HomeKit」で定義された家電を操作する。Siriに「Turn on the living light」と言えばリビングルームの電灯が灯る。Homeでは家の中の雰囲気を設定する「Scene」という機能がある (下の写真左側、中央部)。Siriに「Set my movie scene」といえば、テレビで映画を見るために最適な暗さになる。電灯の輝度が落ちうす暗くなる。

また、Automationという機能を使うと、家の中の家電を自動制御できる (下の写真右側)。家の中が暗くなったら自動で電灯が点灯する。「At Sunset」という機能を使うと日没時に電灯がオンとなる。また、「When I Arrive Home」という機能を使うと、自宅に到着すると部屋の電灯が灯る。シンプルな機能だが電灯が自動でオンオフするのは便利と感じる。

Siriでクルマを呼ぶ

iOS 10の最大の特徴はパートナー企業がSiriの機能を組み込んだアプリを開発できること。企業はSiri開発キットである「SiriKit」でアプリを開発する。SiriKitで開発されたアプリはSiriの機能を実装し、利用者が音声でアプリを操作できる。

ライドシェア「Lyft」はSiriKitでアプリを開発した。Siriに「Get me a ride to San Francisco Airport」というとLyftのクルマを呼ぶことができる (下の写真左側)。Siriの画面にLyftアプリのウインドウが表示され、近所にいるLyftのクルマがマップ上に表示される。Siriはクルマは7分で来ますが呼びますかと尋ねる。これにYesと答えるとクルマが配車される。ライドシェアではLyftの他にUberも使える。

Siriでお金を送る

Siriから送金することができる。「Send money with Venmo」と指示すると、無料の送金アプリ「Venmo」の送金プロセスが起動する (下の写真左側)。Siriは誰に送るのか、また、金額と添えるメッセージを聞いてくるので、これらに応えると確認画面が表示される (下の写真右側)。ここで「Yes」と答えると送金が完了する。Venmoの他に「Square Cash」で送金することもできる。

Siriからメッセージを送り電話をかける

Siriからメッセージアプリ「WhatsApp」を起動しメッセージを送信できる。「Send a WhatsApp message to Alice..」と指示する (下の写真左側)。また、ソーシャルネットワーク「LinkedIn」で友人にメッセージを送信できる。「Send a LinkedIn message to John..」と指示する (下の写真右側)。この他にSiriから「Skype」や「Vonage」を使って電話をかけることができる。

Apple WatchからSiriを利用すると便利

SiriはApple Watchからも利用できる (下の写真左側)。家の中や外出先では、iPhoneを取り出す代わりにApple WatchでSiriを使うのが便利。Apple Watchに「Hey Siri, Set my movie scene」と語り掛けタスクを実行する (下の写真右側)。iPhoneでも「Hey Siri、」と呼び掛けてSiriを起動できるが、その際はiPhoneを電源に接続しておく必要がある。

SiriKitで音声アプリを開発

前述の通り、SiriKitは開発者向けのツールで、これを利用してSiriの音声機能を組み込んだアプリを開発する。SiriKitは業務領域「Domain」ごとに提供される。DomainはVoIP calling、Messaging、Payments、Photo、Workouts、Ride bookingなどから構成される。SiriKitがユーザとのやり取り全てを担う。音声認識や自然言語解析などのAI機能はSiriKitが提供する。ただし、開発者は業務に固有の言葉を登録し、Siriのボキャブラリーを増やす必要がある。

Siriは輝きを取り戻すか

新しくなったSiriを使うと利用できるシーンが増えてとても便利になったと感じる。同時に、Siriの音声認識精度についてフラストレーションを感じることも少なくない。GoogleやAmazonと比べるとその差が歴然としてきた。iOS 10からはSiriの機能が公開され、ボイスクラウドに進化した。この基盤上でクールなアプリが登場しようとしている。AIに対して及び腰であったAppleであるが、Open Siriで機能アップが期待される。最初にSiriを使った時の驚きは鮮明で、SiriKitはこの輝きを取り戻す切っ掛けになるのかもしれない。