Androidの「Now on Tap」は便利!ユーザーインターフェイスとしての人工知能がその秘密

Googleは2015年10月、最新基本ソフトAndroid 6.0 “Marshmallow”のリリースを開始した。Marshmallowは大幅に機能アップし、その中でもインテリジェントな検索機能「Now on Tap」は素晴らしい。ホームボタンを長押しすると、知りたい情報がカード形式で表示される。この背後で人工知能が稼働し、利用者の疑問を先読みし、その回答を表示する。

g437_ai_google_now_on_tap_01

インテリジェントな情報検索

「Now on Tap」はアプリ内のインテリジェント機能として位置づけられ、ホームボタンを長押しすると、表示されている頁を検索する。検索結果はGoogle Nowカードとして表示される。例えば、Facebookに投稿された記事を読んでいる時に、知らない言葉に出会ったら、Now on Tapを使う。上の写真がその事例で、FacebookでHillary Clintonが投稿した記事を読んでいるところ (左側)。この記事は「Rosa Parks」について述べているが、誰だかわからない。その際には、ホームボタンを長押しすると、三枚のカードが表示される (中央)。一番下の「Rosa Parks」カードにこの人物に関する情報が表示される。更に、カード下部のアイコンにタッチすると、そのサイトにジャンプする。Google アイコンにタッチすると、Google Appが開き、ここにRosa Parksの詳細情報がKnowledge Graph形式で示される(右側)。これを読むと、Parksは黒人女性の活動家で、黒人の人権を主張して戦ったことが分かる。今までは、Facebookを離れ、検索アプリを開いて情報を検索したが、Now on Tapではそのまま必要な情報にジャンプできる。

g437_ai_google_now_on_tap_02

アーティストの評価を読む

音楽ストリーミング「Spotify」で音楽を聞くときも、Now on Tapはとても便利。アーティストの評判や最近の話題に瞬時にアクセスできる。上の写真はSpotifyの新曲ページ「New Releases」を閲覧している様子 (左側)。この中で「The Vamps」というグループが気になるが、どんなバンドなのか知らない。ここでホームボタンを長押しすると、掲載されているアーティストのカードが登場する (中央)。この中で二段目が「The Vamps」カードで、英国大手新聞社Guardianのアイコンにタッチする。そうすると、ニュースアプリが立ち上がり、Vampsに関するレビュー記事を読むことができる (右側)。これによると、Vampsは英国の音楽グループで、その存在感を確立するために苦闘しているとある。音楽を聞きながらアーティストについての理解が深まる。

メールを読みアクションを取る

Now on Tapは受信メールで威力を発揮する。受信メールを読んでいる時に、Now on Tapを使うと、知らない情報を教えてくれ、次のアクションを素早く取れる。下の写真はその事例で、受信メールを読んでいる時に、Now on Tapを起動した様子。

g437_ai_google_now_on_tap_03

メールは、「SpectreをCinema 16に見にいこう」という内容 (左端)。Now on Tapは内容を理解し、「Century Cinema 16」、「Spectre」、「Create calendar event」の三枚のカードを表示した (左から二番目)。Now on Tapは、Spectreとは映画であると認識し、カードに関連リンクを表示した。ここでYouTubeアイコンにタッチすると、映画の予告編を見ることができる (左から三番目) 。また、Now on Tapは、Cinema 16は映画館であると理解し、映画館の情報を表示。ここで映画館の場所や上映時間をチェックできる。更に、Now on Tapは予定表カード「Create calendar event」を表示した。このカードにタッチすると、カレンダーアプリが起動し、映画の予定を登録できる (右端)。Now on Tapは情報検索に加え、次に必要な操作を先回りして示し、アプリを離れないでタスクを完遂できる。

g437_ai_google_now_on_tap_04

音声で入力するオプション

しかし、Now on Tapは、こちらが探している情報のカードを表示しない時もある。上の写真はその事例で、レストラン予約アプリ「OpenTable」でメニューを確認している様子 (左側)。メニューの「Spanakotiropita」について知りたいのが、Now on Tapはこのカードを提示しない(中央)。このような場合は、Now on Tapの画面で、知りたい単語を音声で入力する。具体的には、「Ok, Google, Spanakotiropita」と語ると、Googleの検索結果が表示される(右側)。これはギリシャ料理で、ほうれん草を挟んだパイであることが分かる。

g437_ai_google_now_on_tap_05

Now on Tapの仕組み

Marshmallowは「Assistant」という機能を導入し、アプリを使う新しい方式を始めた。具体的には、ホームボタンを長押しするか、キーフレーズを音声で入力すると、ウインドウが開く。このウインドウで、閲覧しているページに関連するアクションを実行する。この方式の一つが、デバイスにインストールしているアプリとの連携である。

利用者が「Source App」でホームボタンを長押しすると、「Assistant App」が起動し、カード上で利用者がアアクションを取る構造となる。これに従って、「Destination App」が起動して一連の処理が完結する。上の写真がこの一連の流れを示している。ここでは、Source Appは写真アプリ「Instagram」で、川の流れの写真が掲載されている (左側)。Assistant AppはGoogle Nowとなる (中央)。現在は、Assistant Appに登録されているのはGoogle Nowだけである。カードに表示されたGoogleアイコンにタッチすると、Knowledge Graphが表示される (右側)。この場合Destination Appは「Google App」で、検索エンジンが起動する。

Assistant Appはシステムが提供する「Assist API」を使って開発する。このAPIで、Source Appのテキスト及びイメージをコピーし、Destination Appに送信するなどの処理を定義する。また、Source Appは特別な変更は必要ないが、Destination Appは事前に登録しておく必要がある。

AIがUIとなる

Now on TapはGoogle Nowの拡張機能として捉えることができる。そもそもGoogle Nowとは、利用者に関する情報を解析し、求めている情報を先回りして提示する機能を指す。具体的には、利用者のコンテクストを理解し、利用者に回答を提示し、利用者に次のアクションを促す。

Now on Tapはこの一連のアクションを瞬時に提供することを目的に開発された。いま使っているアプリから離れることなく、必要な情報を表示し、次のアクションを取ることができる。構造としては、スマホアプリの上位レイヤーで機能し、Now on Tapが新しいユーザーインターフェイスを構成する。Now on Tapの背後では、自然言語解析など、人工知能が幅広く使われている。ヒトとマシンの関係は、クールなデザインに加え、これからは人工知能がユーザーインターフェイスの重要な部分を担う。

Leave a Reply

You must be logged in to post a comment.