Archive for the ‘apple’ Category

Apple Watchが医療機器に進化、スマートウォッチで心臓疾患を検知

Friday, September 14th, 2018

Appleは2018年9月12日、特別イベント「Apple Special Event」で、iPhone XとApple Watchの新製品を発表した。第四世代となる「Apple Watch Series 4」は、ハードウェア機構が一新され、健康管理に重点を置くウエアラブルとなった。Apple Watch Series 4はECG (Electrocardiography、心電図) を計測するセンサーを搭載し、心臓の健康状態をモニターする。

出典: Apple

ECGとは

ECGとは心臓の鼓動を電気シグナルとして測定するもので、病院で心臓疾患を検査するために使われる。この機能がApple Watch Series 4に搭載され、家庭で心臓疾患を検知できるようになった。使い方はシンプルで、指をクラウン(Digital Crown)にあてると(下の写真)、アプリ「ECG」が起動し(上の写真、左側)、30秒で心電図を測定する(上の写真、右側)。測定結果は問題が無ければ「Sinus Rhythm」と表示される。もし、心房細動(不整脈の一種)が検知されると「Atrial Fibrillation」と示される。

出典: Apple

Apple Healthに記録される

測定結果はAppleの健康管理アプリ「Health」に格納される(下の写真)。検査結果の判定(Classifications)だけでなく、心電図の波形(Waveform)も記録される。更に、利用者はその時の症状を入力することができる。万が一、異常が検知されると、医師に相談することになるが、その際に、Healthに格納しているECG検査結果を示し、治療判断に役立てる。

出典: Apple

ECG計測のメカニズム

Apple Watch Series 4はECGを測定するために新しいハードウェア機構を搭載した。二つのモジュールから成り、ウォッチ背後に円形電極が付加され(下の写真、外側の円)、更に、クラウンがもう一つの電極として機能する(下の写真、左側の突起)。円形電極が皮膚に触れ、指をクラウンにあてることで、心臓を含む電気回路が作られる。この回路で心臓の鼓動の電気シグナルを計測する仕組みとなる。既にFDA(アメリカ食品医薬品局)の認可を受けており、Apple Watch Series 4を医療機器として使うことができる。

出典: Apple

心拍数の計測と心臓疾患検知

Apple Watchは発売当初から心拍数を測定する機能を提供しているが(下の写真、左側)、Series 4ではセンサーが一新され(上の写真、中央部緑色の部分)、新たな機能が加わった。Apple Watch Series 4は心拍数が異常に高い時、また低い時に、警告メッセージを表示する(下の写真、右側)。更に、上記ECGに加え、心拍数から心房細動を検知するアルゴリズムが搭載され、バックグランドで心臓の健康状態をモニターする。(詳細な説明はないが、心拍シグナルをニューラルネットワークで解析し、心房細動を検知すると思われる。ECGに比べ判定精度は低いが、Apple Watch Series 4を着装している時は、連続して心臓の状態をモニターできる。) センサーは緑色のLEDライトを皮膚に照射し、血管の伸縮や容積の変化を測定する。このデータを解析することで心拍数を把握する。エクササイズ時には心拍数から消費カロリー量を算定する。

出典: Apple

転倒検知機能

Apple Watch Series 4に利用者が転倒したことを検知する機能が付加された。転倒を検知するとディスプレイに緊急SOS(Emergency SOS)画面が表示され(下の写真、左側)、ボタンをスワイプすると電話が発信される(下の写真、右側)。転倒を検知して60秒間アクションが無い時は、利用者が危機的な状態にあると判断し、アプリが自動で電話を発信する。SOS電話の相手として、両親や配偶者などを事前に登録しておく。スノーボードで激しく転倒したときに、救助を求めるために使われる。また、一人暮らしの高齢者が転倒した時に、助けを求める機能としても使えそうだ。

出典: Apple

AliveCor

Apple Watch Series 4がECGを搭載したが、市場には既に多くの製品が販売されている。AliveCorというベンチャー企業は「Kardia Band」というECGモジュールを開発した。これをApple Watchに着装すると(下の写真、バンドの四角のデバイス)ECGを測定できる。このデバイスに指をあててECGを測定し、結果はApple Watchのディスプレイに表示される。Kardia BandがApple WatchでECGを測定できる最初のデバイスとなり、既にFDAの認可を取得し、医療機器として使われている。

出典: AliveCor

Cardiogram

Cardiogramというベンチャー企業は、Apple Watchで心臓疾患を検知するAIを開発した。カリフォルニア大学サンフランシスコ校との共同研究の成果で、Apple Watchで収集した心拍データをAIで解析し、不整脈の一種である心房細動を検知する。Apple Watch Series 4もこれと同じ方式で、心拍シグナルをAIで解析し、心房細動を検知するものと思われる。

健康管理プラットフォーム

Apple Watch Series 4に先立ち、ベンチャー企業で心臓疾患を検知する高度な技術が開発された。Appleはこれら先進技法を取り込み、消費者に使いやすいデザインで提供していることに特徴がある。更に、管理アプリHealthで健康管理をプラットフォームとして設計しており、病院など他のシステムとの連携が期待される。

Apple Watchは医療機器に

Apple Watchは、コミュニケーション(通信機能)、エクササイズ(運動量把握)、ヘルスケア(健康管理)の三つの基軸機能を持っている。Apple Watch Series 4でECG機能が搭載され、ヘルスケア機能が大幅にに向上した。Apple Watchはバイオセンサーとして、身体情報をモニターする医療機器としての役割が鮮明になった。Apple Watchは血圧や血糖値を測定する機構を搭載するとのうわさが絶えず、次は何が登場するのか、スマートウォッチが大きく進化している。

Apple WatchとAIを組み合わせ病気を判定、心拍数をニューラルネットで解析し心臓疾患と糖尿病を検知

Friday, February 23rd, 2018

Apple Watchは健康管理のウエアラブルとして人気が高い。Apple Watchは心拍数や歩行数を計測でき、日々の運動量を知ることができる (下の写真、一日の心拍数の推移)。いま、これらのデータをAIで解析し、病気を検知する研究が進んでいる。心臓疾患や糖尿病を高精度で検知でき、Apple Watchの役割が見直されている。消費者グレードのウエアラブルでも、AIと組み合わせれば医療機器になることが分かってきた。

出典: Apple

心拍数から病気を判定

この研究はCardiogramとカリフォルニア大学サンフランシスコ校 (UCSF) が共同で実施している。Cardiogramはサンフランシスコに拠点を置くベンチャー企業で、Apple Watchで測定した身体データを解析し、健康管理のためのアプリを提供している。UCSFはスマホなどを使い心臓疾患を予知し、病気発症を予防する研究「Health eHeart Study」を展開している。両者が共同し、Apple Watchで計測したデータをAIで解析することで、不整脈を検知できることを証明した。更に、同じ手法で、糖尿病、高血圧症、不眠症を検知できることを公表した。

DeepHeartアルゴリズム

Apple Watchは搭載しているセンサーで心拍数や歩行数などを測定する。Cardiogramはこれを解析するニューラルネットワーク「DeepHeart」を開発した。Apple Watchで収集した身体データを入力すると、DeepHeartは不整脈の一種である心房細動 (Atrial Fibrillation) を検知する。臨床試験の結果、97%の精度で心房細動を検知できたとしている。

糖尿病などの検知

これに続き、DeepHeartを使って糖尿病や高血圧症などを検知する研究が進められた。研究結果は論文「DeepHeart: Semi-Supervised Sequence Learning for Cardiovascular Risk Prediction」として公表された。これによると、Apple Watchで収集するデータをDeepHeartで解析することで、糖尿病、高血圧症、不眠症を検知することに成功。この研究では、14,011 人の被験者の2億件のデータが使われた。更に、UCSFの協力を得て、大学病院でこれら被験者を検査し医療データを収集した。

アルゴリズムの精度

Apple Watchで計測したデータと医療データを使いDeepHeartアルゴリズム (下の写真) を教育した。この結果、DeepHeartは85%の精度で糖尿病を判定する。また、不眠症は83%の精度で、高血圧症は81%の精度で判定できる。従来から、心拍数とこれらの病気の関係について、機械学習を使った研究が進んでいるが、DeepHeartはこれらに比べ精度が大幅に改善された。

出典: Johnson Hsieh et al.

DeepHeartのネットワーク構造

DeepHeartはConvolution層 (上の写真、下から二段目、シグナルを解析) とLSTM層 (上の写真、下から三段目、時間に依存するデータを解析) を組み合わせた構造をとる。このネットワークにApple Watchで収集したデータを時間ごとに入力する (上の写真、最下段)と、病気の有無を判定する (上の写真、最上段)。具体的には、時間ごとの歩行数と心拍数を入力すると、アルゴリズムはそれぞれのタイムステップで心房細動、糖尿病、高血圧症、不眠症の症状があるかどうかを判定する。

AIのスイートスポット

医療分野はAIとの相性が良く、患者のデータをニューラルネットワークで解析することで、様々な知見を得ることができる。このため、医療分野でAIの導入が急進し、ここがAIのスイートスポットとなっている。

医療データが少ない

しかし、医療分野独特の問題点も抱えている。それは、医療分野ではアルゴリズム教育に使うデータが極めて少ないことだ。DeepHeartの研究では、1万人余りの被験者が大学病院で問診に回答する形でデータを提供した。つまり、DeepHeartは1万件という少ないデータで病気を検知することが求められた。これに対し、画像認識アルゴリズム (Google Inceptionなど) を開発する際は100万件を超える教育データがそろっている。医療分野では数少ないデータでアルゴリズムを教育する技法が求められる。

Semi-supervised Sequence Learning

このためDeepHeartの開発で「Semi-supervised Sequence Learning」という技法が用いられた。これはネットワークを「Sequence Autoencoder」としてプレ教育する技法である。 Sequence Autoencoder (下のダイアグラム) とは、Recurrent Network (時間に依存する処理、下のダイアグラムの箱の部分) で構成されるネットワークで、入力シークエンス (左半分) を読み込み、その結果をベクトル量としてパラメータに格納する。次に、学習したパラメータから、ネットワークは入力シークエンスを再現 (右半分) する。具体的には、言葉の並び (W, X, Y, Z, eos) をSequence Autoencoderに入力すると、ネットワークはその順序を学習し、それに従って言葉の並びを出力する。

出典: Andrew M. Dai et al.

DeepHeartをプレ教育する

研究では、DeepHeartをSequence Autoencoderとしてプレ教育し、獲得したパラメータをネットワークの初期値として使った。こうすることでの教育プロセスが効率化され、少ない医療データでDeepHeartを教育できる。医療データが1万件と少なくても、DeepHeartの判定精度を高めることができた。

医学的な根拠

そもそも心拍数が糖尿病や高血圧症や不眠症とどう関係するのか、医学の観点からの研究も進められてきた。心臓は神経細胞を通し、多くの臓器とつながっている。このため、HRV (Heart Rate Variability) と病気の間に関係があると指摘されている。HRVとは心拍リズムの乱れを示す指標である。人は落ち着いている時は心拍リズムは一定でなくHRVは高い。しかし、ストレスがかかると心拍数が上がり、心臓が規則正しく鼓動しHRVが低くなることが分かっている。

心拍リズムと糖尿病

このためHRVと病気の関係についての研究が進められてきた。HRVと糖尿病の関係は「Diabetes, glucose, insulin, and heart rate variability: the Atherosclerosis Risk in Communities (ARIC) study」として発表されている。この論文はHRVの低下と初期の糖尿病の間に関係があると結論づけている。Cardiogramはこの研究成果に基づきDeepHeartを開発した。

ロードマップ

DeepHeartはApple Watchで計測するデータを使い、不整脈、糖尿病、高血圧、不眠症を検知できることを証明した。Cardiogramは次のステップとして、これら疾病を検知した利用者に対し、治療法を提示することを計画している。アプリは病気の症状があることを検知すると、これら患者に対し、医療機関で証明された対処方法を提示す。アプリが病院の医師に代わり診断し、対処療法を示す構想を描いている。

出典: VentureClef

Apple WatchとAIの組み合わせ

Apple Watchは人気のウエアラブルであるが、売り上げ台数は当初の見込みを下回っている。理由はセンサーの精度が高くないことで、Apple Watchの健康管理機能は限定的との評価が広がっている。(上の写真、Apple Watchで測定した筆者の心拍数、一目でエラーと分かる箇所が多い。) しかし、Apple WatchにAIを組み合わせることで、病気を高精度で検知できることが示された。Apple Watchで糖尿病と診断されるのは怖いが、早期に病気の兆候を見つけ、病気を克服するという使い方もでてくる。AIを組み合わせることでApple Watchの役割が大きく変わり、医療デバイスとして再出発する気配を感じる。

Apple Face IDの発表で顔認証技術がブレークする兆し、同時にAIを悪用した攻撃への対応が求められる

Wednesday, September 20th, 2017

AppleはiPhone Xで顔認証技術「Face ID」を発表した。カメラに顔を向けるだけで認証でき、安全性と手軽さが評価され顔認証サービスが普及する勢いとなってきた。スマートフォンや金融サービスで顔認証の導入が一気に進む可能性がある。同時に、顔認証技術はAIを悪用した高度な攻撃に対する備えが求められている。

出典: Apple

顔認証技術は早くから登場していたが

顔認証技術は1960年代に登場した技術であるが、その精度に問題があり特殊な分野に限定して使われ、一般に普及することは無かった。近年では、AIの進化により顔認証技術の精度が向上し、ベンチャー企業が製品化を進めオンラインバンキングなどで試験的な導入が始まった。同時に、スマートフォンでの展開も始まり、SamsungはハイエンドモデルGalaxy Note 8で顔認証技術を導入した。

Samsung Galaxy Note8の顔認証技術

Galaxy Note 8は2017年9月に出荷されたが、発売直後に顔認証機能が破られる事件が発生した。写真をGalaxy Note 8にかざすとロック画面が解除されることが判明した。利用者は別のスマホで自身の顔を撮影し、それをGalaxy Note 8の顔認証画面に向けるとロック画面が解除さる。Samsungは見解を発表していないが、製品説明を読むと「顔認証は指紋認証やPINなどに比べ安全性が低い」と記載されている。Galaxy Note 8の顔認証機能はセキュリティではなく利便性を重視したデザインとなっている。

Apple Face IDのメカニズム

これに対してApple Face IDはセキュリティ機能を格段に強化し安全に使えるデザインとなっている。Face IDは3Dで顔を識別するため写真や動画で認証されることは無い。iPhone Xは「TrueDepth Camera」と呼ばれる特殊なカメラを搭載しセンサーが顔を3Dで認識する。ここに内蔵されているプロジェクター (Dot Projector、下の写真右端のデバイス) から3万個のドットが顔に照射され、これを赤外線カメラ (Infrared Camera、下の写真左端のデバイス) で読み込み顔の3Dマップ (先頭の写真) を作成する。この情報がプロセッサのストレージ (Secure Enclave) に暗号化して格納される。

出典: Apple

顔認証精度が高い理由

Face IDを使うときは光源 (Flood Illuminator、上の写真左から二番目のデバイス) から赤外線が照射され、反射波を赤外線カメラで読み込み、登録した顔のマップと比較して認証を実行する。光源が赤外線であるため外部の光の条件に関わらず、暗がりの中でも正確に認証できる。また、髪を伸ばしたり眼鏡をかけると登録した顔のイメージと異なり本人確認が難しくなる。このためAppleは機械学習 (Machine Learning) の手法を使ってアルゴリズムを教育し両者を正確に比較判定できる技術を開発した。同時に、顔認証への攻撃では映画で登場するフェイスマスクが使われる。本人の顔を3Dでコピーしこれをフェイスマスクで再構築する。Appleは実際にハリウッドでフェイスマスクを作りFace IDの認証精度をベンチマークしたと述べている。この背後にも機械学習の手法が使われており人間の顔とフェイスマスクを見分けることができる。

顔写真から顔の仮想現実を生成

顔認証に関して気になる研究成果が報告されている。昨年、University of North Carolinaの研究者はFacebookやInstagramに掲載されている写真から顔を3Dで構築する手法を公開した (下の写真)。対象者の顔写真を複数枚集め、これらの写真から顔の構造を3Dで再構築する。3D構造に肌の色や質感を加え、更に、様々な表情を追加しVRとしてディスプレイに表示する。

出典: Yi Xu et al.

生成した顔のVRが顔認証を破る

研究論文は生成した顔のVRを顔認証システムに入力し認証に成功したと報告している。市販されている五つの顔認証アプリで試験が実施された。顔認証アプリ名と認証成功率は次の通り;KeyLemon (85%), Mobius (80%), True Key (70%), BioID (55%), 1U App (0%)。これらの顔認証アプリはスマホのセキュリティで使われており、1U Appを除いて四つのアプリで認証技術が破られた。この論文は顔認証のメカニズムを改善する必要があると訴えている。

顔の3Dイメージを3Dプリンターで生成

顔のVRはFace IDで試験されていないが、TrueDepth Cameraは顔を3Dで検知きるため、iPhone Xに不正にアクセスすることはできないと思われる。一方、顔のVRを3Dプリンターに出力すると状況は変わるかもしれない。顔の3Dイメージを3Dプリンターで生成して顔認証システムを試験する研究が進んでいる。Security Research Labsはドイツ・ベルリンに拠点を置く企業でセキュリティ研究所として位置づけられる。同社は被験者の顔型を取りMicrosoftの顔認証システム「Hello」で認証を受けることに成功した。iPhone Xが発売になるとSecurity Research Labs などがFace IDの安全性を検証する作業を始めることになる。

1枚の写真から顔を3Dで構成

英国の大学University of Nottingham とKingston Universityの研究者は1枚の顔写真からAIを使って顔を3Dで構成する技術を発表した。Computer Visionにとって顔を3Dで把握するのは非常に難しい技術となる。上述の通り、数多くの写真を入力しこれらから3Dイメージを再構築するのが一般的な手法となっている。これに対し、CNN (イメージを判定するネットワーク) を顔写真と本人の3Dイメージで教育することで、アルゴリズムは1枚の顔写真からその3Dイメージを再構築できるようになった。(下の写真、Alan Turingの写真 (左側) を入力するとアルゴリズムは3Dイメージ (右側) を生成する。) 研究成果を使って顔認証システムの試験が実施されたわけではないが、今後はAIを悪用した認証システムへの攻撃が急増することを示している。iPhone Xが発売になるとFace IDのハッキングレースが始まりAppleは様々な挑戦を受けることになる。

出典: Aaron S. Jackson et al.

バイオメトリック認証のトレンド

バイオメトリック認証の中で顔認証が注目されているのは訳がある。声による認証はコールセンターなどで使われているが複製されやすいとして普及は限定的である。一方、Amazon Echoなどは認証ではなく利用者を特定するために声を使っている。バイオメトリック認証の中で指紋認証が一番幅広く利用されているが小さなセンサーで指紋を正確に読む技術が難しい。更に、指紋は複製しやすく安全性に関する懸念もある。

Appleは虹彩認証に進むのか

虹彩認識 (Iris Recognition) は精度が高く注目されている方式であるがが赤外線センサーなど専用機器が必要となるため普及が進んでいない。但し、Samsung Galaxy Note 7やNote 8はこの機能を既に搭載しているが認証精度や安全性についてはまだ評価結果が固まっていない。一方、iPhone Xは既に赤外線センサーを搭載しており虹彩認証に進むのではと噂されている。

顔認証がバイオメトリック認証の中心となる

色々なバイオメトリック認証方式がある中、顔認証方式は精度が高く使い勝手がいいことから、今後はこの方式が大きく広がると見られている。3年から5年後には認証技術の半分以上が顔認証になるとの予測もある。Apple iPhone Xの出荷はまだ始まっていないが、Face IDが市場に与えた影響は大きく顔認証方式の動向に注視していく必要がある。

Apple iPhone Xは顔認証を導入、写真はドラマチックに仕上がる、AIチップで画像認識を強化

Wednesday, September 13th, 2017

Appleは新本社で次世代ハイエンドモデル「iPhone X」を発表した。iPhone Xは顔認証方式「Face ID」を導入し、カメラに顔を向けるだけで認証ができる。顔認証は指紋認証より安全性が高く、Appleが導入したことで一気に普及が進む可能性を秘めている。

出典: Apple

次世代モデル三機種を発表

AppleはiPhone次世代モデル三機種を発表した。最上位機種はiPhone X (上の写真、左端) で、デバイスの前面が全てディスプレイ (Super Retina HD Display) となりホームボタンが無くなった。iPhone 7の後継モデルとしてiPhone 8 (上の写真、右端) とiPhone 8 Plus (上の写真、中央) が発表された。三機種とも新型プロセッサ「A11 Bionic」を搭載しAIとグラフィック機能を強化している。

Face IDとは

iPhone Xは顔認証機能「Face ID」を備えており、デバイスのロックを解除するには顔をカメラにかざすだけ (下の写真)。顔がパスワードになりデバイスをオープンできる。また、Apple Payで支払いをする際も顔をカメラに向けるだけで認証が完了する。指をホームボタンに押し付ける操作は不要で、安全なだけでなく使いやすくなった。

出典: Apple

顔認証のメカニズム

Face IDを使うためには事前に顔を登録する必要がある。システムの指示に従って顔をカメラに向け、ディスプレイに示された円に沿って顔を回す (下の写真)。iPhone Xは「TrueDepth Camera」と呼ばれる特殊なカメラを搭載している (先頭の写真左側、ディスプレイ最上部の黒いバーの部分)。顔を登録する時はTrueDepth Cameraのプロジェクター (Dot Projector) から3万個のドットが顔に照射され、これを赤外線カメラ (Infrared Camera) で読み込み顔の3Dマップを作成する。

出典: Apple

この情報がプロセッサのストレージ (Secure Enclave) に暗号化して格納される。Face IDを使うときは光源 (Flood Illuminator) から赤外線が照射されこれを赤外線カメラで読み込み、登録した顔のマップと比較して認証を実行する。

利用者の風貌が変わると

顔認証では利用者の状態が変わるという課題を抱えている。髪を伸ばしたり眼鏡をかけると登録した顔のイメージと異なり本人確認が難しくなる。このためAppleは機械学習 (Machine Learning) の手法を使って両者のイメージを比較する方式を採用した。アルゴリズムは登録した顔が髪を伸ばし眼鏡をかけるとどう変化するかを機械学習の手法で学習する。様々な条件を事前に学習しておき利用者の外観が変わっても高精度に判定できる。また、顔を3Dで比較するので写真を使って不正に認証を受けることはできない。

カメラの特殊効果

TrueDepth Cameraは自撮り (Selfie) する際に特殊効果を出すために使われる。これは「Portrait Lighting」という機能でスタジオで撮影する時のように、あたかも光を調整したかのように特殊効果を出す。Natural Lightというオプションを選択すると自然光のもとで撮影したように写る (下の写真、左側)。Studio Lightを選択するとスタジオの明るい環境で撮影した効果が出る。Contour Lightは顔の凹凸を際立たせ (下の写真、中央) ドラマチックな仕上がりとなる。Stage Lightは背景を黒色にして顔を浮き上がらせる (下の写真、右側)。

出典: Apple

カメラの性能はAIで決まる

TrueDepth Cameraはステレオカメラでオブジェクトを3Dで把握する。カメラが人物と背景を区別し、更に、AIが人物の顔を把握しここに光を当てて特殊効果を生み出す。メインカメラにもPortrait Lighting機能が搭載されており上述の機能を使うことができる。カメラは光学センサーが差別化の要因になっていたが、今ではキャプチャしたイメージをAIで如何に綺麗に処理できるかが問われている。iPhoneカメラはSoftware-Defined Cameraと呼ばれソフトウェアが機能を決定する。

絵文字を動画にしてメッセージを送る

TrueDepth Cameraを使うと絵文字の動画「Animoji」を生成して送信できる。カメラは顔の50のポイントの動きを把握し、これを絵文字キャラクターにマッピングする。笑顔を作るとキャラクターも笑顔になる (下の写真)。ビデオメッセージを作る要領で録画すると、キャラクターがその表情を作り出し音声と共にiMessageで相手に送信される。猫の他にブタやニワトリなど12のキャラクターが揃っている。

出典: Apple

AIプロセッサ

これら機械学習や画像処理を支えているのがAIチップA11 Bionicだ。名前が示しているようにAI処理に特化したエンジン「Neural Engine」を搭載している。Neural Engineは機械学習処理専用のエンジンで人や物や場所などを高速で把握する機能を持つ。このエンジンがFace IDやAnimojiの処理を支えている。またAR (拡張現実) における画像処理もこのエンジンにより高速化されている。

価格と出荷時期 (米国)

ハイエンドのiPhone Xの価格は999ドルからで11月3日から出荷が始まる。また、iPhone 8 Plusの価格は799ドルからでiPhone 8は699ドルからとなっている。両モデルとも9月22日から出荷が始まる。

iPhone発売から10周年

発表イベントは新設されたApple本社 (下の写真、左奥) に隣接するSteve Jobs Theater (下の写真、中央) で開催された。イベントの模様はライブでストリーミングされた。これはSteve Jobsを記念して建設されたシアターで円形のアーキテクチャになっている。一階部分は円盤状のロビーで、シアターは地階部分に設けられている。今年はiPhone発売から10周年の区切りの年になり、これを象徴してiPhone X (10) が登場した。

出典: Apple

Apple HomePodは音楽ファースト、僕らのSiriは何処に行った?

Monday, June 5th, 2017

Appleは2017年6月、世界開発者会議でスマートスピーカー「HomePod」を発表した (下の写真)。AppleはHomePodを高機能スピーカーと位置づけ音楽ビジネスを拡大する。市場はSiriを前面に押し出したAIスピーカーを投入すると予想していただけに、新製品を歓迎する空気とともに失望感も漂った。

出典: Apple

Rock the House:家を揺らす

AppleはHomePodを音声で操作できる高性能スピーカーとして製品化した。価格は349ドルと強気の設定となっている。HomePodは音楽ライブラリーApple Musicと連携し、幅広いジャンルの音楽をストリーミングする。デバイスには7基のツイーターと1基のウーファーが搭載され、音声入力のために6基のマイクを備えている。HomePodの頭脳はA8チップでiPhoneのCPUがスピーカーを制御する。これらがメッシュのケースに格納され、ハイパワーの音響が家を揺らす。

Spatial Awareness:空間構造を認識する

部屋の中に置いて使うが、HomePodは置かれた場所の音響環境 (部屋の形状や家具など) を理解する。それに合わせて最適なサウンドを最適な方向に発信する (下の写真)。音響は「Center Vocals (メインボーカル)」、「Direct Energy (伴奏音響)」、「Ambient Energy (背景音響)」から構成され、これらを音響環境に合わせて組み合わせ出力する。ライブ会場を部屋の中に構築したように、それぞれのサウンドをバランスよく楽しめる。

Musicologist:音楽の大家

Apple Musicから音楽をストリーミングするが、HomePodは利用者の嗜好を把握し、それに沿った音楽を選択する。HomePodに言葉で指示したり質問を投げかけることができる。「Play I’m Poppy」と指示すると人気歌手Poppyの今年のヒット曲「I’m Poppy」を聴くことができる。「Who’s the drummer in this?」と尋ねると、演奏されている曲のドラマーの名前を教えてくれる。HomePodの案内で音楽をインタラクティブに楽しむことができる。

Home Assistant:スマートホームのハブ

HomePodはスマートホーム基盤HomeKitと連動し、家の中の家電を音声で操作できる。帰宅して「I’m home」と言えば、家の中の灯りがともり、空調が設定した温度で稼働する。また、「Open the shades halfway」と指示すると、窓のブラインドが半分上がる。今まではiPhoneのSiriに向かって指示していたが、これからはデバイスを取り出す必要はなくHomePodに直接語り掛けることができ便利になった。

出典: Apple

Siriの機能アップは無かった

HomePodはこれ以外にSiri経由で様々なタスクを実行できる。ニュース、翻訳、株価情報、メッセージ、天気予報、備忘録などの機能が揃っている。ただ、これらは従来から提供されており、Siriの大きな機能アップは無かった。AppleはHomePodをApple Musicを楽しむスピーカーとして位置付けており、Siriは付属機能としてその陰に隠れている。大きく機能アップしたSiriがHomePodでデビューすると期待していただけに拍子抜けした感がある。

SiriはOSからクラウドに進化

他社に後れを取っているSiriであるが、昨年は大きく開発方針が変わり、Siriの機能が一般に公開された。SiriはiOSの一部であったがこれがクラウドに進化し、パートナー企業は音声で操作するアプリを作ることができるようになった。SiriはもはやOS機能ではなくボイスクラウドとして再出発した。この機能を利用して音声操作できるVenmoやUberアプリが登場し、Siriの利用が大きく広がると期待された。

しかしSiriアプリは広がっていない

しかし音声アプリの開発は進まなかった。この理由はSiriボイスクラウドで使えるコマンドに制限があるためで、アプリ開発が難しいことが判明した。このためSiriのエコシステムは広がらずアプリの数は伸び悩んでいる。企業の多くは音声アプリを開発するプラットフォームとしてSiriではなくAmazon AlexaやGoogle Homeを選んでいるという厳しい現状がある。

Siriが成長しない理由

Siriはアメリカで最大規模の人工知能研究プロジェクト「CALO Project」で生まれた技術である。当初はこの技術を商用化したSiri社がApple iPhoneの仮想アシスタントとして提供した。Steve JobsがSiriの機能に感銘して会社買収を決定したとされる。しかし、買収した翌年にJobsが他界し、SiriのApple社内での位置づけが定まらづ、これが開発の遅れに繋がったといわれている。

主要メンバーの離脱

Siri開発方針が揺れ、これに不満を持ったキーマンが会社を去っている。Siri創設者のAdam CheyerとDag KittlausはAppleに見切りをつけ、2012年AIベンチャー「Viv」を立ち上げた。Vivは仮想アシスタント機能を第三者に提供するサービスでSiriより高度な技術を持つとされる。他の6人のメンバーもAppleからVivに移転した。Vivは2016年、Samsungに買収された。

プライバシー保護とAI開発

Appleは個人のプライバシーを保護するため、開発に厳しい制限を設けている。この規制がSiri開発の障害になっている。Siriの利用者数は全世界で4億人弱で毎週20億件のトランザクションを処理する。膨大な量のデータが蓄積されており、Siriのアルゴリズムを教育するには最高の環境にある。しかし、Appleのプライバシー保護ルールは厳格で、Siriで処理したタグ付きデータは6か月間に限り保存される。一方、GoogleやAmazonは利用者の請求が無い限りデータは無期限に保存される。このルールの違いがAIの機能や精度に大きく影響している。

出典: Apple

AIスピーカーが百花繚乱

HomePodが音楽機能を重視したスピーカーとして登場したが (上の写真)、市場には数多くのAIスピーカーが出荷されている。GoogleやAmazonの他に多くのベンチャー企業から製品出荷が予定されその数は50社近くに上る。HomePodが目指している高機能スピーカーも出荷されようとしている。SonosはWiFiで接続された音響システムを発売しており、スピーカーをスマートフォンで制御する仕組みが若い世代に受けている。SonosはAmazon音声クラウド「Alexa Voice Services」を使って音声で操作するAIスピーカーを投入する。このレンジのAIスピーカーがApple HomePodと正面から競合する。スピーカーは音声で操作するのが当たり前となり、差別化が難しく競争が激化している。

AppleのAIに関する基本姿勢

競争が厳しくなる中Siriは何処に向かうのか、多くのAppleファンが気にかけている。その手掛かりはCEOのTim Cookの発言の中にある。Cookは世界開発会議の後のインタビューでAIに対する基本的な考え方について述べている。AIの機能が加速度的に向上し人類に大きな恩恵をもたらしていることを評価するとともに、その危険性に懸念を示している。AIは人間が理解できない領域で物事を判断し、AIの制御が人の手を離れることが大きな問題だと指摘する。これはAIのロジックがブラックボックスで、それを利用する人間はAIの判断基準を理解できないことを意味する。挙動を完全に理解できないAIに対してAppleは製品化に慎重なポジションを取っている。

プライバシー保護とFBI捜査

Cookは個人のプライバシー保護を最優先に事業を構築している。AppleとFBIのやり取りは記憶に新しい。FBIからテロ事件捜査のため、iPhoneの暗号化データを復号化するための技術を提供するように求められたがAppleはこの要請に応じなかった。また、AppleはFBIからiPhoneにアクセスするためのバックドアの設置を求められたが、この要請にも応じていない。個人のプライバシー保護を優先しての判断で、この思想がSiri教育のための個人データの利用制限にも及ぶ。

Siriは輝きを取り戻すのか

AppleはAIに関して慎重なポジションを取るが、同時にAIの先進技術の開発を積極的に進めている。Appleの巨大な内部留保を背景にAIベンチャーの買収を加速している。また、AI研究者の採用を活発化し、研究成果を公開する方針に切り替えた。Appleの自動運転車開発プロジェクトTitanではAIが製品の機能を決定する。AIに慎重なAppleであるがそのポジションが徐々に軟化している気配を感じる。AppleのAI研究が進む中Siriは輝きを取り戻すのか、Appleファンだけでなく世界が注目している。