Archive for the ‘amazon’ Category

Amazon Goがサンフランシスコにオープン、レジ無し店舗が全米に広がる

Friday, November 9th, 2018

Amazonは2018年10月、サンフランシスコでレジ無し店舗「Amazon Go」をオープンした(下の写真)。Amazon Goはシアトルで3店舗とシカゴで2店舗が運営されており、サンフランシスコ店は6番目の店舗となる。Amazonは2021年までに3000店舗を開設すると報道されており、全米で急速にレジ無し店舗が普及する勢いだ。

出典: VentureClef

近未来のショッピング

オープンしたばかりのAmazon Goで買い物をしたが、近未来のショッピングを体験できる。店舗内は高級コンビニという嗜好で、食料品を中心に品ぞろえされていた。Amazon Goにはレジはなく、取り上げた商品を持ってそのまま店を出ることができる。店舗を出てしばらくすると、購入した商品の代金が登録しているクレジットカードから引き落とされた。

QRコードで入店する

Amazon Goは専用アプリで利用する。店舗に入る際にアプリを起動し、表示されたQRコードをリーダーにかざすとゲートのバーが開く(下の写真)。友人や家族と来店した際にも同じ手順であるが、QRコードをかざして同伴者を先に入店させる。(天井に設置されているカメラが利用者だけでなく同伴者も把握する。)

出典: VentureClef

買いたいものを手に取る

店舗内では、商品を手に取り、買いたいものを自分のバッグに入れたり、手に持って買い物をする(下の写真)。品物を取り上げた時点で利用者の「Virtual Cart(仮想カート)」に商品が入る。気が変わり、取り上げた商品を棚に戻すと、Virtual Cartから取り出される。同伴者も同じ方式で買い物ができる。しかし、商品を取り上げて同伴者に手渡すことは禁止されている。(AIアルゴリズムの教育ができていないためか。)

出典: VentureClef

買い物が終わると

店舗にはレジはなく、買い物が終わると出口専用のゲートを通るだけで支払い処理が完了する(下の写真)。購入した商品の代金は登録しているクレジットカードから引き落とされる。ゲートの横でAmazon Goスタッフが顧客の質問に答えていたが、万引きなどの不正をチェックしている様子はなかった。(万引きすると売り上げ処理されるので不正行為はできない仕組み。)

出典: VentureClef

品揃えに特徴あり

Amazon Goはコンビニのように食料品や飲料水を中心に品ぞろえをしている。デリのコーナーもあり、サラダやサンドイッチなどが並んでいる。入口近くの棚には様々な種類のランチボックスが陳列されていた(下の写真)。ランチボックスは日本のお弁当のように、調理された食材が綺麗に配置されている。他に、フルーツやスープやデザートなどもそろっている。出口そばにはテーブルと椅子が用意されており、買ったものをその場で食べることができる。

出典: VentureClef

ロケーション

Amazon GoはサンフランシスコのFinancial Districtと言われる金融街にオープンした(下の写真、正面ビルの角)。ここに大企業のオフィスが集中しており、周辺にはレストランやデリなどが立ち並ぶ。Amazon Goは忙しい社員のために、食料品やランチボックスを販売する。短い昼休みであるが、レジ待ちの時間が無くなり、ゆっくり食事をすることができる。一方、周囲のデリやファーストフードは売り上げが減る可能性がある。

出典: VentureClef

大規模に展開

AmazonはAmazon Goを2018年末までに10店舗開設する。2019年までに50店舗を、2021年までに3000店舗を開設すると報道されている。当初、Amazonはレジ無し店舗の技術を他社にライセンスすると噂されていたが、自ら店舗を運営する戦略であることが明らかになった。この市場ではAmazon Goに刺激され競争が激しくなっている。ベンチャー企業からAIを駆使したレジ無し店舗技術が登場し、店舗での実証実験が進んでいる。

Amazonが小売店舗をつぶしたのか

Amazon.comの登場で多くの小売店舗が売り上げを減らし、また、廃業に追い込まれている。先月、全米で最大規模のデパートであったSearsが130年の歴史に幕を閉じ、会社更生法の適用を受けた。AmazonがSearsを殺したという解釈があるが、小売店舗は進化の努力をしていないとの意見もある。Amazonは小売店舗をテクノロジーで改良し、消費者に快適な買い物環境を提供する戦略を取る。その一つがAmazon Goで消費者はレジ待ちの苦痛から解放される。Amazon Goは小売店舗が成長できる方向を示しているとみることもできる。

Amazon Goの仕組み】

カメラで顧客と商品を認識

天井には数多くのボックスが設置され、ここにカメラが実装されている(下の写真)。ボックスはプロセッサーで、カメラが捉えたイメージの基礎的な解析を実行する。具体的には、人の存在の認識、顧客の特定と追跡、顧客の動作の意味の把握を実行する。顧客が移動すると、別のカメラがこれをフォローする。更に、カメラは棚の商品を認識し、取り上げられた商品の名前を特定する。

出典: VentureClef

センサーの情報

商品棚には重量計が搭載されている。重量計が棚の重さを計測し、重量が減ると商品が取り上げられたと認識する。カメラが捉えたデータと重量計のデータから、取り上げられた商品を特定する。Amazonはこの方式をSensor Fusionと呼んでいる。

Deep Learningで意味を把握

これら一連のデータはサーバーに送信され、Deep Learningが売り上げを推定する。天井のカメラは顧客の位置を追跡し、特定の商品棚の前にいることを認識し、その挙動 (手を伸ばすなど) を捉える。その棚の商品が取り上げられたことをカメラと重量計で認識する。これら一連の情報をDeep Learningで解析し、特定の顧客が特定の商品を取り上げたことを判定する。

レジ無し店舗「Amazon Go」の運用が始まる、AIが売り上げを把握する仕組みとは

Friday, February 2nd, 2018

Amazonは2018年1月、レジ無し店舗「Amazon Go」の運用を開始した (下の写真)。一般顧客がAmazon Goで買い物をできるようになった。店舗内で顧客が取り上げた商品はAIが自動で認識し、専用アプリに課金される。店舗にはレジはなく、顧客は取り上げた商品を持ってそのまま店を出ることができる。謎が多いAmazon Goであるが、ニュース記事やツイッター記事を読むとその概要が見えてきた。

出典: Amazon

AIが購入を判断

Amazon Goは専用アプリで利用する。店舗に入る際にアプリを起動し、表示されたQRコードをリーダーにかざすと、ゲートのバーが開く。店舗内では、商品を手に取り、買いたいものを自分のバッグに入れる。商品点数が少なければ手で持つこともできる。AIは顧客が商品を取り上げた時点で購買したと判定する。

AIは返品も認識

しかし、気が変わり顧客が商品を棚に戻すと、AIは返品されたと認識する。この時点で、購買したアイテムからこの商品が取り除かれる。店舗にはレジはなく、買い物が終わると顧客はそのまま店を出る。AIは顧客が購買したアイテムを把握しており、専用アプリに課金される。レシートはアプリに示され、顧客は購入した商品を確認できる。

システム概要

どういう手法でこれを判定するのか気になるが、Amazonはその技法については公開していない。Computer Vision (画像解析)とDeep Learning Algorithm (深層学習アルゴリズム) とSensor Fusion (異なる種類のセンサーを統合) を利用していると述べるに留まっている。

必要な機能

無人レジでは、顧客を特定する技術と、取り上げられた商品を特定する技術が必要となる。前者はComputer Visionで消費者を把握し追跡する。後者もComputer Visionで商品を特定する。更に、商品棚にはセンサー (重量計) が設置され、特定の商品が取り上げられたことを把握する。

顧客を特定する技術

前述の通り、店舗にはゲートが設置されており (下の写真)、ここでアプリのQRコードをかざすと、システムは利用者を把握する。天井に設置されているカメラが利用者を認識し、位置を特定する。これで顧客情報とその姿を紐づけることができる。店舗内で利用者が移動すると、天井に設置されたカメラがそれを追跡する。AIは利用者の顔認証は実施しない。顧客の姿の特徴量を把握し、これをキーに顧客をトラックする。

出典: Seattle Times

天井に設置されたカメラ

天井には数多くのカメラが設置されている (下の写真)。カメラはボックスに装着されている。このボックスはプロセッサーで、カメラが捉えたイメージの基礎的なAI解析を実行する。具体的には、人の存在の認識、利用者の特定と追跡、利用者の動作の意味を把握する。利用者が移動すると、別のカメラがこれをフォローする。更に、カメラは棚の商品を認識し、取り上げられた商品の名前を特定する。

出典: Seattle Times

商品棚とセンサー

商品棚 (下の写真) にはカメラと重量計が搭載されている。ただし、この写真からそれらを確認することはできない。消費者が取り上げた商品を商品棚のカメラが認識する。重量計が棚の重さを計測し、重量が減ると商品が取り上げられたと認識する。(システムは各商品の重さを認識しており、重量計は取り上げられた商品名を特定する機能があるとの意見もある。)

出典: Seattle Times

売り上げの特定

これら一連のデータはサーバに送信され、Deep Learning Algorithmが売り上げを推定する。そのロジックは次の通り。天井のカメラは利用者の位置を追跡し、特定の商品棚の前にいることを認識し、その挙動 (手を伸ばすなど) を捉える。その棚の商品が取り上げられたことをカメラと重量計で認識する。これら一連の情報をDeep Learning Algorithmで解析し、特定の消費者が特定の商品を取り上げたことを判定する。

AIが幅広いケースを学習

店舗での買い物は様々な状況が発生する。システムはDeep Learningの手法でこれらを学習していく必要がある。顧客は商品をバッグに入れるが、途中で気が変わり、それを別の棚に返品すことが多々ある。顧客は商品をバッグに入れるのではなく同伴している子供に手渡すケースもある (下の写真、右側)。一方、顧客が商品を取り上げて、それを別の顧客に手渡すケースもある (下の写真、左側、現在このケースは禁止されている)。アルゴリズムはこれらの事態を把握し、正しく会計処理ができるよう教育される。

出典: VentureClef

アルゴリズム教育プロセス

このため、Deep Learning Algorithmを教育し、顧客を認識する精度を高め、消費者の行動の意味を学習するプロセスが成否のカギを握る。教育を通じ、アルゴリズムは顧客が商品を手に取る、商品をバッグに入れる、商品を棚に戻すなどの行動の意味を高精度で推定できるようになる。この教育プロセスを実施するために、公開に先立ち、Amazon GoはAmazon社員を使ったトライアルが実施された。

開店が遅れた理由

Amazon Goは2016年12月に発表され、2017年初頭の開店を目指していた。しかし、公開は2018年1月と大きくずれ込んだ。開発が遅れた理由は公表されていないが、店舗が込み合っている時は、AIは売り上げを正しく判定できないためとされる。このためにカメラの台数を増やし判定精度を向上させた。Amazon Goの床面積は1,800平方フィート (167平方メートル) でここに100台ほどのカメラが設置されている。三畳間に一台のカメラが設置されている計算で、Amazon Goは多数のカメラでもれなく顧客をモニターする構造となる。

認識精度は

気になるAmazon Goの認識精度であるが、開店して一週間が経過するが、特に大きな問題は報告されていない。ただ、CNBCのレポーターが買い物をしたとき、ある商品 (Siggi’s Yogurt) が課金されなかったと報じている (下の写真)。一方、あるレポーターは店員さんの許可を得て、商品を”万引き”したが、店舗を出るとアプリに課金されていたと報告している。判定精度は実用に耐えるレベルに達していると思われる。また、このシステムは万引き防止にも役立つことも分かってきた。

出典: Deirdre Bosa

レジ無し店舗展開計画

AmazonはAmazon Goの展開計画については沈黙を守っている。ただ、開店したAmazon Goの品ぞろえを見ると、コンビニ形式の店舗となっている。食料品や日用品を中心に品ぞろえされ、顧客は少数点数を購買するパターンが目立つ。Amazon Goはオフィス街のコンビニとして運営されるとの噂もある。時間に追われている社員が、昼休みにサンドイッチと飲み物を手に取り、急いで店を出るケースなどが想定されている。Amazon Goではレジ待ちはなく、ランチ時間がちょっとリッチになり、社員の味方になるかもしれない。

AIのグランドチャレンジ、人間のように会話するチャットボットの開発

Saturday, December 16th, 2017

Amazonは会話するAIの開発コンペティション「Alexa Prize」を開催した。目標は20分間会話できるチャットボットを開発することで、22か国から100を超える大学チームが技術を競った。初年度の2017年は、米国のUniversity of Washingtonが優勝した。

出典: Amazon

コンペティションの目的

AmazonがAlexa Prizeを始めた理由は、AIスピーカー「Echo」が目指している会話するAIを開発するためだ。AIの中で会話技法は極めて難しく、永遠に目標に到達できないという意見もある。AmazonはAlexaでこの技術を探求しているが、大学に参加を呼びかけ、若い頭脳によるブレークスルーを期待している。

Socialbotを開発

Amazonは会話するAIを「Socialbot」と呼んでいる。Socialbotとはチャットボットとも呼ばれ、AlexaのSkill (アプリに相当) に区分される。SocialbotはEchoを介し、幅広い話題で利用者と音声で会話する。話題としては、芸能、スポーツ、政治、ファッション、テクノロジーが対象で、人間とスムーズに対話が進むことがゴールとなる。

判定基準

参加大学はAmazonが提供するボイスアプリ開発環境 (Alexa Skills Kit) を使ってSocialbotを開発する。審査員がSocialbotと20分間会話し、会話能力を採点する。具体的には、Socialbotが話題に一貫性を持ち(Coherently)、相手を惹きつける(Engaging)能力などが評価される。但し、これはTuring Test (AIが人間のふりをする能力の試験) ではなく、あくまで会話能力が試される。

Socialbotと会話してみると

上位3チームのSocialbotは公開されており、Amazon Echoから会話することができる。実際に、Socialbotと話してみたが、技術は未完で会話はたどたどしい。しかし、Socialbotが話す話題は興味深く、話術も感じられ、会話に惹きつけられた。人間レベルに到達するにはまだまだ時間がかかるが、大きな可能性を秘めていることを実感した。

会話シーンのサマリー

優勝校のSocialbotとの会話は次のように進行した。Amazon EchoでSocialbotを起動すると、Socialbotは冒頭で挨拶 (「調子はどうですか?」) をしてから会話に入った。この技法は「Icebreaker」と呼ばれ、いきなり会話に入るのではなく、堅苦しさをほぐしてくれた。

興味ある話題を提示

ほぐれたところで、Socialbotは会話の話題を提示した。「休暇や人工知能や・・・の話をしましょうか?」。これは「Topic Suggestion」と呼ばれる技法で、相手の興味をそそる話題を提示する。Socialbotとは初対面なので、一般に受け入れられる話題が示された。

出典: Amazon

最新の面白い話題を紹介

この問いかけに「人工知能」と返答すると、Socialbotはとっておきの面白い話を聞かせてくれた。「Facebookは利用者が投稿する写真からその人の感情を推測するAIを開発している・・・」。これは「Knowledge Ingestion」という技法で、Socialbotは最新の話題を常に取り入れ、会話でうんちくを披露し相手を惹きつける。人間の会話と同じように、フレッシュな話題が相手を惹きつける。

意地悪な質問

これに対して少し意地悪な質問をした。「どういう仕組みなの?」と尋ねると、Socialbotはこちらの質問を復唱した。Socialbotが、こちらの質問を正しく理解していることが分かり、少し気持ちよく感じた。

掘り下げて説明

しかしSocialbotはこの質問には回答できなかった。「I ask myself the same question」と返答した。相手が興味を持っていることを掘り下げて説明することを「Deep Dive」という。Deep Diveすることで話が深くなり対話が進む。ただし、このシーンではうまくいかなかった。

対話をリードする

Socialbotはこれにもめげず、「人工知能の話を続けますか」と質問してきた。これは「Leading Conversation」と呼ばれる手法で、会話のトピックスを示し、対話をリードする。会話がとん挫しそうになったが、これに対し「Yes」と回答し、人工知能の話題がさらに続いた。

出典: Amazon

話題が展開する

その後、Socialbotは「クラウドの友人が興味深いアドバイスをしてくれたが、聞きたい?」と興味をそそる。「Yes」と答えるとその話を始めた。「過酸化水素が入ったホワイトニングを使って歯磨きしたあとは、数分間そのままでいると効果があるよ」と生活のコツを紹介してくれた。「この話より人工知能に興味ある」と言ったが、この発言は無視され、Socialbotはホンジュラスの大統領選挙の話を始めた。

全体の感想

こちらの発言を無視されると、Socialbotであると分かっているが、あまり快く感じない。また、会話の話題が急に変わると、どうしたのかと不安を覚える。まだSocialbotが人間のように会話できるとは言い難いが、会話の内容は興味深く、対話時間は13分に及んだ。20分がゴールであるので、まだ研究開発は続く。

システム構成

SocialbotはAmazonのボイスアプリ開発環境で開発された。学生チームは、Amazonが提供している音声認識 (Automatic Speech Recognition、声をテキストに変換) とスピーチ合成 (Text-to-Speech、テキストを声に変換) を使うことができる。こちらが喋った言葉をシステムが認識し、Socialbotの発言は聞きなれたAlexaの声となる。

会話技術の開発

チームはその中間の会話技術を開発し、その技量が試験される。スムーズに会話するのは勿論であるが、Socialbotの話術やキャラクターなども開発目標となる。Socialbotが興味深い話題を話すだけでなく、自分の主張を持ち意見を述べることも視野に入る。更に、相手の言葉に対してジョークで返答すると完成度がぐんと上がる。

来年に向けて

Amazon EchoやGoogle Homeの爆発的な普及で会話するAIがホットな研究テーマになっている。企業で開発が進むが、大学の研究にも期待がかかっている。自動運転車は大学間のコンペティションで開発が一気に進んだ。Alexa Prizeは2018年度も計画されており、会話するAIはどこまで人間に近づけるか、グランドチャレンジが続く。

Amazonはビジネス向け音声サービスを投入、AIスピーカーが秘書となり会社の事務作業をこなす

Thursday, December 7th, 2017

大ヒット商品Amazon Echoが会社に入ってきた。Amazon Echoを会議室に置き、部屋の予約やテレビ会議への接続を言葉で指示できる。コピー室に置いておくと、用紙が切れた時には、Amazon Echoに発注を指示できる。AIスピーカーを会社で使うと事務作業が格段に便利になる。

出典: Amazon

ビジネス向けのAlexa

このサービスは「Alexa for Business」と呼ばれ、Amazon開発者会議「AWS re:Invent 2017」で発表された。音声アシスタント機能をビジネスに適用するもので、家庭向けに提供されているAlexaを企業向けに拡大した構成となる。会社では煩雑な事務作業が多いが、Alexaがインテリジェントな秘書となり、言葉で指示したことを実行してくれる。

Alexa for Businessは個人モデル (Enrolled User) と共有モデル (Shared Device) がある。前者は社員がデスクに置いて個人で利用する形態で、後者は公共の場所 (会議室など) に置いてみんなで使う形態である。

デスクに置いて利用する

Alexaをデスクに置いて、スケジュール管理などで利用する (上の写真)。「Alexa, what’s my first meeting today?」と尋ねると、Alexaは次の打ち合わせ予定を回答する。また、Alexaに指示して、打ち合わせを設定することもできる。「Alexa, schedule a meeting with sales team at 2 pm on Thursday?」と言えば、販売チームとの打ち合わせをセットしてくれる。

会議室で利用する

会議室ではAlexaがミーティングのアシスタントとして活躍する (下の写真)。テレビ会議を始めるときに、「Alexa, start a sales meeting」と指示すると、Alexaが指定の番号に電話を発信し、モニターに参加者が映し出される。プレゼン中に資料が必要になると、「Alexa, pull up the last month sales」と指示すると、Alexaがディスプレイに先月の売り上げ情報を表示する。

出典: Amazon

コピー室に設置しておくと

Alexaをオフィスの様々な場所に設置しておくと意外な使い方ができる。オフィス入り口に設置しておくと、Alexaが受付の役割をこなす。「Where is the Tyler’s office?」と尋ねると、オフィスの場所を教えてくれる (下の写真)。

出典: Amazon

コピー室に設置しておけば、用紙が切れた時に、Alexaに指示すれば発注してくれる。「Alexa, ask the office for more printer paper.」。 Alexaはプリンター用紙を発注するだけでなく、印刷中のタスクについて、「Should I send your job to Printer 3?」と質問し、別のプリンターで印刷するよう取り計らってくれる。

Alexaで会議室を予約する

Alexaのビジネスソリューションはパートナー企業により提供される。Teemという新興企業はAlexaと連動し、会議室を管理するスキルを提供する。会議室入り口にディスプレイを設置し、部屋の使用状況を表示する (下の写真)。多くの企業がTeemで会議室を管理しており、Alexaとの統合で、これを言葉で指示できるようになった。

会議室を予約するときは、部屋に設置してあるAlexaに、「Alexa, ask Teem to book this room」と指示する。また、ディスプレイの「Reserve」ボタンにタッチして予約することもできる。会議室を使い始めるときは、「Alexa, ask Teem to check in this room.」と言い、時間を延長する時は、「Alexa, ask Teem to extend this meeting by 15 minutes.」と指示すると、15分間延長できる。

出典: Teem

ERPとの連携

Acumaticaという新興企業は、Alexaを使って在庫管理システムを音声で提供している。Alexaに言葉で在庫状態を尋ねることができる。「Alexa, ask Acumatica how many laptops do we have in stock?」と質問すると、Alexaはラップトップの在庫量を答えてくれる。在庫がない場合は、Alexaに商品発注を指示できる。「Alexa, ask Acumatica order 10 please.」というと、その商品を10点発注する。

AlexaはAcumaticaのERPシステムに統合され、在庫に関するデータを参照する仕組みとなる。更に、AlexaはERPシステムに商品の発注をリクエストすることができる。ただ、ERPという基幹システムにアクセスするため、Alexaの認証機能を強化することが課題となる。Alexaの認証方式は、4ケタのPINを言葉で語るのが一般的で、PINを聞かれる危険性がある。声紋などバイオメトリックな認証が次のステップとなる。

ホテル客室に導入

Alexa for Businessに先立ち、Amazon Echoはホテル客室で使われている。Wynn Las Vegasはラスベガスの高級リゾートホテルで、全ての客室にAmazon Echoを導入すると発表。4,748台のAmazon Echoが設置され、宿泊客はホテルや客室情報をEchoに尋ねることができる (下の写真)。

また、宿泊客は音声で部屋の設備をコントロールできる。「Alexa, I am here」と言えば、部屋の電灯が灯り、「Alexa, open the curtains」と言えばカーテンが開く。「Alexa, turn on the news」と言えばテレビがオンとなり、ニュース番組が放送される。Alexaがコンシェルジュとなり、宿泊客をサポートする。ホテル側としては、宿泊客がフロントに電話する回数が減り、コスト削減にもつながるという読みもある。

出典: Wynn Las Vegas

有償のサービス

家庭向けのAlexaは無償で使えるが、企業向けのAlexa for Businessは有償のサービスとなる。サービス料は共有モデルではデバイスごとに月額7ドルで、個人モデルでは利用者あたり月額3ドルとなる。また、企業のIT部門がデバイスや利用者を管理する体制となる。

共有モデルがヒットする

Alexaをデスクに置いて利用する個人モデルでは、会話が周囲に聞こえ迷惑になるだけでなく、内容によるとセキュリティのリスクもある。一方、共有モデルはこの問題は無く、また、役に立つクールなスキルが数多く登場している。家庭でヒットしているAmazon Echoは共有モデルがベースで、会社の中でもこのモデルの普及が予想される。