記事詳細 5件表示

ロボット「Pepper」のためにYahoo!検索が開発し、2016年4月11日に公開された「Yahoo!音声アシスト for Pepper」。しかし、「なぜYahoo!検索がPepperのアプリを?」と思われる方も多いはず。

そこで今回は、「Yahoo!音声アシスト for Pepper」開発の経緯、ロボットである「Pepper」のアプリ開発で苦労した点などを、開発チームのメンバーに聞いてみました。

プロジェクトメンバー

写真左上から時計回りに三宅(音声認識エンジン『YJVOICE』Pepper版実装担当エンジニア)、菅原(Pepperクライアントアプリの実装担当エンジニア)、蔡(Pepperアプリのチュートリアル実装担当エンジニア)、鈴江(Pepperアプリ向け応答制御実装担当エンジニア)、市原(Pepperアプリのインタラクションおよび画面設計担当デザイナー)、藤井(音声アシストアプリ担当企画)、渡辺(Pepper向け応答テンプレートデザイン制作担当デザイナー)

座談会

「音声アシスト for Pepper」について

――まず、「音声アシスト for Pepper」を作った経緯について教えてください。

藤井 :「Yahoo!音声アシスト」はしゃべりかけると声で答えてくれるスマホアプリとして2012年4月にAndroid版を公開して、2014年からはiOS版も提供しています。そしてロボット端末って、話しかける対象としてはスマホ以上に相性がいいというか、自然ですよね。だからPepperが出てきたときに何かしら連携を考えるのは当然の流れでした。もともとの音声アシストで使っている音声認識や意図解析、応答生成の技術を流用すればバックエンドはさほど難なく実現できるよね、ということで、以前、音声アシストを担当していたエンジニアが元となるプロトタイプを作ってくれて。そのプロトタイプは音声認識が3秒以内だったりタブレット表示が見づらかったりと制限が多かったですが、ソフトバンクの担当者にお見せしたところとても評判がよく、社外イベントで展示したときはPepperの物珍しさもあって人だかりができるほどでした。そしてPepperが一般向け発売するのにあわせて公開しようということになり、このプロジェクトメンバーであらためて設計や実装にとりかかってアプリとして完成させました。

――ヤフーで提供しているPepperアプリはほかにもありますよね?

菅原 :はい、最初にヤフー内でPepperアプリを作るプロジェクトがスタートしたときに「Yahoo!天気」「Yahoo!きっず」「Yahoo!検索」の3サービスが選ばれました。各サービス領域でPepperアプリが検討・開発され、すでにそれら3アプリはPepperに公式アプリとしてプリインストール提供されています。その内、検索領域でのPepperアプリは、自分や市原さんが担当した「リアルタイム検索」です。ただそのアプリに実は検索する機能は入っていないんです。

市原 :そう、普通にPepperに「○○で検索」と言って検索できる機能を作ろうと思ったらまずそれができなかったので。リアルタイム検索は苦肉の策でした。だからそういう意味では、今回公開した「Yahoo!音声アシスト for Pepper」が本当にやりたかったPepper向けの検索アプリですね。

――なるほど。「Yahoo!音声アシスト for Pepper」ではもちろん「○○を検索」と言えば検索してくれるんですね?

鈴江 :はい、「富士山を検索して」と言えば富士山のウェブ検索結果を出しますし、「猫の写真を見せて」と言えば猫の画像検索結果を出します。ほかにもリアルタイム検索や知恵袋検索にも対応しています。検索以外にも、もともとスマホ向け音声アシストで対応しているように、ヤフーのさまざまなサービスを使った情報についてお答えできます。たとえば天気や地図、店舗情報、株価、ニューストピックスなどですね。

ヤフー製音声認識エンジン「YJVOICE」

――音声アシストでもともと使われているという「YJVOICE」ですが、ヤフーが音声認識エンジンを作っていることはあまり知られていなさそうですね。

三宅 :ヤフーでは2010年3月から「音声検索」アプリを提供していますがその当時は他社の音声認識を採用していて、その後2年かけて自社のエンジンを開発しました。ポータルサイトを提供しているヤフーには多くのユーザーが集まります。音声認識の精度をよくする方法の1つとして、たくさんのデータを集めて辞書みたいなものを作って精度を高めるというのがあるんですが、YJVOICEは多くの方に使っていただいている結果、実際に精度を改善できています。最近だとディープラーニングという技術を取り込み、他社に負けない精度を出せています。

――スマホ向けではすでに提供している機能でも、Pepperに移植するのは大変だったんですか?

三宅 :iOS/Android OSで動作している音声認識のクライアントプログラムを、Pepper上で動くようにPepperのOS、つまりLinuxに向けに作る必要がありました。開発環境のSDKやプログラム言語がまったく違うので、Pepper用ライブラリはほぼ作り直しだったんです。Linux は自由度が高いので低レイヤーから作れそうだと思って失敗したり、音声認識ライブラリ単体ではうまく動作してもPepperアプリと結合するとCPUとかの制限が多くてうまく動かなくなって設計し直したりと、試行錯誤が多かったです。

ロボット端末「Pepper」、スマホとの違い

菅原 :開発者から見た端末として、スマホとの違いで言うと、カメラやマイクが常に動いている、つまり画像認識、音声認識 が前提だというところが大きいですね。さらに距離センサーや頭や体のタッチセンサーもある。そしてPepperからの出力は、タブレット画面もあるけど、基本はPepperがしゃべること。だからユーザーとのインタラクションがだいぶ変わってきます。
市原 :私も前回リアルタイム検索アプリを作ったときに気付いたのが、スマホ使ってケガをするってあまりないけど、Pepperがもし下手に激しい動きをしたりした場合小さい子がケガをすることがあり得るんですね。だから両腕を上げる動作があったんですが、そのスピードは速く動かし過ぎていたのを調整しました。Pepperアプリの審査も、スマホアプリに比べて慎重で、安全性が重視されているようです。

苦労したこと

――みなさんが苦労されたことは?

渡辺 :スマホとかタブレットと違って離れた位置で操作するものなので、文字の大きさの感覚が最初つかめなくて、調整が難しかったです。あとはみなさんそうだと思いますが、やはり検証ですね。自分のデスクではできないので、Pepperをフリースペースなどに運んで確認しなくてはいけなくて。雑音で音声認識がうまくいかなかったりするし、時間がかかりました。
三宅 :音声認識ももちろんマイクがないと試せないので、同じように実機確認がいちばん面倒でしたね。あと、Pepper用のSDKではエラーログの情報量が少なくて、落ちた理由を探すのも大変でした。
菅原 :そうそう。長時間動作させると安定しないという問題があって。Pepper自体の問題もあるし、アプリの問題もあるしで......。
市原 :会社のフリースペースや会議室にPepperがいると、最初の内はみんなチラチラ見てたけれど、だんだん普段の風景になっていきましたね。

▼ある日の開発風景

ロボットとのインタラクション

藤井 :Pepperでの音声アシストアプリにどう接してもらうか、インタラクションデザインに関しては、想定以上に考えないといけないことが出てきて、すでにPepperの知見を持っている市原さんに入っていただいて本当によかったです。当初は、既存サービスの移植だし荒削りとはいえプロトタイプはできているから、そんなに使い方の組み立てを考える余地はないかなと思ってたんですが、作り込む内に「あ、スマホ以上に話しかけづらい」だとか課題が見えてきて。
市原 :Pepperを使うとなると、たいてい周囲に注目されながら使うことになるんで、あがるんですよね。プロトタイプではしゃべるタイミングが決め打ちで、「3、2、1」とカウントダウンされて、「はい、話して」となってて、自分で試してもすごいプレッシャーがあった。だからまずその時間制限やめよう、好きなタイミングで話せるようにしよう、ということで。ここもYJVOICEで頑張ってもらったところですね。あと、どういう質問をしたらいいのか分からない。しかも応答がうまく返ってこないと周りに注目されているから余計つらい。それでスマホ版の音声アシストで採用されていた画面上に「こんなふうに話しかけてみて」っていう質問サンプルを出す手法を採用しました。ああ、こういうことができるんだ、というのが分かって、ひとまずその質問をして慣れてもらうことができるようになったかと思います。

これからやりたいこと

――最後に、これからの展望や理想、妄想をお聞かせください。

渡辺 :いまPepperのタブレットにはブラウザーが搭載されていないので、実は肝心の検索結果の先に遷移できないんですよね。検索結果や動画一覧は出ても、その動画自体が見られなかったりして残念。検索させたあとに本当に求めている情報までたどり着けるようにはしたいです。
:音声アシストはほかのPepperアプリに比べてユーザーとやりとり、対話できることが特長かなと思います。ほかのアプリでは一方的にPepperがしゃべったり動くだけのものが多い。だから、自分の担当したチュートリアル部分もさらに対話的にしたいなと思っています。ユーザーの発話前提ではあるのだが、まだまだやりたい。
市原 :私は今回のアプリはまずはシンプルに移植したところまで、と捉えていて。今後は、Pepper独自のセンサーや、最近発表された感情マップなんかを使って、エージェントとの感情的なやりとりなんかもできるといいなと思います。音声エージェントとロボットはめちゃくちゃ相性がいいので、いい応答をしたらPepperが喜んではりきってくれるとか、感情をからめた応答をできるようになると、さらにロボットでやる意味が出るかなと。
菅原 :自分は、いま応答した結果に対してユーザーが喜んだかどうかカメラの画像認識を使って判定して、それを元に応答内容を改善するフィードバックのしくみを作りたいです。あとその人がよくする行動から答えを提案してあげる。「ご用件は何ですか?」って聞くだけじゃなく、朝いつも天気を聞く人に対しては、Pepperから「今日の天気は......」と話しかけられるようになるといいなと。
三宅 :菅原さんと同じ画像認識やパーソナライズという観点では、性別や年齢で応答の仕方を出し分ける、というのをやってみたいですね。あと、Pepperでの音声認識についてもう1つ挙げると、スマホの場合何を検索するか決めてから一人でしゃべるけど、Pepperの場合大人数でいるなかで誰かがしゃべるという状況が多い。そうすると背景会話を間違えて認識することも起こりがちなので、メインの人だけ認識するように改善したいと思っています。
藤井 :みなさんわりと夢が広がりますね。私はまず地道なところでいうと、応答できる範囲やバリエーションを増やしたり、もっと賢く答えられるようにという部分は、(スマホアプリ版の)音声アシストとして引き続きやっていきます。あと、いまはPepper上で動作する1アプリとして提供していますが、音声認識や意図判定、対話制御のしくみはPepper本体で利用いただけるものなので、その方向も模索したいですね。それこそがロボット向けのポータルサービスで、ヤフーが持っているたくさんのサービスを便利に使ってもらえると思うんです。

――ロボット自体がどんな進化を遂げていくのか、それによって私たちの生活がどう変わるのか、とても楽しみですね。今日はみなさん、ありがとうございました。

Yahoo!検索のHです。
ここのところ寒波の影響で、めったに雪が降らない地域でも積雪したり凍結したりと、急激に寒さが押し寄せています。
先週末は「大寒波」と言われていたため、どれだけ寒くなってしまうのか心配でいろいろな情報を検索していました。そんなわけで今回は雪のための情報収集です。

写真:アフロ

雪に備えて情報収集

雪の予報が出るたびに気になるのは、交通機関への影響や自分自身の靴・防寒着などの準備、雪かきが必要そうならそのための備えなどです。
そこで「」「雪情報」などで検索して情報収集。全国的に雪の予報が出ている時は、ニュースや関連情報が提供されるサイトへのリンクが上部に表示されるので便利です。

「雪」で検索

またリアルタイム検索も欠かせません。通勤時間帯は列車やホームのつぶやきなどによって混雑を避けたり、ちょっと余裕がでたときには雪にはしゃぐペットや雪だるまの写真などに癒やされたりと、ついついチェックしてしまいます。

車で移動する予定があるときは、「交通情報」や「道路状況」で検索。簡易的に混雑状況が色分けされた道路地図が表示され、ひとめでわかりやすいです。各地域の詳細を知りたい時は地名をクリック。

「交通情報」で検索

ちなみに、大寒波が予想されていた1月24日(日)の関東圏は積雪もなかったため、意外と混雑がありませんでした。

※スマートフォンの検索結果画面です。

これからまだまだ寒さが続きそうです。みなさまも寒さや雪に備えて安全に過ごしてください。

Yahoo!検索のHです。年末年始はいかがお過ごしでしたか? 日本列島は比較的暖かく穏やかな気候の地域が多かったようです。
検索を使う日常レポートvol.4、2016年初めにお送りするのは春を先取りしたお出かけ情報とせまり来る花粉についてです。

イチゴ狩りへおでかけ

まだまだ寒い日もあるものの、お正月を過ぎるとあっという間に節分をむかえ、春に近づきます。暖かくなると外に出かけたくなりますよね。
みなさんはどこかへ行きたくなったとき、どうやって行き先を決めますか?

わたしはもちろん、Yahoo!検索を使います。

たとえば「関東 イベント」「関東 アウトドア」「関東 公園」の言葉で検索して、上部に表示されるルーペの横に並ぶリンクで絞り込むこともあります。

行く地域まで決めているときは「神奈川 公園」と指定すれば、公園名が地図の番号に呼応して表示されるのでわかりやすいです。

「神奈川 公園」で検索

そんなこんなで行き先を決めて、神奈川方面へイチゴ狩りへ行ってきました!

20数年ぶりのような気もするイチゴ狩り。テンションがあがります。

イチゴがたくさん!

イチゴ!

イチゴ! イチゴ!

赤いです。食べごろです。

おなかいっぱい食べつくしました。
そしてイチゴが栽培されているビニールハウスを出ると周りは一面、緑。

何の畑かわかりますか? 近づいてみると

そうです、大根です。ほかにはキャベツも。

腹ごなしに周辺をお散歩することに。道端にはすでに春を知らせる野の花が咲いています。野の花ってよく見るわりに名前がわからないものもあります。

これは春に咲く花の代表格「ナズナ」。

これも代表格、「オオイヌノフグリ」。

そしてこれは「オドリコソウ」? と思ったのですが、念のため検索で確認してみます。

代表的な野の花は名前を検索すると、パソコンでは右側、タブレットやスマートフォンでは上部に画像と説明が表示されます。

「オドリコソウ」で検索

どうやら私が見ているものとオドリコソウでは葉っぱの形が違います。「オドリコソウに似た花」などで検索した結果、「ホトケノザ」ということがわかりました。(春の七草でいう「ホトケノザ」はまた別ものだそうです)

まだまだたくさんいろんな花が咲いています。

この花の名前はまったくわからないので「春 野の花 白」などで検索し、いくつか当てをつけた名前で検索。「オランダミミナグサ」のようです。

これはタンポポに似ていますが調べたところ、葉やつぼみの形が特徴的な「ノゲシ」でした。

こんな風にお出かけしていて見かけたモノをすぐに調べたいときも検索は活用できます。

余談ですが、先日はよく行く老舗(しにせ)の中華料理店がいつになく大行列だったのでYahoo!リアルタイム検索で店名を検索したところ......そのお店が閉店で、その日が最終日であるという悲しい事実が判明しました。検索はお出かけ中にいろんなことを教えてくれます。

すでに花粉の予感

気候が暖かくて過ごしやすいのはいいのですが、なんだか目がかゆいし鼻がつまるし、すでに花粉症の症状が出始めています。

いまの時期、「花粉症」で検索すると、症状や予防法などが上部に表示されます。花粉症の人も、花粉症の予感がしつつも見て見ないふりをしている人も、参考にしてください。

「花粉症」で検索

ちなみに、ここに表示される「花粉症度セルフチェック」でチェックしたところ、わたしの花粉症度は80%でした......なかなかの重度。お出かけするときはマスク必須です。

2015年に検索されたキーワードをランキング形式で紹介する「2015検索ワードランキング」を発表させていただきます。なお、2015年12月9日に発表した「Yahoo!検索大賞」は、前年と比べどのくらい検索数が増えているかを指標としましたが、こちらは検索された回数が指標となります。

※集計期間:2015年1月1日~2015年12月31日
※( )内は2014年のランキング


総合ランキング
1位 YouTube (1)
2位 Amazon (2)
3位 楽天 (3)
4位 Facebook (4)
5位 Google (5)
6位 Googleマップ (6)
7位 DMM (9)
8位 FC2 (7)
9位 Twitter (8)
10位 郵便番号 (13)
11位 モンスターストライク (30)
12位 ZOZOTOWN (23)
13位 価格.com (16)
14位 ユニクロ (17)
15位 2ちゃんねる (12)
16位 天気予報 (18)
17位 パズル&ドラゴンズ (10)
18位 ニコニコ動画 (11)
19位 JRA (-)
20位 楽天市場 (22)
21位 じゃらん (19)
22位 ANA (21)
23位 JAL (25)
24位 楽天トラベル (29)
25位 Gmail (20)
26位 ががばば (-)
27位 クックパッド (27)
28位 ヤマト運輸 (24)
29位 NTTドコモ (26)
30位 翻訳 (-)

人名ランキング(男性)
1位 (1)
2位 三代目 J Soul Brothers (16)
3位 羽生結弦 (3)
4位 関ジャニ∞ (2)
5位 福山雅治 (11)
6位 EXILE (7)
7位 HIKAKIN (5)
8位 Mr.Children (19)
9位 Hey! Say! JUMP (-)
10位 錦織圭 (12)
11位 Kis-My-Ft2 (4)
12位 東方神起 (6)
13位 福士蒼汰 (8)
14位 はじめしゃちょー (-)
15位 大野智 (-)
16位 星野源 (-)
17位 市川海老蔵 (15)
18位 SMAP (14)
19位 窪田正孝 (-)
20位 鈴木おさむ (-)

人名ランキング(女性)
1位 AKB48 (1)
2位 乃木坂46 (3)
3位 広瀬すず (-)
4位 北斗晶 (-)
5位 石原さとみ (6)
6位 有村架純 (10)
7位 川島なお美 (-)
8位 柏木由紀 (-)
9位 E-girls (12)
10位 大島優子 (2)
11位 ももいろクローバーZ (5)
12位 木村文乃 (-)
13位 橋本マナミ (-)
14位 山本彩 (11)
15位 北川景子 (9)
16位 辻希美 (-)
17位 みきママ (-)
18位 西野カナ (19)
19位 土屋太鳳 (-)
20位 橋本環奈 (8)

スポーツ選手ランキング
1位 羽生結弦 (1)
2位 錦織圭 (5)
3位 浅田真央 (2)
4位 武豊 (7)
5位 五郎丸歩 (-)
6位 内田篤人 (3)
7位 イチロー (-)
8位 香川真司 (6)
9位 本田圭佑 (4)
10位 ダルビッシュ有 (10)

テレビ番組ランキング
1位 まれ (-)
2位 あさが来た (-)
3位 恋仲 (-)
4位 デスノート (-)
5位 ミュージックステーション (10)
6位 マッサン (-)
7位 下町ロケット (-)
8位 花燃ゆ (-)
9位 ウロボロス~この愛こそ、正義。 (-)
10位 天皇の料理番 (-)

アニメ・ゲームランキング
1位 モンスターストライク (3)
2位 パズル&ドラゴンズ (1)
3位 妖怪ウォッチ (2)
4位 ワンピース (5)
5位 ディズニー ツムツム (-)
6位 艦隊これくしょん ―艦これ― (8)
7位 Minecraft (-)
8位 進撃の巨人 (6)
9位 ポケットモンスター (9)
10位 刀剣乱舞 (-)

画像検索ランキング
1位 有村架純 (10)
2位 広瀬すず (-)
3位 石原さとみ (5)
4位 橋本マナミ (-)
5位 橋本環奈 (4)
6位 妖怪ウォッチ (1)
7位 三代目 J Soul Brothers (-)
8位 グラビアアイドル (-)
9位 佐野ひなこ (-)
10位 おのののか (-)

動画検索ランキング
1位 Minecraft (7)
2位 妖怪ウォッチ (1)
3位 HIKAKIN (4)
4位 はじめしゃちょー (-)
5位 ドラえもん (5)
6位 それいけ!アンパンマン (-)
7位 モンスターストライク (-)
8位 三代目 J Soul Brothers (-)
9位 パズル&ドラゴンズ (3)
10位 クレヨンしんちゃん(-)

知恵袋検索ランキング
1位 不倫 (1)
2位 東方神起 (6)
3位 (4)
4位 艦隊これくしょん ―艦これ― (-)
5位 パズル&ドラゴンズ(3)
6位 モンスターストライク (-)
7位 ママ友(7)
8位 プロ野球(2)
9位 YouTube(8)
10位 韓国 (-)


これからもYahoo!検索をよろしくお願いいたします。

あけましておめでとうございます。Yahoo!検索です。

いつもYahoo!検索をご利用いただき、ありがとうございます。スタッフ一同、心よりお礼を申しあげます。2016年も皆様にとって、素晴らしい年でありますようお祈り申しあげます。

今後も本ブログやYahoo!検索ガイドYahoo!検索公式TwitterYahoo!検索公式Facebookページなどでさまざまな情報をお知らせしますので、ご確認いただけると幸いです。

今後とも、Yahoo!検索をよろしくお願いいたします。

Yahoo!検索スタッフ一同

当ブログについて

Yahoo!検索スタッフブログは、Yahoo!検索の新しいサービスのお知らせ、検索データの分析レポート、検索関連の読み物コンテンツ情報などをお届けしています。

ブログ内を検索

ページのトップへ