1
Download らくらくスマートフォン向けしゃべってコンシェルの開発
Transcript
らくらくスマートフォン向けしゃべってコンシェルの開発 らくらくスマートフォン 音声エージェント UI NTT DOCOMO Technical Journal らくらくスマートフォン向け しゃべってコンシェルの開発 スマートフォンの機能やサービスをより幅広いユーザに 利用いただける環境づくりをめざし，「らくらくスマート サービス＆ソリューション 開発部 う ち だ わたる 内田 渉 お お の ぎ みどり 大野木 碧 フォン（F-12D） 」向けの「しゃべってコンシェル for らく らく」をバージョンアップした．バージョンアップではユ ーザ評価実験による課題抽出結果に基づき，UI の刷新を行 った．また，端末の使い方や各種サービスに関する質問に 答えるため，取扱説明書アプリ「使いかたガイド」ならび にドコモ Web サイトの「よくあるご質問（FAQ） 」との連 携機能を開発した． くらくVer.1.1」として2013年1月に った．方針②についてはドコモの 提供を開始した．改修にあたって次 Webサイト上のお客様サポートの一 近年，大画面やタッチパネルを活 の 2 つの方針で開発を行い，進化す 環として提供している「よくあるご 用した UI，高速な CPU や進化した るスマートフォンの機能をより幅広 質問（FAQ） 」[1]，ならびに取扱説 無線ネットワークを備えたスマート いユーザに利用いただける環境づく 明書アプリ「使いかたガイド」[2]と フォンが普及し，その特徴を活かし りを試みた． の連携機能を実装した． 1. まえがき たサービスも次々と登場している． 方針①：音声発話によるスマート 高いリテラシをもつユーザが魅力的 フォン操作をより自然に実施できる な新機能や新サービスを使いこなす ようにする．そのため UI をさらに 一方，シニアユーザを含む，新機能 直感的に使えるように変更する． 本稿では上記の 2 つの取組みにつ いて解説する． 2. 直感的な UI への 変更 の利用に必ずしも積極的ではないユ 方針②：スマートフォンの使い方 ーザもスマートフォンを使い始めて に関する疑問や問題の解決を支援す しゃべってコンシェルの操作で難 おり，そのようなユーザでも使いや る．そのために端末機能やサービス しい点や分かりづらい点を把握する すい機能やサービスへのニーズが高 内容に関する質問に回答する機能を ため，NTT サービスエボリューシ まっている． 追加する． ョン研究所ICTデザインセンタの協 そこでらくらくスマートフォン 力のもと，シニア層のユーザを対象 （F-12D）向けに提供している音声エ 方針①について，シニア層のユー ージェントサービス「しゃべってコ ザを被験者とした UI に関する評価 ンシェル for らくらく Ver.1.0」を改 実験を行い，結果から抽出した課題 修し， 「しゃべってコンシェル for ら の解決を図る UI の設計と実装を行 とする評価実験を行った． 2.1 実験概要 被験者は，スマートフォンおよび Â 2013 NTT DOCOMO, INC. 本誌掲載記事の無断転載を禁じます． 40 NTT DOCOMO テクニカル・ジャーナル Vol. 21 No. 2 NTT DOCOMO Technical Journal しゃべってコンシェルの利用経験の と，メール作成画面に遷移し，アプ 1 点目の課題「使い方の流れが分 ない50∼60代の男女6名である．実 リの音声応答で宛先，本文の順に発 からない」に対応するために，マイ 験では被験者にいくつかの機能に関 話を促す．しかし，被験者の中に クボタン押下・発話・結果表示の流 する課題を提示し，改修前のアプリ は，宛先を発話すべき画面で本文の れが分かるように図 1 のとおり画面 を使って取り組んでいただいた．例 みを発話してしまうなど，発話すべ デザインを変更した．まず，トップ えば，「外出先で○○の場所を調べ き内容を誤ってしまう様子が観察さ 画面のマイクボタンのサイズを大き る」というような地図検索や，メー れた．しゃべってコンシェルはエー くし，さらに点滅させることで，ボ ル，天気，グルメ検索などの機能に ジェントの音声応答とユーザの発話 タン押下を促すようにした（図 1 ついて実験を行った． で操作できるように UI を設計して （a） ） ．また，音声認識画面は大きく いるが，ユーザが音声応答を聞き逃 ダイアログを示し，発話すべき場面 した場合や，すぐに理解できなかっ であることを明確にした（図1（b） ） ． た場合のフォローが必要であると考 さらに結果画面については，追加の えられる． 発話が必要ない場合はマイクボタン 2.2 実験結果 実験の結果から 3 つの課題を抽出 した． を非表示とし，ユーザが誤って操作 課題①：使い方の流れが分から ない 音声により機能呼出しや情報検索 をするためにはマイクボタンの押下 が必要だが，その操作をせずに話し かけてしまう行動が観察された．こ 2.3 課題の解決 することを防ぐようにした（図 1 2.2 に示した課題を解決するため （c） ） ． 変更②：発話例の表示 に下記のようにUIを変更した． 変更①：画面デザイン変更による 2 点目の課題「発話文を思いつか ない」に対応するために，図 2 のと 操作方法の明確化 れはユーザがアプリの基本的な使い 方の流れを理解できていないことに 起因すると考えられる． 課題②：発話文を思いつかない 使い方の流れがわかったとして 変 更 前 も，具体的な発話文を思いつかずに マイクボタン押下後に考え込んでし まう行動が観察された．これは，し ゃべってコンシェルで使える機能 や，それらを呼び出すための話しか けかたが十分に認知されていないた めと考えられる． 課題③：繰返し発話が必要な場合 変 更 後 の使い方が分からない 乗換案内，メール，電話，メモな どの一部の機能については，繰返し マイクボタンは 大きく・点滅 発話すべき場面で あることを明確化 必要ない場面では マイクは非表示 発話することで初めて実行できる （a）トップ画面 （b）音声認識画面 （c）結果画面 UIも提供している．例えばメールの 図 1 使い方を明確化した画面デザイン 場合「メールしたい」と発話する NTT DOCOMO テクニカル・ジャーナル Vol. 21 No. 2 41 らくらくスマートフォン向けしゃべってコンシェルの開発 おり代表的な機能とその機能を呼び かでも Web サイトの形で即座に回 動作の流れを図 5 に示す．ほとん 出すための発話例を表示するように 答が得られること，料金やサービス どの処理は従来のしゃべってコンシ 変更した．アプリのトップ画面で一 の受付け方法などさまざまな情報を ェルと同じである[3]． 定時間以上マイクボタン押下がない 1 カ所に集約していることから，サ サービスに関する質問をするとク 場合，発話例が表示される． ービスに関するユーザの疑問や問題 ラウド上のしゃべってコンシェルサ の解決を支援するために FAQ との ーバへ情報が伝えられる（図 5 ①） ． 連携機能を実装した． しゃべってコンシェルサーバには音 変更③：ボタンのワーディングに NTT DOCOMO Technical Journal よる繰返し発話の誘導 3 点目の課題「繰返し発話が必要 FAQとの連携時の画面を図 4に示 な場合の使い方が分からない」に対 す．トップ画面（図 4（a） ）で「利 音声認識機能は音声をテキスト表現 応するために，ユーザが操作するボ 用中断について教えてください」な に変換する（図5②） ．意図解釈機能 タンのワーディングを変更した． ど携帯電話サービスに関する質問を はテキストの傾向を判断して処理を 図 3 にメール機能の宛先入力画面 行うと，FAQの検索結果ページを取 引き継ぐタスク（端末機能やサービ の例を示す．図 3（b）に示すとお 得し画面内に表示する（図4（b） ） ． ス）と検索条件を決定する（図 5 り，宛先を入力する場合は，マイク ボタンのワーディングを「宛先をし ゃべる」とし，発話すべき内容を明 確にした． 3. 端末機能やサービス 内容に関する質問に 回答する機能の追加 3.1 よくあるご質問（FAQ） との連携 「よくあるご質問（FAQ） 」 （以下， （a）変更前 図3 （b）変更後 ボタンワーディング変更例 FAQ）はドコモの Web サイト上で 提供している，ユーザから寄せられ る問合せの中からよくあるご質問と その回答を掲載した Web サイトで ある．ドコモはさまざまなユーザサ ﹁ 教利 え用 て中 く断 だに さつ いい ﹂て ポートの取組みを行っているが，な （a）しゃべってコンシェル for らくらく トップ画面 図2 42 声認識機能と意図解釈機能があり， 発話例の表示画面 よくあるご質問 （FAQ）と連携し 検索結果を表示 （b）よくあるご質問（FAQ） 検索結果画面 図 4 よくあるご質問（FAQ）との連携イメージ NTT DOCOMO テクニカル・ジャーナル Vol. 21 No. 2 NTT DOCOMO Technical Journal ③）．動作の指示が端末アプリケー ホームページ上などで提供してい 実装した．「使いかたガイド」との ションに伝わり（図 5 ④），FAQ サ る．その中でも「使いかたガイド」 連携イメージを図 6 に示す．「マナ イトの検索結果を取得する（図 5 は最も網羅的に情報を確認可能であ ーモードの設定方法」など，機能の ⑤） ．以上が FAQ との連携時の動作 ることとともに，検索機能を具備し 使い方や設定方法に関する質問を行 の流れである． ており必要な情報を即座に表示可能 うと，使いかたガイドを検索キーワ 意図解釈はタスク判定とキーワー であるという特長がある．そこでユ ードとともに起動する（図 6（b） ） ． ド抽出の 2 つの機能から構成され ーザの端末機能や設定方法に関する 使いかたガイドは検索キーワードを る．タスク判定はテキストに変換さ 疑問や問題の解決を支援するために 使ってアプリ内部のコンテンツを検 れたユーザの発話文章をもとに，多 「使いかたガイド」との連携機能を 索し，1 件の場合はそのページを直 ＊1 ＊2 クラス分類 と呼ばれる機械学習 の手法を用いて，ユーザの要求に応 ユーザ端末 しゃべってコンシェルサーバ えるために適切なサービスや機能が タスク判定 ●サービスに ① 関する質問 何であるかを判断する．今回の開発 では乗換案内などこれまで提供され 音声認識 ていたタスクに加え，料金や手続き ●よくあるご質問 ④ （FAQ）サイト 取得の指示 方法などサービスに関する質問が行 われた際に FAQ を適切なタスクで あると判断するように多クラス分類 の動作を変更した（図5（③-1） ） ． キーワード抽出はタスク判定で決 しゃべってコン シェルforらくらく アプリ 意図解釈 キーワード抽出 ③ -2）質問文からよ ●音声をテキ ● ② ③よくあるご質問 （● ストへ変換 （FAQ）表示の判断 くあるご質問（FAQ） と検索条件の決定 に入力する検索キー ワードを決定 ⑤検索結果 ● ページの取得 よくある ご質問 （FAQ） サイト 定されたサービスや機能それぞれに 対して，適切な結果を得るための検 索条件などを設定する機能である． （● ③ -1）質問文の傾向 からよくあるご質問 （FAQ）が適切と判断 図 5 よくあるご質問（FAQ）連携時の動作の流れ 今回は FAQ の接続先 URL や検索キ ーワードの設定などを行うように機 能を追加した．検索キーワードとし （a）しゃべってコンシェル forらくらく トップ画面 （b）使いかたガイド ては，発話中に出現したサービス名 称や，サービス名称と一緒に発話さ れることが想定される「料金」など の単語を抽出することとした（図 5 （③-2） ） ． 3.2 使いかたガイドとの 連携 「使いかたガイド」は端末の使い ﹁﹁ 赤ブ 外ッ 線ク マ のー 使ク いの か登 た録 ﹂方 法 ﹂ （b-1）説明画面 （結果一件の場合） （b-2）検索結果一覧画面 （結果複数の場合） 方や設定方法を確認できるアプリケ ーションである．ドコモは使い方や 図 6 使いかたガイドとの連携イメージ 設定方法に関するさまざまな情報を ＊ 1 多クラス分類：事例の統計処理により得 られた判断基準に基づいて，入力情報の 集まりを複数のグループに分類する手法． ＊ 2 機械学習：事例を基にした統計処理によ り，計算機に入力と出力の関係を学習さ せる枠組み． NTT DOCOMO テクニカル・ジャーナル Vol. 21 No. 2 43 らくらくスマートフォン向けしゃべってコンシェルの開発 接表示し（図 6（b-1） ） ，結果が複数 タスク判定については端末の使い まれることが多く，また同じ意味で あった場合はそれらをリスト表示す 方に関する質問が行われた際に「使 もさまざまな単語で表現される．こ る（図6（b-2） ） ． いかたガイド」を適切な機能である れらの単語をすべて利用し使いかた と判断するようにクラス分類モデル ガイドのコンテンツを検索した場 を変更した． 合，検索結果が 0 件になることが頻 動作の流れを図 7 に示す．FAQと NTT DOCOMO Technical Journal の連携と同じくタスク判定・キーワ ード抽出機能へ機能追加を行い，使 次に，キーワード抽出について述 発し，ユーザは使いづらさを感じ いかたガイドアプリケーションを起 べる．自然な音声発話文には検索キ る．そこで，発話から抽出したキー 動するようにした． ーワードとして有効な単語が複数含 ワードを取捨選択し，発話に完全に ユーザ端末 しゃべってコンシェルサーバ タスク判定 ●端末機能に ① 関する質問 音声認識 ⑤起動 ● 意図解釈 ●使いかたガイ ④ ド起動の指示 使いかた ガイドアプリ キーワード抽出 ●音声をテキ ② ストへ変換 しゃべって コンシェル forらくらく アプリ 図7 （③ -1）質問文の傾 向から使いかたガイ ドが適切と判断 ●使いかたガイ ③ ド起動の判断と 検索条件の決定 （③ -2）質問文から使 いかたガイドに入力 する検索キーワード を抽出 使いかたガイド連携時の動作の流れ 質問文入力 キーワード候補抽出 検索結果件数推定 推定検索結果数＞1？ No キーワード候補を 1件削除 Yes 現在の候補を検索 キーワードとする 図8 44 キーワード選定処理の流れ NTT DOCOMO テクニカル・ジャーナル Vol. 21 No. 2 回答できる内容が使いかたガイドに 果件数を推測する．検索結果件数が 今後はリリース後の利用状況調査 ない場合でも，近い内容のページを 0 件の場合はキーワードを 1 つ削除 を踏まえ，より簡単にスマートフォ 最低 1 件表示できる場合だけ使いか し，残りのキーワードで再度検索結 ンを利用いただくための取組みを継 たガイドへ遷移するように制御する 果件数を推測する．これを検索結果 続的に実施する予定である． キーワード選定処理も実装した．キ が 1 件以上になるまで繰り返し，最 ーワード選定処理の流れを図 8 に示 後に残ったキーワード集合を使って す． NTT DOCOMO Technical Journal 使いかたガイド内部のコンテンツ 検索結果の件数を推定できるよう 文 献 使いかたガイドを起動する． [1] NTTドコモ：“よくあるご質問 （FAQ） .” 4. あとがき [2] NTT ドコモ：“わかりやすい操作説明 http://faq.nttdocomo.co.jp/faq/ への取組み｜お客様サポート｜ NTT に，各ページと，それを検索するた スマートフォン機能やサービスを めのキーワードの対応関係をリスト より幅広いユーザにご利用いただく http://www.nttdocomo.co.jp/support/ 化してしゃべってコンシェルサーバ ことをめざした，「らくらくスマー trouble/manual/download/guide/ に保持しておく．発話から抽出した トフォン（F-12D） 」向けのしゃべっ キーワード候補の集合と使いかたガ てコンシェルのバージョンアップに 語処理,” 音声言語情報処理 2012-SLP- イド検索表を照らし合わせ，検索結 ついて解説した． 93(4), pp.1-6, 2012. NTT DOCOMO テクニカル・ジャーナル Vol. 21 No. 2 ドコモ.” index.html [3] 吉村 健：“しゃべってコンシェルと言 45
