複数台ロボット環境における

一般社団法人 電子情報通信学会 信学技報

THE INSTITUTE OF ELECTRONICS, IEICE Technical Report INFORMATION AND COMMUNICATION ENGINEERS

This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere.

Copyright ©20●● by IEICE

複数台ロボット環境における HRI 分析のためのユーザ動作計測

増田 琢弥

^†

大和 淳司

^†

杉山 弘晃

^‡

†工学院大学情報部 〒192105-0015 東京都八王子市中野町

2665-1

‡NTT コミュニケーション科学基礎研究所 〒619-0237 京都府相楽郡精華町光台

2-4 E-mail: j318249@ns.kogakuin.ac.jp, jy@acm.org, h.sugi@ieee.org

あらまし

これまでに複数台の対話ロボットとユーザの対話におけるユーザの反応を分析するため様々な情報 取得方法を試みてきた。ユーザによる主観評価、発話時間長などの客観指標、ユーザの生理指標などである。これ らについての利害得失を整理し、新たに導入するユーザの動作計測の特長をまとめる。動作計測の特性に基づいた 研究の方針についてまとめ、今後の研究計画について述べる。

キーワード

対話ロボット，対話システム，HRI，動作計測

Motion measurement for HRI analysis of user with multi conversational robots

Takuya MASUDA

^†

Junji YAMATO

^†

and Hiroaki SUGIYAMA

^‡

†

Faculty of Informatics, Kogakuin University 2665-1 Nakano-cho Hachioji, Tokyo, 192-0015 Japan

‡

NTT Communication Science Laboratories 2-4 Hikari-dai, Seika-cho, Kyoto, 619-0237 Japan E-mail: j318249@ns.kogakuin.ac.jp, jy@acm.org, h.sugi@ieee.org

Abstract We have tried various information acquisition methods to analyze the user's reaction in the dialogue between multiple dialogue robots and the user, including subjective evaluation by the user, objective index such as utterance time length, physiological index of the user. We will sort out the advantages and disadvantages of these, and summarize the features of newly introduced user motion measurement using motion capture devices. The research plan based on the characteristics of motion measurement is described.

Keywords dialogue robot, diarogue system, HRI, motion capture

1.

は じ め に

近 年 様 々 な 対 話 シ ス テ ム に 注 目 が 集 ま る 中 、 特 に Siriや Google Homeな ど あ る 程 度 文 脈 を 理 解 し た 発 話 の で き る 対 話 シ ス テ ム が 広 く 普 及 し て き た 。 一 問 一 答 に と ど ま ら ず タ ー ン を 重 ね る 対 話 も 部 分 的 に 可 能 と な っ て い る 。 著 者 ら は こ れ ま で 複 数 台 の 対 話 ロ ボ ッ ト と の 対 話 に お け る ユ ー ザ の 対 話 意 欲 に つ い て 検 討 し て き た[1,2]。 こ れ ら の 対 話 シ ス テ ム に お い て も 、 ユ ー ザ と の や り 取 り が 長 く な る と 不 自 然 な 返 答 を し た り 対 話 破 綻 を 起 こ す こ と で ユ ー ザ の 対 話 意 欲 を 減 退 さ せ 、 ユ ー ザ が 対 話 シ ス テ ム 自 体 を 利 用 し な く な る 可 能 性 が 高 ま る 。

人 同 士 の 対 話 で は ジ ェ ス チ ャ や ス キ ン シ ッ プ な ど 身 体 を 用 い た 非 言 語 情 報 の 共 有 が 自 然 に 行 わ れ て い る 。 そ こ で 、 発 話 内 容 の 文 脈 だ け で は な く ユ ー ザ の 非 言 語 行 動 を 読 み 取 り 対 話 に 反 映 さ せ る こ と が で き れ ば 、 よ り 自 然 な 対 話 に 近 づ く こ と が で き 、 ユ ー ザ の 対 話 意 欲

の 維 持 に つ な が る と 考 え ら れ る 。

そ こ で 本 研 究 で は 人 同 士 の 対 話 に お け る 動 作 を 計 測 し 、 ユ ー ザ の 対 話 意 欲 の 維 持 に 影 響 す る 非 言 語 行 動 に は ど ん な も の が あ る か 分 析 を 行 お う と 考 え た 。 ま た 対 話 意 欲 を 外 部 か ら 知 る た め に 、 ユ ー ザ 行 動 や 動 作 の ど の よ う な 特 徴 が 有 効 か に つ い て も 検 討 を 行 っ て い き た い 。

2. 関連研究

ど の よ う な 非 言 語 行 動 が ユ ー ザ の 対 話 意 欲 の 維 持 向 上 に 有 効 か を 考 え る た め 、 ま ず 対 話 意 欲 を 評 価 し 比 較 す る た め の 指 標 が 必 要 で あ る 。 し か し 、 人 同 士 が 自 然 に 対 話 す る 状 況 を 想 定 す る と 、 発 話 ご と に 対 話 を 中 断 さ せ て そ の 時 点 の 対 話 意 欲 を 評 価 さ せ る の で は 都 度 対 話 を 中 断 さ せ る こ と と な り 自 然 な 対 話 を 阻 害 す る こ と に な る 。 ま た 対 話 意 欲 を 発 話 者 本 人 に 主 観 的 に 評 価 さ せ る 場 合 、 定 量 的 な 評 価 を 高 い 精 度 で 安 定 的 に 得 る - 1 -

一般社団法人 電子情報通信学会 THE INSTITUTE OF ELECTRONICS,

INFORMATION AND COMMUNICATION ENGINEERS

信学技報

This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere.

        Copyright ©2021 by IEICE IEICE Technical Report CNR2021-1(2021-07)

こ と が 難 し い 。

一 方 で 、 外 部 か ら 計 測 可 能 な 行 動 の 指 標 や 生 理 指 標 に よ れ ば 客 観 的 定 量 的 な 計 測 が 可 能 と な る 。 例 え ば 丸 山 ら[1]が 行 っ た 発 話 長 とsAA（ 唾 液 ア ミ ラ ー ゼ 活 性 度 ） 比 を 指 標 と し た 実 験 で は 、 対 話 終 了 後 の 唾 液 ア ミ ラ ー ゼ を 用 い た 。 定 量 的 な 計 測 が 可 能 だ が 、 ま ず 発 話 長 や sAAの 変 化 が 発 話 意 欲 と ど の よ う な 関 係 に あ る か 、時 間 的 に 安 定 す る か 、 個 人 差 は ど う か な ど 、 指 標 と し て の 信 頼 性 が 低 い こ と が 問 題 と な る 。

ま た こ れ ら の 指 標 は 計 測 頻 度 が 低 い こ と も 課 題 で あ る 。[1]に お い て は 一 連 の 対 話 終 了 時 に １ 回 の 計 測 を 行 っ た 。 こ れ 以 上 の 高 頻 度 な 計 測 、 例 え ば1発 話 毎 の 計 測 を 行 お う と す れ ば 、対 話 を 中 断 さ せsAAを 測 定 す る 必 要 が あ り 、 自 然 な 対 話 を 損 な う 可 能 性 が 高 い 。

一 方 で 、丸 山 ら[2]が 行 っ た ボ タ ン と レ バ ー を 用 い た 対 話 意 欲 を 入 力 さ せ る 場 合 方 式 は 、 発 話 ご と に 被 験 者 に よ っ て 対 話 意 欲 を 評 価 さ せ る こ と が 一 応 は 可 能 で あ り 、頻 度 はsAAに 比 べ れ ば 高 い 。し か し 被 験 者 の 負 荷 を 低 く す る た め 定 性 的 な 評 価 を 行 わ せ る の が 限 界 で あ っ た 。 ま た 、 ボ タ ン を 押 す 行 為 は 低 負 荷 と は い え 自 然 な 対 話 を 妨 げ る 可 能 性 は 高 い 。 こ れ ら 評 価 指 標 の 課 題 を 表1に 示 す 。

以 上 か ら 、 本 実 験 で は 自 然 な 対 話 の 流 れ を 妨 げ ず 、 精 度 が 高 く 定 量 的 な 対 話 意 欲 の 評 価 を 、 高 い 頻 度 で 得 る こ と と 、 評 価 を 客 観 的 に 行 う こ と が で き る 指 標 を 目 指 す 。 こ れ ら の 条 件 を 満 た す 指 標 と し て 、 ユ ー ザ の 動 作 か ら の 対 話 意 欲 が 評 価 で き な い か に つ い て の 検 討 を 進 め る 。

表1 評 価 指 標 の 課 題

sAA ボタン

レバー

定量・定性 定量 定性

主観・客観 客観 主観

計測頻度 極めて低い 低い

3.

対 話 実 験 の デ ザ イ ン 3.1 目 的

人 同 士 の 自 然 な 対 話 を 阻 害 す る こ と な く 対 話 意 欲 の 計 測 を 行 い た い 。 そ の た め 非 言 語 行 動 の 分 析 、 特 に ユ ー ザ の 動 作 か ら 対 話 意 欲 が 評 価 で き る か に つ い て 検 討 を 行 う 。

3.2

評 価 指 標 の 候 補

本 実 験 で 検 討 す る 評 価 指 標 の 候 補 を 表2に ま と め た 。 対 話 意 欲 が 高 け れ ば 対 話 に 多 く 参 加 し 、 発 話 長 も 長 く な る と 考 え 、 一 定 時 間 内 に ユ ー ザ が 発 言 し た 時 間 の

割 合 を 調 べ 対 話 意 欲 の 指 標 と す る 。

ま た 、 自 然 な 対 話 を 損 な わ ず に ユ ー ザ の 非 言 語 行 動 を 測 定 す る た め 、 多 数 の カ メ ラ と マ ー カ ー を 使 用 す る Motion Capture (Cortex)で ユ ー ザ の 動 き を 計 測 す る 。こ れ に よ り 高 い フ レ ー ム レ ー ト で 身 体 の 座 標 が 数 値 と し て 得 ら れ る 。 定 量 的 な 計 測 が 高 精 度 に 可 能 で 、 自 然 な 対 話 を 中 断 さ せ る こ と な く 動 作 を 取 得 す る こ と が で き る 。 ま た 対 話 意 欲 の Ground truthと し て は 本 人 に よ る ボ タ ン 入 力 と 複 数 の 第 三 者 に よ る 映 像 観 察 に よ る ラ ベ リ ン グ を 検 討 す る 。 本 人 入 力 は 頻 度 が 低 い こ と と 対 話 に 影 響 す る こ と が 欠 点 で あ り 、 第 三 者 入 力 は 精 度 が 低 い こ と が 課 題 で あ る 。 複 数 組 み 合 わ せ て 使 用 す る こ と で 、 評 価 指 標 候 補 と の 相 関 を 検 討 し て い く 。

表 2 評 価 指 標 の 候 補

評価指標 計測方法

発話時間長比率 ある time window 内に占め る発話時間の割合の時間変化

関節の角速度

motion capture (Cortex)で 位置計測した 3 点の角度から 角速度の時間変化を計測 頭部運動（視線の近似）

頭部計測点から視線方向を 近似し、対話相手を中心とした 注視点位置計測

3.3

手 順

実 験 手 順 の フ ロ ー チ ャ ー ト を 図 1に 示 す 。 図2の よ う に 被 験 者 全 員 に 右 人 差 し 指,右 手 の 甲,右 腕,右 肘,右 の 二 の 腕,右 肩,背 中,左 人 差 し 指,左 手 の 甲,左 腕,左 肘,左 の 二 の 腕,左 肩,右 側 の 胸,額,頭 頂 部,後 頭 部,右 側 の 側 頭 部 の 計 18 個 の 反 射 マ ー カ を 取 り 付 け る 。 そ の 状 態 で 向 か い 合 い 、 机 を 挟 ん で 椅 子 に 座 り な が ら5分 間 の 対 話 を 始 め る よ う 教 示 す る 。

5 分 間 の 対 話 を 録 音 し 、Cortex で 動 き を 録 画 す る 。 対 話 が 終 わ っ た 後 、 録 音 し た 音 声 か ら そ れ ぞ れ の 被 験 者 が1分 間 に 話 し て い た 文 字 数 の 割 合 の 時 間 変 化 を 調 べ る 。 次 に 録 画 し た Cortex か ら 右 人 差 し 指-右 手 の 甲, 右 手 の 甲-右 腕,右 腕-右 肘,右 の 二 の 腕-右 肩, 左 人 差 し 指-左 手 の 甲,左 手 の 甲-左 腕,左 腕-左 肘,左 の 二 の 腕-左 肩,頭 頂 部 と 後 頭 部 を 結 ぶ 直 線 と 額 を 水 平 に つ な い だ2 点 間 の 角 速 度 の 時 間 変 化 を 調 べ る 。 そ し て 発 話 の 割 合 の 時 間 変 化 と そ れ ぞ れ の 角 速 度 の 時 間 変 化 を 点 グ ラ フ に し 、 ど の 動 き が 発 話 の 割 合 と 相 関 が 強 く な る か を 確 認 す る 。 ま た 発 話 ご と に 対 話 の 継 続 意 向 に つ い て の ボ タ ン 入 力 を 行 う 。 対 話 の 映 像 ・ 音 声 記 録 を 実 験 後 に 複

- 2 -

数 の 第 三 者 に 視 聴 さ せ 、 ユ ー ザ の 対 話 意 欲 に つ い て の 評 価 を 行 う 。

図1 実 験 手 順 フ ロ ー チ ャ ー ト

図2 被 験 者 が 反 射 マ ー カ を つ け た 状 態

4.

ま と め と 今 後 の 検 討

以 上 の 方 針 に 基 づ き 低 侵 襲 で 高 頻 度 な 客 観 的 定 量 的 な 計 測 方 法 に つ い て の 検 討 を 進 め て い く 。 現 在 、 単 一 被 験 者 の 記 録 は 可 能 で あ る が 、 動 作 記 録 時 の 複 数 人 デ ー タ 取 得 の た め の 動 き の テ ン プ レ ー ト 作 成 を 進 め て い る 。 ま た 視 線 の 近 似 と し て 頭 部 方 向 を 安 定 し て 抽 出 す る た め 、 頭 頂 部 と 後 頭 部 の マ ー カ ー を 組 み 合 わ せ て 利 用 す る 方 式 の 検 討 を 進 め て い る 。 水 平 方 向 と 垂 直 方 向 の 情 報 を 異 な る 組 み 合 わ せ か ら 得 る こ と で 安 定 取 得 が 可 能 か 予 備 実 験 で の 評 価 を 進 め る 。 ま た 第 三 者 に よ る 対 話 意 欲 評 価 を 安 定 し て 行 う た め の 注 目 点 や 教 示 に つ い て も 課 題 が 多 く 引 き 続 き 検 討 を 進 め て い く 。

文 献

[1] 丸 山 洸 太 ， 大 和 淳 司 ， 杉 山 弘 晃.”対 話 ロ ボ ッ ト の 複 数 台 化 と ジ ェ ス チ ャ 表 出 に よ る 対 話 意 欲 変 動 の 分 析”, 電 子 情 報 通 信 学 会 論 文 誌 D Vol.J104-D No.1 pp.30-41 発 行 日: 2021/01/01

[2] 丸 山 洸 太 ， 大 和 淳 司 ， 杉 山 弘 晃, ”対 話 意 欲 変 動 要 因 と し て の 対 話 ロ ボ ッ ト の 複 数 台 化 と ジ ェ ス チ ャ 表 出 の 有 効 性 評 価”, Human Agent Interactionシ ン ポ ジ ウ ム 2018, P-35, 2019年3月

実験準備

被験者全員い反射マーカを装着させ る

机を囲んで向かい合い頭のマーカが 水平を向いていることを確認する

Cortexによる録画、レコーダーによる 録音、ビデオカメラによる実際の映像 の録画、全体の様子を確認できるビ

デオカメラの録画を始める

実験開始

5分間の対話を始めるよう教示する

5分間の対話が終了

分析開始

Cortexで取得したExcelデータからそ れぞれの関節の動きの時間変化を

調べる

レコーダーで得た音声から被験者ひと りずつ、発話時間が1分間に占める割

合の時間変化を調べる

上二つの動きと発話時間の割合にど のような相関があるかを分析する

実験終了

- 3 -