Jikantekina insho henka no bunseki ni yoru maruchimedia deta kensaku kashika shisutemu

Title Sub Title Author Publisher Publication year Jtitle Abstract. Notes. Genre URL. Powered by TCPDF (www.tcpdf.org). 時間的な印象変化の分析によるマルチメディアデータ検索•可視化システム 倉林, 修ー(Kurabayashi, Shuichi) 慶應義塾大学湘南藤沢学会 2014 交通運輸情報プロジェクトレビュー No.23 (2014. ) ,p.20- 27 本報告では, Web上に拡大する動画像, 音楽データ, および, 動画像を対象とし, それらを多様なコンテクストを持つ時系列メディアデータとして捉え, 時系列的な分析による印象コンテクストの自動抽出, 検索, 可視化を行うマルチメディアデータベースシステムについて述べる。本システムは, これまで感性的な視点からの情報獲得が困難であった時系列メディアデータを対象として, 個人の感性的嗜好に合致する対象の自動配信環境を実現する, 新たなコンテンツ流通基盤として位置づけることが出来る。 2014年度慶應義塾大学JR東日本寄附講座報告書 慶應義塾大学交通運輸情報プロジェクト その1 : JR東日本寄附講座担当教員の活動報告 Technical Report http://koara.lib.keio.ac.jp/xoonips/modules/xoonips/detail.php?koara_id=KO92001006-00000023 -0020.

時間的な印象変化の分析による マルチメディアデータ検索•可視化システム 食林修一 (慶應義塾大学環境情報学部）. 概要： 本報告では、Web 上に拡大する動画像、音楽データ、および、動画像を対象とし、それらを多様なコンテクス トを持つ時系列メディアデータとして捉え、時系列的な分析による印象コンテクストの自動抽出、検索、可視 化を行うマルチメディアデータベースシステムについて述べる。本システムは、 これまで感性的な視点からの 情報獲得が困難であった時系列メディアデータを対象として、個人の感性的嗜好に合致する対象の自動配信環 境を実現する、新たなコンテンツ流通基盤として位置づけることが出来る。. 1 . はじめに 近年、動画配信サイトや音楽配信サイトの発展に 伴 い 、インターネット上の主要なコンテンツとして、 動画像や音楽のように、時間軸に沿って内容が変化 するメディアデータが飛躍的に普及してきている。 これらの動画•音楽配信を効率的に利用するために は、 コンテンツのストーリー性や時間軸に沿った内 容の変化を考慮した検索エンジンの実現が重要な研 究課題となっている[18]。 Web上に大量に存在する動画像 コンテンツ 群の中 から、利用者の嗜好に適合する コンテンツを 探し出 すための手段として、 コンテンツに 付与されたキー ワードやテキストによるタグ情報（これらをアノテ ーシヨンと呼ぶ） を対象とした文字列照合検索や、 内容情報（ 色彩、構図、オブジェクトの動きなど） に 応 じ た 検 索 [6][19] [20] [25] [25]が実現されてい る。 これらの検索手段は、利用者が検索対象に閨す る詳細な情報を既知とする場合に有効である。 しか しながら、文 献 [7]における調査では、動画共有サイ トの利用者の多くは、動画を視聴する動機として視 聴時の気分や雰囲気を重要な要因として挙げており、 利用者にとって未知のコンテンツであっても感性的 に適合するものを、抽象的なキーワードを用いた検 索や人手による探索を通じて獲得していることが指 摘されている。 このような未知の動画像コンテンツを獲得するた めの検索、すなわち、発見的検索を実現するために は、印象に応じた検索方式[1]が、検索対象に閨する 詳細情報を必要とせず、利用者の感性的嗜好を表現 する問い合わせを用いて対象を検索するため、有効 である。 これまでに、静止画像を対象とした印象検 索方式[8]や 、音楽データを対象とした感性検索方式 [10]が提案されている。動画像を対象とした感性検 索としては、ユーザが自発的に動画像に付与したキ 一ワード文字列、タグ文字列、 コメント文字列を対 象とした感性検索方式[21]が提案されている。 これ らの文字列メタデータは、 ソーシャルネットワーク を通じて共有され、共同的に構築されるため、 ソー シャルアノテーシヨンと呼ばれる。視覚メディアと しての動画像が視聴者に与える直接的な印象に応じ た検索を実現するためには、動画像中の内容変化を. 20. 扱うことが必要であるが、動画像の内容を対象とし た感性分析を行い、感性的な内容変化に応じた検索 は、実現されていない。従来の動画検索システムは、 動画像中から、特定めシ1— ンや特定のオプジヱクト を検索することを目的としており、動画像の内容全 体が持つ感性的特徴から動画像を探し出すことは困 難である。 時間軸に沿った印象の変化に応じたメデ ィア検索を実現するためには，次 の 3 機能が必要と なる。 • メディアデータの印象は、時間軸に沿って推移 していくため、メディアデータにおける印象変 化の文脈を自動的に識別し、時系列印象メタデ 一夕を自動抽出する機能 • メディアデータ間の感性的な類似性、差異性は、 静的な関係によって決定されるものではない ため、多様な印象の文脈を識別し、利用者の感 性 的 な 情 報 の 要 求を記述した問い合わせを解 釈し、検索ランキングを行う機能 • 利用者が検索結果として得たすべてのメディ アデータを実際に再生し、問い合わせとの適合 性を検証することは時間的に困難であるため、 動画像中の感性的内容変化を直感的に表示し、 利用者の理解を支援する可視化機能 本報告では、時間軸にそって内容が変化するデ一 夕、“時系列メディアデータ”を対象として、そのコ ンテクストの自動抽出を伴う印象分析•検索方式、 および、それを実現するシステム群について示す。 人類が日々作成し続ける情報の多くは、時間情報を 伴っており、その多くは時系列メディアデータとし て位置づけることが出来る。本研究は、 これらの時 系列メディアデータに内在する文脈抽出の技術を中 核としており、幅広い応用が可能である。. 2 . 閨連研究 メディアデータを対象とした感性分析•検索の手 法は、印象メタデータの生成方法において、大きく は、人間がメタデータを記述する直接生成方式と、 メディアデータの特徴量と印象メタデータの相閨定 義を用いてメタデータを自動生成する間接生成方式 に分類できる。 直接生成方式は、人間がメディアデータを実際に.

鑑賞し，感性と閨連する形容詞を用いてメディアデ 一夕のメタデータを記述するものである。 動画像を 対象とした感性メタデータの直接生成方式としては、 動 画 像 に付与されたソーシャルアノテ 一ション（ソ 一シャルネットワークを通じて共有され、共同的に 構築されるキーワードやタグ情報） を対象とした感 性検索方式[21]がある。 直接生成方式は、 メディア データを人間が鑑賞するため、人間が視聴時に受け る直観的な印象と適合するメタデータを高精度に生 成することができる。 しかしながら、人間がメディ アデータを実際に鑑賞する必要があるため、大規模 なメディアデータ群を対象として、印象メタデータ を付与することは難しい。 メタデータを付与する鑑 賞者の人数が多い場合、付与する印象語の語彙の一 貫性を保つことも困難となる。 間接生成方式は、印象語と、 メディアデータから 直接抽出可能な特徴量との相関関係を、統計調査や 機械学習により予め求めておき、 メディアデータを 対象とした自動索引付を実現する方式である。本論 文において不す MediaMatrixシステムは、メディア データの特徴量（ 色彩）と 印 象 メ タ デ ー タ （ 印象語） の相関定義を用いてメタデータを自動生成する間接 生成方式に分類される。文 献 [9]では、アニメーショ ン動画像を対象として、配色の傾向を抽出し、アニ メーションの色彩演出に応じた自動索引付け手法を 提案している。動画データと同様に、時間軸を伴う メディアである音楽データを対象とした感性検索技 術も多数提案されている。文 献 [3]は、楽曲を視聴し た際の印象の受け方が類似するユーザを予めグルー ビングすることにより、音楽の聞き手であるユーザ の嗜好に応じて、それぞれの楽曲へ検索のためのメ タデータを付与する方式を示している。音楽データ ベースにおいて、時間軸に沿った印象メタデータ生 成に取り組んだ研究として、文 献 [4]は、一つの楽曲 内の時間的変化に応じて、楽曲の印象変化を分析し、 その印象の変化を検索用メタデータ（ 印象メタデ一 タ） として付与する音楽データベース•システムを 提案している。文 献 [4]が示す印象メタデータの生成 方式は、一楽曲中の隣り合う前後のセクション間の 印象特徴量の差分を計量し、その差分を重みとして メタデータに反映することにより、一楽曲内におけ る印象の推移を反映したメタデータを生成する。 人間の感情の分析手法としては、心理学者のラッセ ル （ Russell, J. )、 メ ラ ビ ア ン （ Mehrabian，A.) ら が、快 （ Pleasure)、覚 醒 （ Arousal)、 優越（ Dominance) で形成される3 次 元 の P-A- D感情モデルを用いて、 感 情 （ 情動反応） を符号化する手法を提案している [23]、こ の P-A-D感情モデルを動画像検索に応用し、 視聴者が感じる情動反応に応じた、動画像への自動 的な索引付け手法が文献[6]で提案されている。動画 像への索引付けとは、動画像中の特定のシーンに、 そのシーンの意味や印象を表すキーワードや数値を 付与することである。付与されたキーワードや数値 を索引（ インデクス） と呼び、動画像の内容検索で は、 この索引を利用して尚速に目的のシ'一ンや動画 像を獲得する。文 献 [6]において提案されている手法. 21. は、P- A- D 感情モデルを用いて特徴付した6 つの情 動反〗 心 Amusement、Violence、Neutral、Fear、Sadness、 Happinessを用いて映像を、いくつかのシーンに分 割 し 、映像を感性的な視点から構造化することを可 能にする。映像のシーン検出に閨しては、様々な研 究が行われている。例えば、文 献 [27]では、映像中 の物理的な変化として、色の変化やカメラの動き、 登場人物の動きなどのデータを用いて映像のシーン の境目を決定する手法が示されている。. 3 . 時系列印象マ ル チ メ デ ィ ア デ ー タ 検 索 •可 視 化 機 構 本節では、 これまでに開発した、印象による情報 検 索 を 実 現 す る シ ス テ ム 群 に つ い て 述 べ る 。 動画 像•音楽を対象とした印象検索を実現する MediaMatrixシステム[13][14]、電子書籍の表紙デ ザインを対象とした印象検索を実現する Query- by-Apperanceシステム[16]、検索エンジンへ 入 力 さ れ る 検 索 語と検索語の関係を「 言葉の地図」 と し て ダ イ ナ ミ ッ ク に 可 視 化 す る QMAPシステム [15]、楽曲同士の印象の類似性を3 次元空間におけ る距離として可視化する Chord-Cube システム[17] について述べる。 3 . 1 . 動画像• 音楽データを 対 象 と し た印 象 検 索 . 可視化 MediaMatrixとは、 これまでに筆者が開発してき た動画像•音楽デ ー タ 対 象 ア ク テ ィ ブ •感 性 マ ル チ メディア配信を実現する統合システム•ソフトウュ アである（ 図 1)。本システムの目的は、時間的な内 容の変化を伴う動画像データ、および、音楽データ を対象とし、利用者に感性的要求に適合するコンテ ンツを、印 象 語 （ キーワード） を組み合わせた問い 合わせを用いて獲得する機能を実現することである。 MediaMatrix システムは、印象特徴量分析による感 性的コンテクストの自動抽出、検索、配信を行うも のであり、そのための感性自動分析処理機能と相閨 量演算機能、および、それらを組み合わせて実際の アプリケーションを記述するための動画像問い合わ せ言語を特徴とする。 ここで、動画像問い合わせ言 語とは、ユーザが獲得したいと考える動画像の印象 を記述するための簡易的なプログラミング言語であ る。 この動画像問い合わせ言語により、ユーザは、 マイクロソフト社の Accessや 、オラクル社の Oracle などに採用されている SQLと呼ばれる問い合わせ言 語と類似する手法で検索することが出来る。本章で は、実 現 し た MediaMatrixの全体設計、および、主 要機能について述べる。 MediaMatrixシステムは、動画像データから、そ の感性的特徴を表すメタデータを自動抽出し、得ら れたメタデータを用いた閨連性の計量機能による情 報獲得を実現する。本システムは、色彩心理学にお い て 定 義 さ れ た 1 3 0 色のマンセル基本色の組み合わ せ で あ る 1 8 2 配色セットを用いて、1 8 2 次元の色彩 印象空間を構築する。こ の 182配色セットにおいて、.

1 つ の 配 色 は 1 つの固有の印象語に対応しており、 構 築 し た 1 8 2 次元の色彩印象空間は、2 の 1 8 2 乗の 種類の印象のコンテクストを識別することが出来る (図 2)。 ここで、印象のコンテクストとは、基本的 な 182種類の印象キーワードを複数の組み合わせ、 かつ、それぞれのキーワードに重みを付けて表現さ れたものであり、ユーザが獲得したいと考えるメデ ィアデータの印象を示すデータである。 さらに、西 洋音楽における2 4 調 性 に 対応する2 4 次元の音楽感 性空間を構築し、2 の 2 4 乗の種類の音楽印象コンテ クストを識別可能な音楽感性分析機構（ 図 3)、およ び、2 の 2 4 乗の種類の音楽印象コンテクストの可視 化機構（ 図 4 ) を開発した。 この感性分析•可視化 機構は、動画像における時間軸に沿った色彩印象の. MediaMatrixによる動画像印象分析において、色 彩と、視聴者の感性的感覚との閨係を定義するデ一 タ構造が、色彩印象空間である。色彩印象空間は、 色彩心理学の分野において数多く定義さている配色 イメージ辞書[11][1][2]を用いて、作成することが 出来る。. 3. 2 . 電子書籍の表紙デザインを対象とした印象検 索•可視化 印象による情報検索を実現するシステムの、電子 書籍分野への応用例として、人間の感性に強い影響 を及ぼす、書籍の表紙デザインを対象とした新たな 検索システム[14]を開発した（ 図 8)。本システムは、 利用者が視覚メディアデータのラフなスケッチと色 合いを選択すると、シ ス テ ム が “エディトリアル. デザイン” という知識を用いて利用者の意図した問 い 合 わ せ を 解 釈 •拡 張 し 、高度なデザインによる問 い合わせを容易に実行可能とする。 これにより、 メ ディアデータの「 見た目」 に応じた検索を実現し、 利用者が直感的に視覚メディアデータを検索するこ とが出来る。本システムの特徴は、視覚メディアデ 一夕のレイアウトや配色をデザインする知識である エディトリアル•デザインを用いて、利用者が入力 した線画のみのラフな問い合わせデータを拡張する ことにより、類似するデザインを検索可能にする点 にある。 図 9 に、開発した電子書籍検索•可視化シ ステムの実働状況を示す。. 推移を反映したメタデータ生成のために、動画像を 任意秒数ごとの静止画像として抽出し、それら静止 画像群を対象として、映像中の色彩情報を用いて感 性特徴量を分析する機能を実現している。 また、音 楽データ分析においては、音楽データを任意の小節 数 毎 の 音 高 （ピッチ） の発音時間のヒストグラムと して抽出し、それら音高ヒストグラムの列を対象と して、調性を自動的に判定し、2 4 の調性に応じた感 性特徴量を分析する機能を実現した。 本システムが実現する動画像印象検索方式の特色 は、動画像全体において支配的に出現する印象、お よび、動画像の特定箇所において局所的に強く出現 する印象を自動的に抽出する特徴選択の演算を適用 し、動画像全体をメタデータとして要約することに より生じる印象の曖昧性を排除する点にある。 具体 的には、本システムは、動画像全体において支配的 に 出 現 す る 印 象 （ Dominant Impression)、および、 動画像の特定箇所において局所的に強く出現する印 象 （ Salient Impression) を自動的に抽出する特徴 選択の演算を適用し、動画像の全体的なイメージと. 3.3.. 局所的なイメージを表現する2 種類の印象メタデ一 タを抽出する。この特徴選択の演算を、本研究では、 “時系列印象変化分析による特徴選択演算 (Feature Selection Operation by Time-Series Impression Transition Analysis)”と 呼 ぶ （ 図 5)。この演算は、. 動画像を静止画の集合としてとらえ、すべての静止 画中の色彩の傾向から、多くのシーンで頻繁に出現 する色彩が与える印象を Dominant Impressionとし て抽出する。 さらに、 この支配的印象と逆の振る舞 いをする色彩の傾向、すなわち、局所的には頻繁に 表れるが、全体的にはあまり出現しない色彩が与え る印象を 、 Salient Impressionとして抽出する。本 システムでは、色彩印象空間において設定されたス トーリー特徴選択演算により、それぞれの印象語が ストーリ一中において位置づけられる文脈を、動画. Web検索エンジンへ入力される検索語と検索. 語の閨係の可視化•分析システム 直観的な情報検索システムの、モバイル環境への 応用として、タブレット端末上における、利用者に よる問い合わせ入力を支援するシステム QMAPシス テ ム [15]について示す。QMAPシステムは、近年普及 が進んで い る ス マ ー ト デ バ イ ス （ スマート フ ォ ン 、 タブレット端末） を対象として、動 画 像 •音 楽 デ 一 夕の検索に用いられる検索語について、検索語と検 索語の関係を「 言葉の地図」 としてダイナミックに 可視化することにより、スマート フォン やタブレッ ト端末などのタッチパネルから、検索エンジンへの 入力を容易にするシステムである。図 1 1 に、開発し た検索語自動推薦•可視化システムの実働状況を示 す。本方式の特徴は、検索エンジンに蓄積された検 索履歴のストーリー性を分析することにより、検索 をより詳細化する単語、および、検索の視点を切り 替える単語、 という二つの観点からの検索語推薦を 網羅的に実行する点にある。 3. 4 . 楽曲同士の印象の類似性の可視化 Chord-Cubeシステム[16]は、楽曲同士の印象の類 似 性 を 3 次元空間における距離として可視化する音 楽検索•可視化システムである。本システムは、楽 曲 の A メロディー 、 B メロディー、サビにおける特 徴 量 （ 調性） をそれぞれ3 次元空間上の軸にマッピ ングすることにより、楽曲と楽曲の閨係を3 次元空 間上の点としてダイナミックに可視化する。 図 12. 像の内容変化に応じて動的に計算することが可能で ある。 また、ストーリーの変化に応じた特徴選択の 機能を導入することにより、動画像全体を一つのメ タデータとして要約することにより生じる印象の曖 昧性を排除することを可能としている（ 図 6 、図 7)。 なお、図 6 と 図 7 は、同一の動画像からの抽出結果 である。. 22.

に、開発した音楽検索•可視化システムの実働状況 を示す。 本システムは、W e b 上 に お け る 3 次元画像 表示の標準仕様であるW e b G L を用いて実装され、特 別なプラグインなどを必要とせずに、Web上で自由 に 3 次元空間を回転•移動させながら楽曲を探すこ とが可能となっている。. [9]. Godlove, I. H .,'Im p r o v e d Color-Difference Formula, with. Applications. to. the. Perceptibility. and. Acceptability of FadingsM, Journal of the Optical Society of America, 4 l ( l l ) , 1951, pp.760-770. [10】 Ionescu, B., Coquin, D., Lambert, P., Buzuloiu, V., uk. 4 . まとめ 本稿では、動画像•音楽データを対象とした感性 マルチメディア配信を実現する統合システム•ソフ トウエアMediaMatrixを中心として、 メディアデ一 タの感性的な特徴量に応じた可視イヒ•検索システム について述べた。今後は、近年普及しているスマ一 トフオ ン 上で動作するマルチメディアデータベース システムの開発、および、実験を進めており、モバ イル環境における自動的なマルチメディア情報分 析 • 検 索 .配 信 を 行 う 、モ パ イル•マルチメディア 視聴環境を実現していく予定である。. Fuzzy. Color-Based. Animated. Movies. Approach. for. Content in the. Understanding Indexing Task ” ，. EURASIP Journal on Image and Video Processing, Article ID 849625, SpringerOpen, 2 0 0 8 ,17 pages. [11]. Kitagawa ，T . ，Kiyoki, Y •， “Fundamental Framework for Media Data. Retrieval. Systems. using Media-lexico. Transformation Operator • in the Case of Musical MIDI Data3J, Information Modelling and Knowledge Bases XII, IOS Press, 2 00 1，pp.316-326.. 参考文献 [ 1 ]. [12]. 清木康，金子昌史，北川高嗣，“ 意味の数学モデルによる画. scaleM, Color Research & Application, 6(2), John Wiley. 像 デ ー タ ベ ース 探索方式とその 学習機 構 ”，電子情報通信. & S o n s ,1981 ，pp.93-107.. 学会論文誌,Vol.j79-D-2, No.4, 1996, pp.509-519. [2]. [3】. [4]. [13]. [6]. Stream Retrieval System with Mechanisms for Mining. 2001 .. Contexts of Query Examples^, In Proceedings of the. 南雲治嘉，『配色イメージチャート』，グラフィック社，. 15th International Conference on Database Systems for. 2000.. Advanced Applications (DASFAA2010) ，Springer, 2010,. 熊本忠彦 ，. “ 印象に基づく楽曲検索のためのユーザモデリ. pp.452-455. Kurabayashi, S. and Kiyoki，Y_， “Impression-Aware Video. 伊地智麻子，清木康：音楽データの印象の時間的推移を扱. Color-Sentiment. Stream. Retrieval. System. Analysis. and. with. Temporal. Visualization ” ， In. う印象メタデータ自動生成方式，情報処理学会論文誌，デ. Proceedings of the 23rd International Conference on. 一夕ベース， V o l.44, No.18, 2003, pp•ト16.. Database and Expert Systems Applications (DEXA. Arifin, S. and Cheung, P. Y. K., M A computation method. 2012), Springer, 2012, p p.168-182.. video. segmentation. utilizing. [15]. the. Kurabayashi, S. and Koike, Y., ^Query-by-Appearance ：. pleasure-arousal-dominance emotional mformationM, In. Visual Query Expansion to Support Domain-Specific. Proceedings of the 15th ACM International Conference. Retrieval. on Multimedia, 2007, pp. 68-77.. Advances in Internet Technology, vol.5, no.3&4, IARIA,. Cheung, S. S. and Zakhor，A ” “Fast similarity search. 2012, p p .l62 172.. and. [8]. [14]. No.8, 2006, pp.157 164.. for. [7]. Kurabayashi, S. and Kiyoki，Y ” “MediaMatrix: A Video. 小林重順，『カラーイメージスケール改定版』，講談社，. ング手法”，情報処理学会論文誌，データベース，Vol.47,. [5]. Kobayashi，S.， “The aim and method of the color image. clustering. of. video. sequences. on. [16]. the. of. e-Books” ， International. Journal. on. Kurabayashi, S. and Shimaoka, R., KA Cross-Domain. world-wide*webM, IEEE Transactions on Multimedia,. Query. 7(3), 2005, pp.524-537.. Touchscreens that Exploits Social Search History”,. Cunningham, S. J. and Nichols, D. M ., HHow people find. International. videos”， In Proceedings of the 8th ACM /IEEE-CS joint. Technology, vol.5, no.3& 4, IARIA, 2012, pp.186-195. tl7]. conference on Digital libraries, 2008, pp.201-210.. 23. Navigation. and. Journal. Visualization. on. Advances. System. in. for. Internet. Kurabayashi， S. and Imai ，T ” “Chord-Cube: Music.

Visualization. and. Emotion-Aware. iNavigation. Metric. Space. System. with. for Temporal. an. Proceedings of the 10th International Conference on. Chord. Web Information Systems Engineering (W ISE2009X. Progression”， International Journal on Advances in. 2009, pp.401-414.. Internet Technology, vol.7 no.l& 2, IARIA, 2014. [18]. [23]. Luo, M .R., G. Cui, and B. Rigg, aThe development of the. Report of the O.S.A. Subcommittee on the Spacing of. CIE 2000 colour-difference formula: CIEDE2000”， Color. the Munsell Colors”， Journal of the Optical Society of. Research & Application, 26(5), John Wiley & Sons, 2001,. America, 33(7), 1943, pp.385-411.. pp.340 350. [19]. [24]. three-factor theory of emotions”， Journal of Research in. “Indexing. Personality, V o l .1 1 ,1 9 77 , pp. 273-294.. Image. of. Fictional. Video. Content. for. Event. and. Video. Processing,. Article. ID. [25]. 14615,. Lew, M. S., Sebe, N.,. Information Systems, 32(4), Elsevier Science, 2007,. Djeraba, C.. and Jain, R.,. pp.545-559.. ^Content-based multimedia information retrieval：State of the art and challenges’’， ACM Multimedia. Computing,. [26]. Transactions on. Communications. Indexing. P,. and. R e tr ie v a l-A. and. and. “Adaptive Video. Retrieval” ， Multimedia Approach,. Impression. S.. Machine. Intelligence,. 22(12),. 2000,. Database. [27]. Springer,. Yi, H., Rajan, D., and Chia, L.T., UA motion based scene tree for browsing and retrieval of compressed videosM, In Proceedings of the 2nd ACM international workshop. and Tanaka,. Extracted. and. pp.1349-1380.. 2006 ，p p .12 7 1 5 6 ♦ [22】 Nakamura,. Worring, M., Santini, S., Gupta, A.. of the early years'*, IEEE Transactions on Pattern Analysis. Guan ， L.,. Human-Centered. Smeulders, A. W .. and dam, R., “Content-based image retrieval at the end. Applications, 2(l), 2006, pp.1-19. Muneesawang,. Smeaton, A. F., "Techniques used and open challenges to the analysis, indexing and retrieval of digital videoM,. SpringerOpen, 2 0 0 7 ,1 5 pages.. 【 21]. R u s s e ll,J . A. and Mehrabian, A., ^Evidence for a. Lehane ，B ” O’Connor, N. E ” Lee ，H. and Smeaton, A. F ”. Detection and Summarisation”， EURASIP Journal on. [20]. N ew h all,S . M., Nickerson, D. and Judd, D. B., "Final. from. K., '"Video Search by Social. on Multimedia databases (MMDB f04), 2004, pp.10*18.. Annotation”， In. 圍 1 ® ® # ili$ 一 I I I. _ 1 動 画 像 • 音 楽 メ デ ィ ア を 対 象 と し た 印 象 分 図 2 M e d ia M a tr ix は 1 8 2 次元の色彩印 析 * 可視化* 配信を実現する M e d iaM a trix 象空間による21ぬ種類の印象コンテクスト を識別可能な動画像感性分析機能を実現. 24.

しふ. ： 5； > i. :欲;:卜 妒 :.:::么:.:： m t x.j*. （ tw 峨從•,《**'軟•《 欢 ,邮 办 夸 汾イ:斯.、 ぐ .*V. H CtX H i. I 4. 『 J r N .図. 図 3 M e d i a M a t r i x は 、2 4 次 元 の 音 楽 感 性 M e d ia M a tr ix の 感 性 時 系 列 メ デ ィ ア 空 間 に よ る 2 24種類の音楽印象コンテク ス ト 分 析 * 可 視 化 機 構 と し て 、楽曲の時系列内容 を識別可能な音楽感性分析機構を実現 分 析 *相 関 量 計 量 *可 視 化 機 構 を 実 現 {l)impression Feature Extraction. ^ Y^dmFim i ^ mifmWBb \ J. (J1) Temporal Impresston-Aware Noise Reduction. Color-lmpr^s^ion. ?. ti. 物^l|CS2》. - lm. Operaior. Com] putescorrelatmnbefe^^enmthcolors and^isohframe. videofilmm web and appl?as. 姑I曙纖咖麵咖r窃 <1faction. 180c^or^ m (^^r{${^sc^ !^1 j iss2 I??s3 i ,. r版 〇 、 4 aa 0.1 ai o.o 0.a 44 0 .3 0 .2 5 CM 3 0,33 0,11 細• Time-Ser» CoioNmpressMyatnx. Query. Salient. 1 Basic Impression Meiadal^. (. (3 ) Context-Dependent Relevance Computation. |. VI, ：V| l. 'メ’ .. |. Operator^. J. .. J. |,. !. Subspace. VVぐ. cs? Compui雜net綱 職 、. Dominant Imprassfon Selection. Safien! Impr^is^bn. scorn betwea?i the. 聯 ryvecte_ met^da^ vectorsin 測_ 騰 Mote發Fteducftmby _ ® mlca%. 1. Saledlng Featyms. 図 5. 時系列印象変化分析による特徵選択演算の概要. |*v^e«*ys« •«• |你； •.物k か.絝你你. I^. VSなぶ..软 M ド V ゲ於>ぬ.、 '^令 取 ^« « V 命'欲タぶ欢 .喻 為，〜§格3^、 *'物备 冰令《粉c^ » 私I.お'於： 私姑的供嫩•細i |. 取 す ※. «■. <. 命辦®<私••琪ルを？. ^. -yatmi^c ^. 'ぐ轉绔 «#y$. ※泳《 §气. ■*. ^•>c«y«•p&si^ ♦. ^. v.. 図 6. 料 欢. ■. ： ， ::,r :. •>fv^〇 s» *?<««：%^<.m. «. « tX5^*>^}〇 |?r<Jaifi«- ^mi r--. 献你> .冬祕雜嘴>$ •か 叫 你 令 べ 續 • 《.ぐば«5»3彳物承r衫〇 s«. 1 : : 久. v^sjm c*. 松於s私 ^^« .ぐ .？ ^ ^ 欺c^_妙^鄉. ^. 'か 物 ?.•.物 t次後於. je >v«. * tim ■*. |»於s ★{你然浆 攻•ダ你*典:^众-&•你ゆ戎今分浓. 調. ■. こ. <*. : : 、. 動 画 像 の 特 定 箇 所 に お い て 局 所 的 に 強 く 出 現 す る 印 象 （ S a lie n t Im p r e s s io n ) を 自 動 的. に抽出する特徴選択の演算の適用例. 25.

る特徵選択の演算の適用例. 1. Initial Query Input. 岭. 3, Relevance Computation j. 2. Visua丨 Query expansion Ap^ying the encapsulated editorial design templates for query generallon. UseHnputs a rough layout sketch. Computing relevance between the generated queries arrf e-Book. Visualizing ranking list of each generated query. ■1111. t l ^. ^Expsml^d | Queries. —i I Visual Ed丨 tori叫. / active. . 、1 _ — _18卞 丨 ’. e-book Database. casual. ranking ^. User selects sppropdate color scheme. most reievant e-book. 図 8 M e d i a M a t r i x シ ス テ ム を 芯 用 し 、 メ デ ィ ア デ ー タ の 「見 た 目 j に 応 じ た 検 索 を 実 現 し 、 利用者が直感的に視覚メディアデータを検索できるシステムを構築. ： SWWIMWW ； WUWJtlWW ^^^. *. J. ... ___. ^ ....>.. ： ..^.x〇 -.»<w :'w %.,.--. _. _. _. _ i. ■ 疆 _ 画■圍. i麵. I l i l ^. b -. *. 押. I i i l _. _. i. 脚 '、. s. i. ?. m. _. _ _ _ ま g 図 9 利 用 者 が 視 覚 メ デ ィ ア デ ー タ の ラ フ な ス ケ ッ チ と 色 合 い を 選 択 す る と 、シ ス テ ム が “ェ デ イ ト リ ア ル •デ ザ イ ン ” という知識を用いて利用者の意図した問い合わせを解釈♦拡張し、 高度なデザインによる問い合わせを容易に実行可能. 26.

M H m Sp^m m. statistics. Interactive Ui for Configuring th e Balance o f Personalization and Social Collective Intelligence. v ふ… パ statistics traffic global 1. m. $ Uthtic%m^r g\ 〇 h. 1. statistics y$er global \Bpt^op ««〇 ««〇 000000000««0. 0. 0. 0. 0. statisticsmmglobai mobile. ( 0. 0 ^ ^. j. Analyzing the social search story to extract. the«ffkient "sBcTmgpattern”and. 1 ,Logging search queries. 2, Generating feature spaces of narrowing and sliding. 3. Visualizingcross-domain queries on Word Map. 図 1 0 動 画 像 * 音 楽 メ デ ィ ア を 対 象 と し た ク ロ ス * メ デ ィ ア ナ ビ ゲ ー シ ョ ン シ ス テ ム QM AP. -C h ord Cube rP^^rrrT-j. 、 、 }. 舞. ^ : 像. 図 1 1 楽 曲 同 士 の 印 象 の 類 似 性 を 3 次 元 空 間 に お け る 距 離 と し て 可 視 化 す る C h o r d -C u b e. 27.