第５回 VOCALOID による音声合成
他の実験テーマと同様に，本実験テーマでも十分予習を行うこと．本指導書は最後まで熟読し，事前 に行うべきことは実験前に完了させておくこと．今回利用するVOCALOID3は，体験版を無料で入手す ることができる．実験時間に不安がある人は，体験版で使い方も予習しておくこと．
1 実験目的
音声合成とは人間の音声を人工的に作り出すことである．音声合成技術は，視覚障害者や発話が困難 な人のための画面読み上げソフト（スクリーンリーダー）として利用されている他，家電の操作指示，
スマートフォンの音声ガイダンス，公共交通機関のアナウンス，そして最近ではVOCALOID（ボーカロ イド）に代表されるように，デジタルコンテンツ製作の主要技術として活用されている．本実験の目的 は音声合成技術を体験的に学習することである．音声合成ソフトウェア VOCALOID を使って大学歌の 音声記号を入力し合成音声を生成する．
2 使用器具
・音声合成ソフトウェア VOCALOID3 Editor および 音声ライブラリVY1V3 (ヤマハ社製)
・ヘッドホン（各自で用意，またはCDR-900ST・ソニー社製）
3 音声合成について 3.1 技術概要
音声合成技術は大きく分けて 2 つに大別できる．ひとつは録音された音声の断片を連結して合成 する波形接続合成方式，もうひとつは録音された音声は使用せず，基底周波数，音色，雑音レベル などのパラメータを調整して波形を作り，人工的な音声を作るパラメータ合成方式（ボコーダ方式）
である．
3.2 音声記号
音声合成は音声記号に基づいて生成される．VOCALOIDはYAMAHA独自の音声記号を用いてい るが，拡張SAM音声記号(X-SAMPA: Extended Speech Assessment Methods Phonetic Alphabet ) に 似てい る．SAMPA と は国際 音声学 会が定め た国際 音声記 号(IPA: International Phonetic
Alphabet)をコンピュータで表示可能な ASCII 文字のみで表現した音声記号である．音声記号はカ
ッコ記号を用いて[子音 母音]と，表すこととする．表１にVOCALOIDの音声記号（発声記号）を 示す．
表１ Vocaloid3エディタで使われる主な音声記号
説明 VOCALOID音声表記 例
母音 あ a 愛 [a] [i]
い i 今 [i] [m a]
う M 歌 [M] [t a]
え e 笑顔 [e] [g a] [o]
お を o 想い [o] [m o] [i]
か行子音 か く け こ k 心 [k o] [k o] [4 o]
き k’ 希望 [k’ i] [b o] [M]
が行子音 が ぐ げ ご g 元気 [g e] [N¥] [k’ i]
ぎ g’ 義理 [g’ i] [4’ i]
(鼻濁音化した) が N 音楽 [o] [N] [N a] [k u]
(鼻濁音化した) ぎ N’ 鍵 [k a] [N’ i]
さ行子音 さ す せ そ s 定め [s a] [d a] [m e]
しゃ し しゅ しぇ しょ S 幸せ [S i] [a] [w a] [s e]
ざ行子音 ざ ず ぜ ぞ dz 図星 [dz M] [b o] [S i]
じゃ じ じゅ じぇ じょ ぢ dZ 自分 [dZ i] [b M] [N]
た行子音 た て と t 態度 [t a] [i] [d o]
てぃ t’ バラエティ [b a] [4 a] [e] [t’ i]
つ ts 月 [ts M] [k’ i]
ち tS 命 [i] [n o] [tS i]
だ行子音 だ づ で ど d 大地 [d a] [i] [tS i]
でぃ でゅ でょ d’ メロディ [m e] [4 o] [d’ i]
な行子音 な ぬ ね の n 涙 [n a] [m’ i] [d a]
にゃ に にゅ にょ j 匂い [J i] [o] [i]
は行子音 は へ ほ h 花 [h a] [n a]
(母音に挟まれた) は へ ほ h¥ 魔法 [m a] [h¥ o] [M]
ひゃ ひ ひゅ ひぇ ひょ C 雛菊 [C i] [n a] [N’ i] [k M]
ふぁ ふ ふぇ ふぉ p¥ 不思議 [p¥ M] [S i] [N’ i]
ふぃ p¥’ フィアンセ[p¥’ i] [a] [N] [s e]
ば行子音 ば ぶ べ ぼ b 僕 [b o] [k M]
びゃ，び，びゅ，びぇ，びょ b’ 美人 [b’ i] [dZ i] [N¥]
ぱ行子音 ぱ ぷ ぺ ぽ p ポスト [p o] [s M] [t o]
ぴ p’ ピアノ [p’ i] [a] [n o]
ま行子音 ま む め も m 眼 [m a] [n a] [k o]
みゃ み みゅ みぇ みょ m’ 未来 [m’ i] [4 a] [i]
や行子音 や ゆ いぇ よ j 夢 [j M] [m e]
ら行子音 ら る れ ろ 4 空 [s o] [4 a]
りゃ り りゅ りぇ りょ 4’ 理屈 [4’ i] [k M] [ts M]
わ行子音 わ を w 私 [w a] [t a] [S i]
ん ん N¥ 時間 [dZ i] [k a] [N¥]
4 実験方法
4.1 音声記号の入力
VOCALOD3エディタを起動し，諸設定を行う．設定後は
・[設定]→[クォンタイズ]→[1/16]・・・発声のタイミング16分音符区切りに設定する（量子化）
・[設定]→[パート/音符の長さ] →[1/16]・・・最小の発声の長さを16分音に設定する
・編集ツールの鉛筆マークを押す（またはCtrl＋2）・・・音符の入力が可能になる
図１ 起動直後のVOCALOID3エディタの画面
入力可能になったら，大学歌の１番を譜面通りに VOCALOID エディタに演奏情報を入力する．
演奏情報は縦軸が音の高さ，横軸が演奏タイミングという位置を目安に，適切な位置でマウスをク リックし右方向へドラッグしボタンを離すことにより入力される．休符は何も入力しない．
歌詞は，初めはa [a]と表示される．これは，歌詞 [音声記号]の意味であり，「あ」と発声される．
歌詞[音声記号]を変更するには演奏情報をダブルクリックし，歌詞を入力する．ひらがなで入力すれ ば自動的に音声記号に変換される．意図通りの音韻となる音声記号に変換されない場合は後述の方 法で手動変換する．図２に初めの４小節を入力した画面を示す．
編集ツールの鉛筆マークを押すと音符入力可能
図２ 大学歌４小節（上段）とVOCALOIDエディタへの入力画面（下段）
4.2 合成音声の出力
再生ボタン（図３の▷マーク）を押して合成音声を確認しなさい．図３はトランスポートツールバ ーと呼ばれ，演奏やエディタの位置の操作を行う．概要は以下のとおりである．詳細は[F1]を押して ヘルプメニューを参照すること．
・再生▷/停止□（スペースキー，またはテンキーのEnter） ・巻戻し◁◁（テンキーの－）
・早送り▷▷（テンキーの＋）
・リピート再生は，繰返したい小節の先頭にStartマーカーを，後尾にEndマーカーを付ける
図３ トランスポートツールバー
4.3 音響の調整
合成音声にリバーブ（残響効果）をつける．[表示]→[ミキサー] を選択するとミキサー画面が現れる．Track1（合成音声の演奏 トラック）のvst1と書いてある下の▶を押すと図４のようにエフ ェクタの選択画面になるので，V3Reverbを選択する．するとリ バーブの設定画面が現れるが，そのままの設定で[x](ウィンドウ 閉じる)を押して閉じて良い．ミキサーの画面も[x]を押してウィ ンドウを閉じて良い．
図４ ミキサー画面 リピート演奏，Startマーカー，Endマーカー
4.4 音韻の調整
歌唱時に自然な発生になるように音韻を変更する．例えば「きぼうのひかり」→「きぼおのひか り」と音韻を変えたほうが歌として自然に聞こえる．また「ああわが こうがくいん」の が[ g a] は 鼻濁音で発声しているので，子音を変更すると自然に聞こえる．
修正方法は，修正したい音符の上でマウスを右クリックし，コンテキストメニュの中から[音符の プロパティ]を選択する．すると図５の画面が現れる．そこでPHONETICの下にある音声記号をダ ブルクリックして表１を参考に変更する．なおLYRICは歌詞なので変更しても音声合成には影響し ない．
図５ 音声記号の編集画面
4.5 打ち込み画面の記録
打ち込みと調整が終了したら，歌詞とその音声記号を表示した VOCALOID エディタのキャプチャ画 面を記録する(Print Screen等を利用)．キャプチャ画面は，４小節を単位とすること．図6は８小節まで の例である（演奏はアレンジされている）．レポートには大学歌の１番（２４小節）まで掲載すること．
図６ 音声合成をした歌詞とその音声記号
4.6 伴奏との合成
下記の手順で伴奏と歌声を合成する．テンポ調整等の詳細な手順は[F1]を押して表示される説明書など を参考に自分で調べること．
・ 伴奏ファイル（WAV）の取り込み．[ファイル]→[インポート]→[wave]で取り込む．再生すると合 成音声と同時演奏される．
・ テンポ調整．WAVファイルと同期させるためにテンポデータを書き込む．
・ レンダーコントロール（「トラック」の「合成」）．通常は再生と同時に音声合成されるが，事前に 合成音声を計算しておく作業のこと．これにより再生時のCPU負荷が軽減される．
・ 演奏全体のWAVファイルへの書き出し．合成音声と伴奏をミキシングして音声ファイル(WAV形 式)に出力する．
4.7 オリジナルのアレンジ
4.3, 4.4で説明した音響や音韻の他に，音符や音声プロパティの調整を行う事でより自然な歌声や特徴
のある歌声を合成することができる．例えば，音符は「きぼうのひかり～」の 2 分音符の部分を少し短 くすると自然に聞こえる．また音声の「ジェンダーファクター」を低くする事で，より幼い印象を持っ た声に変える事などができる．各自，自分オリジナルのアレンジを実施し，アレンジを加える前と後で どのような変化が生じるのか記録する．このとき，アレンジ前とアレンジ後の画面をキャプチャしてお くこと．アレンジの種類は問わない．歌声を和音にするなどのアレンジでも良い．
5 レポート報告事項
5-1 4.5でキャプチャした画像を掲載し，その画像の説明や画像からわかる事などを考察しなさい．
5-2 波 形 接 合 合 成 方 式 ， パ ラ メ ー タ 合 成 方 式 に つ い て 調 査 し な さ い ． さ ら に 今 回 使 用 し た
VOCALOID3がどちらの技術に属するか考察しなさい．
5-3 4.7で実施した独自のアレンジについて，どのようなアレンジを加えると，どのように歌声が変 化するのか考察しなさい．この時，アレンジ前とアレンジ後のキャプチャ画面を掲載するなど，独自 のアレンジを行った事がわかりやすくなるようにレポートの書き方を工夫すること．
[注意事項]
・本実験テーマは，基礎的な音楽の知識が必須である．ピアノの鍵盤と音階の対応や，楽譜の読み方が 分からない人などは，事前に音楽の入門書などを参考に十分理解を深めておくこと．
・楽譜とエディタ画面の相互参照だけでは，打ち込みの間違えに気が付くことは難しい．そのため事前 に校歌のビデオを再生し，正しいリズムとメロディを感覚としてつかんでおくこと．
・実験を実施する演習室により，利用時に注意すべき点があるので，必ず担当教員や施設管理者の指示 に従うこと．たとえばB0530演習室では，下記のような注意点がある．
- 学内のネットワークとは切り離されている．共有ファイルは，指定されたサーバから読むこと．
- 完全に起動が完了してから作業を始めること．時計が表示される前に初めてはならない．
- ＵＳＢ端子に，スマホなどのネット接続が可能なデバイスや電力を多く使うデバイスを入れないこと．
- ファイルはＤドライブに保存すること．Ｃドライブやデスクトップのファイルは起動時に消去される．
