2018年01月01日

現在の OSS版 Sinsy と nitech_jp_song070_f001.htsvoice で歌声を生成するときは,生成可能な音高に留意する必要があるそうです.ざっと調べてみたところ,生成可能な音高レンジは,F5(MIDI note no 77) から A#3(MIDI note no 58) のようでした.

Web拍手:



OSS版 Sinsy
http://sinsy.sourceforge.net/

Web版 Sinsy
http://sinsy.jp/




Web版 Sinsy とは異なり,現在の OSS版 Sinsy は,データベース(.htsvoice)中に存在しない音高の歌声を補間して生成する機能は含んでいないそうです.
そのため,現在の OSS版 Sinsy と nitech_jp_song070_f001.htsvoice で歌声を生成するときは,生成可能な音高に留意する必要があるそうです.

ざっと調べてみたところ,nitech_jp_song070_f001.htsvoice の音高レンジは,

上限: F5(MIDI note no 77)
下限: A#3(MIDI note no 58)

のようでした.

上限を超えた音高は上限の,下限を超えた音高は下限の音高で歌声が生成されます.
たとえば,F#5(MIDI note no 78) は F5(MIDI note no 77)の高さで,A3(MIDI note no 57) は A#3(MIDI note no 58) の高さで歌声が生成されます.

range_check.xml



range_check-1_trim.png
(赤い音符は,適切な音高の歌声が生成されず,上下限に丸められています.)






http://knoike.seesaa.net/article/445223285.html
の記事で調号の処理に不具合があるように書いてしまいましたが,私の間違いで,入力として与える MusicXML はまったく関係ありませんでした.
お忙しい中で大浦先生がご回答くださいました.
大変失礼いたしました.ありがとうございました.

現在の OSS版 Sinsy で,この「生成可能な音高の制約」を回避するには,なんらかの方法で音高をシフトした「疑似学習データ」を用意して,それらから学習した .htsvoice を作ればよいようです.
ただし,疑似的に作成したデータによって無理をさせていますので,それによって生成される歌声の品質には限度があります.

大浦先生からは,情報源として,

間瀬絢美, 大浦圭一郎, 南角吉彦, 徳田恵一, ``音高シフトによる疑似学習データを用いたHMM歌声合成の高精度化,''
日本音響学会2010年春季研究発表会, pp. 345-346, 東京, 日本, 2010年3月.

をご紹介いただきました.

IPSJ SIGMUS でも同主旨のご発表があったように記憶しています.

原因と回避方法はわかりましたが,いまの私にはまったく余力がありませんので,もし .htsvoice を改良された方は私にもお知らせいただけるとありがたいです.
どうぞよろしくお願いいたします.




==

2017年12月26日
今年の徳田先生,大浦先生のクリスマスリリースは,Web版 Sinsy の新しい日本語男性ボイス m01083j と,HTS の 2.3.2 でした.HTS は,HMM だけでなく,DNN による学習と生成も使用できるようになったようです.
http://knoike.seesaa.net/article/455787832.html

2017年12月07日
新しい「スコアメーカー」は「ZERO」というシリーズで,入力した歌詞を歌わせることができるらしい.歌声合成エンジンは,名工大の徳田先生のところの Sinsy らしい.
http://knoike.seesaa.net/article/455378097.html

2016年12月25日
オープンソース版の Sinsy 0.92 には,調号に関する不具合があるっぽい.音高が調号どおりに上下しないときがある.Web 版 Sinsy 3.7 だと,それが直っている.次のリリースでそれが直っているといいなぁ.
http://knoike.seesaa.net/article/445223285.html

2016年01月23日
オープンソース版の Sinsy が 0.92 になったので,ごく簡単に試してみました.0.90, 0.91 で生成したときの歌声も残っていましたので,それも並べて置いておきます.意味があるかどうかわかりませんが,聴き比べが可能です.
http://knoike.seesaa.net/article/432882730.html

2015年12月31日
オープンソース版の Sinsy 0.92 ほかいろいろの,年末リリースが来てるー.
http://knoike.seesaa.net/article/431938155.html

2014年12月26日
オープンソース版の Sinsy が 0.91 になったので,ほんの少しだけ試してみました.詳細はよくわかりませんが,0.90 の頃とはかなり異なった歌声が生成されます.
http://knoike.seesaa.net/article/411276694.html

2014年12月26日
Web 版の Sinsy が Ver. 3.6 になり,歌詞を発音記号で入力することが可能になったそうなので,ほんの少しだけ試してみました.
http://knoike.seesaa.net/article/411275377.html

2014年12月26日
オープンソース版の Sinsy ほかいろいろのバージョンアップがきたー!
http://knoike.seesaa.net/article/411274416.html

2013年12月27日
「Julius-4.3 リリース 2013/12/25(Wed.)」
http://knoike.seesaa.net/article/383709007.html

2013年12月27日
「先頭の小節は休符から始まる必要があります.」 あぁっ,逆か! そんな制約があったとは.
http://knoike.seesaa.net/article/383672711.html

2013年12月26日
とりあえず,手元の sinsy コマンドで歌わすことができました.またそのうち,何か作ろうー.
http://knoike.seesaa.net/article/383587048.html

2013年12月26日
「Sinsy version 0.90 (25 December, 2013)」 Sinsy のソースコードのリリース,きたー!
http://knoike.seesaa.net/article/383579357.html

2013年12月26日
「MMDAgent version 1.4 (December 25, 2013)」
http://knoike.seesaa.net/article/383578604.html

2013年12月25日
「Open JTalk version 1.07 (25 December, 2013)」
http://knoike.seesaa.net/article/383557852.html

2013年12月25日
「hts_engine API version 1.08 (December 25, 2013) 」
http://knoike.seesaa.net/article/383557677.html

2013年12月25日
「Speech Signal Processing Toolkit (SPTK) Version 3.7 December 25, 2013」 今年は,これか!
http://knoike.seesaa.net/article/383556746.html

2013年04月26日
大浦圭一郎先生は,いつも,クリスマス前とか年末年始とかに合わせて楽しい道具を投下してくださる(笑).今回は,GW 直前だよー(笑).
http://knoike.seesaa.net/article/357374145.html

2013年04月26日
「音声合成・歌声合成の新星「CeVIO」、その謎が解けた! - ITmedia ニュース」
http://knoike.seesaa.net/article/357360932.html

2012年12月26日
「The Open JTalk version 1.06 release December 25, 2012」
http://knoike.seesaa.net/article/309985124.html

2012年12月26日
「The hts_engine API version 1.07 release December 25, 2012」
http://knoike.seesaa.net/article/309984708.html

2012年08月06日
名古屋工業大学のデジタルサイネージ「メイちゃん」の Skype アカウント
http://knoike.seesaa.net/article/285137572.html

2012年04月18日
徳田恵一先生が,「平成24年度 文部科学大臣表彰 科学技術賞」を受賞されたそうです.業績名は,「隠れマルコフモデルに基づいた次世代音声合成方式の研究」だそうです.
http://knoike.seesaa.net/article/265355312.html

2012年02月01日
徳田恵一先生の提案研究課題が CREST で採択されたそうです.研究課題名は「コンテンツ生成の循環系を軸とした次世代音声技術基盤の確立」だそうです.
http://knoike.seesaa.net/article/249745241.html

2010年12月25日
「Open JTalk version 1.02 (December 25, 2010)」
http://knoike.seesaa.net/article/175604203.html

2010年12月25日
「hts_engine API version 1.04 (December 25, 2010)」
http://knoike.seesaa.net/article/175603976.html

2010年03月12日
「Open JTalk - HMM-based Text-to-Speech System」
http://knoike.seesaa.net/article/152843018.html

2010年01月10日
Sinsy サイトの MusicXML も,ぼーか郎で歌えるようにしました.
http://knoike.seesaa.net/article/152842419.html

2010年01月10日
Cubase 4 の MusicXML 書き出し処理にバグがあるっぽい.
http://knoike.seesaa.net/article/152842420.html

2010年01月03日
Sinsy を試させていただきました.
http://knoike.seesaa.net/article/152842136.html

2009年12月27日
Eji さんとのチャットでいろいろ教えてもらって,状況把握(^^;).
http://knoike.seesaa.net/article/152842155.html

2009年12月27日
謎でもなんでもなくて,酒向慎司さんでしょ(^^;).
http://knoike.seesaa.net/article/152842156.html


【コンピュータの最新記事】
posted by NOIKE at 00:03 | 東京 ☁ | Comment(0) | コンピュータ | このブログの読者になる | 更新情報をチェックする
この記事へのコメント
コメントを書く
お名前: [必須入力]

メールアドレス:

ホームページアドレス:

コメント: [必須入力]

認証コード: [必須入力]


※画像の中の文字を半角で入力してください。