SIGGRAPH2005 で以下を発表しました。
Poster
- “Speech to Talking Heads System Based on Hidden Markov Models”,
Tatsuo Yotsukura (ATR-SLC), Shigeo Morishima (Waseda Univ.), Satoshi Nakamura (ATR-SLC),
International Conference on Computer Graphics and Interactive Techniques, ACM SIGGRAPH 2005 posters, Article No.27, (SIGGRAPH 2005, Los Angeles, U.S.A., 2005.8)
収録した発話コーパスを用いた、統計学アプローチによるリップシンクアニメーションシステムの提案を行いました。ユーザは発話させたい音声と顔オブジェクトのみを用意することで、短時間かつ低コストでリアルな発話アニメーションの生成を実現することができました。
アニメーション生成結果（図上段、下段:HMMによる推定結果、中段:モーションキャプチャデータを直接顔オブジェクトへマッピングした結果、グラフは唇下部のノードの垂直方向の動きを示し、推定結果（上段）とオリジナルデータ（下段）との距離誤差は2.75mmとなった）
- “Reconstructing Motion using a Human Structure Model”,
Shohei Nishimura (Waseda Univ.), Shoichiro Iwasawa (Waseda Univ.), Eiji Sugisaki (Waseda Univ.), Shigeo Morishima (Waseda Univ.),
International Conference on Computer Graphics and Interactive Techniques, ACM SIGGRAPH 2005 posters, Article No.109, (SIGGRAPH 2005, Los Angeles, U.S.A., 2005.8)
細部の表現が難しいバレエのリアルなアニメーションを実現するために、MRIによって実際の骨格構造・間接位置情報を取得し、３D人体アニメーションモデルを作成しました。このモデルによって、腕のひねりなどねじれる様子の再現ができました。
［左図］MRI画像から抽出した皮膚と骨格モデル 赤点がMarkerを配置した位置
［右図］左から、骨格モデル、被験者、骨格モデルに皮膚を付加したモデル
モデル化した前腕の旋回運動。実際の旋回運動中に起こる、橈骨と尺骨のねじれる様子を表現
- “Quantitative Representation of Face Expression Using Motion Capture System”,
Hiroaki Yanagisawa (Waseda Univ.), Akinobu Maejima (Waseda Univ.), Tatsuo Yotsukura (ATR-SLC), Shigeo Morishima (Waseda Univ.),
International Conference on Computer Graphics and Interactive Techniques, ACM SIGGRAPH 2005 posters, Article No.108, (SIGGRAPH 2005, Los Angeles, U.S.A., 2005.8)
モーションキャプチャデータをデータベース化し、それをもとに、制作者が意図する表情になるよう、動きを編集したり、再利用できる技術を開発中です。
［上図] 一般的なキーフレームアニメーション 徐々に目を見開いていく
［下図] 最終フレームに向かって、目を見開くだけでなく途中で口を開くという動作が入る
現在、任意のキーフレームの顔形状をユーザが編集した際、その前後のフレームも見合った表情変化ができるように研究・開発中です。
- “Automatic Head-Movement Control for Emotional Speech”,
Shin-ichi Kawamoto (ATR-SLC), Tatsuo Yotsukura (ATR-SLC), Shigeo Morishima (Waseda Univ.), Satoshi Nakamura (ATR-SLC),
International Conference on Computer Graphics and Interactive Techniques, ACM SIGGRAPH 2005 posters, Article No.28, (SIGGRAPH 2005, Los Angeles, U.S.A., 2005.8)
キャラクタの発話アニメーションは様々なパーツの複合的な動きで成り立っており、それらをすべて手作業で付加するのは非常に大変な作業です。
現在、発話アニメーション作成支援技術の１つとして、台詞の声に合わせて頭を振る動作を付与する手法を検討しています。
本手法では、モーションキャプチャ技術により役者が演じた際の台詞音声と頭の動きを事前に収録し、これらのデータに基づいて新しい台詞音声に対応する頭の動きを推定します。
また、「激怒」しているシーンなど、その感情の度合を指示することで、その状況に合った頭部動作を生成します。予備的検討において、「平静・怒り・激怒」の３つの怒りの度合に対応する頭部動作の生成を実現しました。この技術を拡張することで、アニメーション対象となるキャラクタのモデルと台詞音声を用意すれば、比較的容易に台詞音声に合った頭の動きを発話アニメーションに追加することができます。