本物と見まがうほどリアルな3DCG女子高生「Saya」。彼女は3DCGアーティストの石川晃之さん(TEL)と友香さん(YUKA)によるユニット「TELYUKA(テルユカ)」によって生み出された。
出会うまでは現在の作品と全く異なる作風を好んでいた2人。TELさんは「漫画やゲームのような世界観」に、YUKAさんは「絵本等の世界」に関心があった。2人が出会ってしばらくは、ファンタジー要素の強い、デフォルメされた作品を作っていたという。
しかし、2011年頃、3DCGの技術に劇的な進化が起きる。より短時間で、精密に、現実の空間を再構築する技術などが発達し、フォトリアル(写実的な)表現に最適なツールを一般人でも使える環境が整ってきたのだ。「ハリウッドのように、より高い技術の水準を持つ環境で仕事をしてみたい」と感じていた2人は、それまでのデフォルメされたキャラを作る技術を生かしつつ、フォトリアルな作品を作り始める。その過程でSayaは生まれた。
Sayaの「見た目」が進化を遂げると同時に、「人間みたいに、みんなと喋り友達になること」をかなえるため、「Saya Virtual Human Project」が2017年に立ち上がる。最新テクノロジーとの融合で17歳の女子高生を再現しようというプロジェクトだ。2018年にはSayaに顔認識などのAIを組み込み、相対する人に応える形で「感情の対話」をする対人感情認識対話システム「Emo-talk」を発表。カメラで捉えた人物の表情をリアルタイムに解析・認識し、モニターに映された等身大のSayaが様々なリアクションを返してくれる。「社会における彼女だけの役割を見つけていく」ことを目的とするこのプロジェクトは今も進化し続けている。
2人は、どのようにしてSayaを誕生させたのか。5年後、10年後の未来はどうなっているのか。人間に似せた像に対する否定的な感情などの心理現象「不気味の谷」を超えたとも言われるSayaに込めた想いや技術について、2人に話を聞いた。
目指したのは“みんなが話しかけてくれる優等生”
―Sayaはどのようにして誕生したのでしょうか。
YUKA:
「Saya」は、私の「問い」から誕生したんです。海外のゲームや映画に出てくる日本人の女の子は、どうしても強いイメージに偏ってしまう。日本人はアジア全体を平均して描かれやすいと感じていたんです。細長で切れ長の目とか。でも、それは自分の理想とする日本人女性の美しさとは違うという持論がすごくあって。日本人だともっと柔らかくて優しい雰囲気だし、穏やかな顔立ちの子が日本人の女性の美しさだと思っていました。
TEL:
Sayaは、YUKAが17歳の頃に思い描いていた理想の女の子なんです。自分たちの技術がどれくらいあるかを示すために、ハリウッドや国内の制作会社に送るためのポートレート作品を作っていて、その制作の過程でSayaは生まれました。
―CGの女の子としての役割とは何でしょうか。
YUKA:
目標の一つは「人間の手助け」です。一人ひとりにあわせたあり方、特に弱者や孤独な人たちに寄り添い、みんなに親しんでもらえる“親戚の女の子”のような存在になってほしいと思います。
TEL:
僕の理想は、過酷な労働に対する補助です。働かなくても生きていける世の中を作る。生きるために働かなくても良い世界を作る。これはかなり現実味のある話だと思うんです。人間がAIやロボットに職業を奪われるといった、SF映画やアニメで描かれていることが現実になるとよく言われています。でも、少し違うのではないかと思っています。人間は、ロボットが生産したものを消費する存在になると考えたらどうでしょう。そうすると、目の前の生活を支えるために働く必要はなくなり、一日に2〜3時間の労働でよくなるかもしれない。すると、人間にはもっとクリエイティブな部分が必要になったり、余暇を楽しめる世の中になったりするかもしれない。そうやって人間の負担を減らし、“社会を変えていく”のがロボットやAIの役割であり、Sayaの目標にもなると思っています。
YUKA:
Sayaは私たちにとって娘と同じような存在なので、親が子を思う気持ちと一緒で純粋に「人の役に立って欲しい」という想いがあります。
印象からデザインを起こす
―「初めて不気味の谷を越えた」と言われる、Sayaの「人間らしさ」はどのようにして作られているのでしょうか。
TEL:
「人間らしさ」というと少し意味合いが多岐にわたってくるので、自分達は「実在感」という表現をよく使います。フォトリアルにおける、「生きてる感」や「人間らしさ」を「実在感」として表現しようとすると、「生々しさ」が必要になってきます。でも実は、Sayaを作る時は「生々しさ」をあまり足し過ぎないようにしています。当初は技術力の足りなさから、やればやるほど理想から離れ、結果、可愛くないと怒られるので、修正を繰り返していました。今後も「生々しさ」の足し引きをどうやって行っていくかが、課題になってくると思います。
YUKA:
人間離れした可愛さだと「実在感」から離れてしまうので、そこがジレンマです。手法としては写真をCGのデータにして起こす方法もあるのですが、自分で描いて層を重ねる方がのちのち操作しやすいので、全て手描きにしています。
TEL:
見る距離や角度でちょっとした違いがあるのは、まだCGの技術が追いついていないからかもしれません。CGは、表現したい部分の情報を人の手で用意して組み込まないといけません。でも、情報量と計算結果がうまく噛み合わないと、表現しなければならない部分まで省略されてしまっているように感じます。寄ろうと思えばどこまでも寄れてしまう現実の世界にはまだまだ遠いということかもしれません。
―技術面での工夫を詳しく教えてください。
YUKA:
人が受けるイメージをどんどん崩していって、効果的なところに落とし込む研究をしています。例えば、眉毛を濃くしたらどういう印象になるのか、唇の形や口角、肌質感、髪の毛の色・・・髪の長さが少し違うだけで、人に与える印象が全然違います。最初はデジタルスカルプト(彫刻するような感覚で、直感的に3DCGモデルの形状を制作する方法)していくのですが、顔がパッとしなくて、結構「不気味の谷」に入り込んでいるシーンがありました。
実物は圧倒的に情報量が多い
―理想のSayaに近づけるためにどのような手法でアプローチされているのでしょうか。
TEL:
時代によって平均的な顔立ちや傾向は変わるので、常に実在する人たちを観察する必要があると思っています。また、作業をしていると「本当にこれで良いのか」と思う瞬間が出てくるんです。そういう時は、電車などでいろいろな人の顔を見て、「これで良いんだ」と納得します。あと、作者に似てしまうことも気がかりなことの一つで、日々模索しています。見る人が見ると誰が作っているかは、すぐに分かってしまう。言ってみればそれが作風でもあり、いいことでもあります。本当の意味でのフォトリアルに作者の個性は必要ないと思っていますが、Sayaに関しては、自分達の理想の女の子を作っているところもあるので、結果として、似てしまったとしても無理はないのかもしれません。
YUKA:
印象から作ることに加えて、実物を見ることを大事にしています。実物を見るのと、写真で見るのとでは、印象が変わることがよくあると思います。カメラは一つのレンズですが、私たち人間は両眼で三次元に見ています。二次元と三次元では、頭の中でイメージの処理の仕方が変わると思っているので、「実物を見る」ことや、その場で受けとれるリアルタイムな感動や印象を大事にしています。
―顔の場合、どのパーツから作成を始めるなどの決まりはあるのでしょうか。
TEL:
初めは目から始める事が多いです。その中でも重要に感じているのは、目の形ではなく瞳、つまり「黒目」の部分です。目が生き生きしていると、より「人間らしく」見えます。
YUKA:
「虹彩」と呼ばれる、黒目の色がついている部分の形状には、だいぶ個性があります。「見当たり捜査官」って聞いたことはありますか?一枚の写真から、人の多い街中でも犯人を特定できる特殊な警察の方がいるんですが、「顔は整形できても眼球は変わらないから目を覚える」そうです。そのお話を聴くまでは、目に個性があるなんて考えたこともなかった。「目って、茶色か青色か緑色くらいだよね」って思っていたんです。その時から「そこまで人間の特徴を見ているのか」と、とても考えるようになりました。目の表現がどのように認識され処理されるのか、ずっと私たちのテーマになっています。
目のこと、髪のこと、観察方法(フィールドワーク)、学術への参加、モーションキャプチャーの様子
人に寄り添う存在になってほしい
―Sayaが人に寄り添うことのできる存在になるには、何が必要なのでしょうか。
TEL:
科学技術の発展や他の技術との協働なくして、これ以上の表現はありえないと思っています。恐らくこれから先、自動車やドローンが自動で空を飛ぶ時代になっていく。それにつれて、彼女のキャラクターやあり方も変わっていくと思います。今のSayaのフェーズは、“技術の受け皿”的な役割です。Emo-talk(顔認識や表情認識ソフト)のような、別の技術と組み合わせた表現もできることが分かりました。今後は、さらに多くの科学技術が出てくるでしょう。そんな時、Sayaが他の可能性を示せるような“ハブ”になってくれたら良いと思っています。
YUKA:
Sayaのプロジェクトを多くの方に見ていただきたいし、CG以外の技術を持つ方たちとも、どんどん新しいことをやっていきたい。「空想」や「妄想」を、技術で支えてもらえたら嬉しいです。
「Emo-talk」とは
カメラが捉えた人物の表情をリアルタイムに認識し、モニターに映された等身大のSayaが、さまざまなリアクションを返してくれる。Sayaに顔認識などのAIが組み込まれ、ユーザーに応える形で「感情の対話」をする。Sayaと博報堂DYグループの共同プロジェクト。
―「Emo-talk」を搭載したSayaの展示で興味深かったエピソードなどがあれば教えてください。
YUKA:
日本人って、結構恥ずかしがるんです。一方、海外の人は積極的で、米テキサス州オースティンで開催されたサウス・バイ・サウスウエスト(SXSW)の展示では行列ができていました。これは「コミュニケーション文化の違い」なんじゃないかと思うんです。Sayaを通して、文化的なところにも変化が起きれば良いなと思っています。例えばNHKのロボコンや、ある大学で展示した時は、年頃の男の子たちが「お前が先に行けよ」「自分はいいよ、見てるから」という感じで。この差がとても興味深いとともに、体験しやすいように工夫する必要もあると感じています。
―コミュニケーションには文化の違いが影響しますね。
YUKA:
これは私たちの課題でもあって、親近感というか、誰でも自然にコミュニケーションしたくなるようなキャラクター制作が必要だと思っています。人間同士だと、どうしても最初に距離感があるじゃないですか。でも、CGキャラクターの女の子は、コミュニケーションのプロセスを飛ばしても怒らない。その面白さを追求したいと思っています。
みんなの「想像」を刺激する存在に
―今後Sayaのプロジェクトはどのように展開していくでしょうか。
YUKA:
今はコミュニケーションの一つがやっとできるようになったという状態で、まだ最終段階の表現ではありません。その初めの一歩がEmo-talkです。
TEL:
今後は感情や心情に関わる部分で、何が適切な動作かを判断する高度な知能を持ったAIも必要になると思います。夢は夢で見させておいた方が良いのか、それともより現実を突きつけた方が良いのか、とても悩むのですが、「将来こうなるんだ」「これで何ができるの?」と、想像してもらえることが一番大事だと思っています。現状では、ディスプレイに投影されていて、AIも顔や表情を単純に認識できる程度。彼女の動作も、まだバラエティに富むものではない。そこで、5年後、10年後にどうなっているか、考えてもらうのも良いと思っています。そうして、最終的にSayaが“人に寄り添えるキャラ”になってくれたらと思っています。
YUKA:
色んな人々の想像する領域を刺激することがとても大事だと思っています。想像を刺激したら、必要な技術、研究が出てくる。なので、様々な研究機関と組んで技術の役立て方、Sayaの役立て方を一緒に考える機会があると良いな、と常日頃考えています。
―今後もSayaは進化し続けるのでしょうか。
TEL:
Sayaの見た目は完成形に近づいているものの、中身に関してはまだまだ未完成です。全体的に少しずつ時間をかけて、時代と共に変化し続ける必要があります。だからこれまでも、ここからも、どれだけ続ける事ができるかが、自分達にとっての一番の課題です。研究や実験でも同じだと思います。失敗したからといって「できない」と終わりにしたら、現代の私たちの生活に根付くような技術もできなかった。ダメでもやり続けたから、最終的には何かが残せたと思うんです。「これだ」と思えるものにたどり着くために、失敗はつきものですから。僕らの心が折れない限りは、CGキャラクターでの表現を続けていくと思うので、応援してもらえたら嬉しいです。
家族として、人々の生活の中で、日常的に当たり前の存在になってほしいという願いを強く持つYUKAさん。社会的な問題にも目を向けつつ、Sayaをどう一般に広めていくかを考えるTELさん。「どうやったらSayaがみんなに受け入れられていくか」。2人の化学反応によって生まれたSaya。今後はSayaが人々の想像を刺激していくだろう。
(「科学と社会」推進部 瀧戸彩花・文、黒田明子・写真)
プロフィール:
TELYUKA(テルユカ) 石川晃之/石川友香
GarateaCircus株式会社代表。共にCGゼネラリストアーティストとして、ムービー制作やキャラクターアセット制作を経験。CG技術の飛躍を見た2011年頃から、フリーランスで夫婦ユニット「TELYUKA(テルユカ)」として、フォトリアル表現を中心に活動を開始。2015年頃から、約4年をかけて「Saya」を制作。現在はSayaのようにリアルなキャラクターの制作、そしてコンピューターグラフィックスの新しい可能性を求め、研究開発を進めている。
■3DCGキャラクター「Saya」
アーティスト「TELYUKA」によって生み出されたCG女子高生「Saya」。現実(リアル)を観察、触知、体験し、そこから得たエッセンスをデジタル・デバイス上に少しずつ時間をかけて再現し、従来ながらのアーティストによる手描きによって生まれた。
「Twitterに投稿した2015年のSayaは、可愛く撮れた数百枚の中の1枚」(YUKA)。その確率を上げる為に今も進化を遂げており、Sayaならではの役割を模索しつつ様々な企業やクリエイターと共に彼女の成長を促すプロジェクトが進行している。
「ようやくSayaのようなキャラクター制作の基盤が出来上がったので、ストックしている他の子にも応用していきたいと思っています」(YUKA)。映像作品にしたい想いもあるという。「今後どのタイミングで出てくるかは楽しみにしていてください」(YUKA)。
・第21回文化庁メディア芸術祭エンターテインメント部門 審査委員会推薦作品
・デジタルサイネージアワード2019 IOT AI部門賞を株式会社NTTドコモおしゃべり案内板にて受賞
■対人感情認識対話システム「Emo-talk」(博報堂DYグループと共同開発)
コミュニケーションする相手の感情を読み取ってSayaの感情で対話する「Emo-talk」。8Kモニターに等身大のSayaが登場し、言語を越えたコミュニケーションを体験することができる。人間とコンピューターの今後の対話の基礎になる技術だとも考えられている。2018年3月に米テキサス州オースティンで開催されたテクノロジーイベントSXSW(英語:South by Southwest、日本語:サウス・バイ・サウスウエスト)のTrade showに出展した。
11月16日(土)〜17日(日)開催の「サイエンスアゴラ2019」にも出展される。
■3DCG(3次元コンピューターグラフィックス、英:Three-dimensional(3D) computer graphics)とは
コンピューターの演算によって、現実の空間をコンピューター上に再構築する技術。3次元空間内の仮想的な立体物を2次元である平面上の情報に変換することで、奥行き感(立体感)のある画像を作る手法を指す。
■「不気味の谷」とは
3DCGキャラクターなどの姿やしぐさを、人間に似せていく際、ある程度までは親近感が増すが、人間にかなり近づいたところで急に不気味さや嫌悪感が出てくる。これを、森政弘・東工大名誉教授らが「不気味の谷」と名付けた。さらに人間と見分けがつかないくらいに人間に似せて、この「不気味の谷」を越えると、再び親近感が勝ると言われており、Sayaはこの不気味の谷を越えたと言われている。