人工知能（AI）が絵画や小説、音楽などの創作物を生み出すための研究が進んでいる。身近な創作物であるアニメーションや漫画についてはどうだろうか。
今年度4回目の開催となる「情報ひろばサイエンスカフェ」が10月19日に東京都霞が関の文部科学省内のラウンジで開かれた。情報ひろばサイエンスカフェは、同省が主催、科学技術振興機構（JST）が共催している。「越境する」をテーマに掲げる「サイエンスアゴラ」（JST主催）の連携企画の一つでもある。
今回のテーマは「アニメ×人工知能」。講師には、AIによる創作支援の研究をしている、豊橋技術科学大学情報メディア基盤センター助教の上野未貴（うえの みき）さんを迎え、ファシリテーターは、上野さんの大学時代の後輩で、現在株式会社クリエイターズインパックのアニメーションプロデューサーをしているはたなかたいちさんが務めた。
いきなりスクリーンにアニメ映像が映し出され、その主題歌らしい軽快な音楽が流れる。そんな楽しい雰囲気の中でサイエンスカフェが始まった。まず、上野さんが自身の経歴と研究歴を、はたなかさんが、自身が制作に携わったアニメ作品などを紹介した。はたなかさんのツイッターを見て滋賀県から駆け付けたという参加者がいることが分かり、はたなかさんのテンションがぐっと上がったところで、同じテーブルの参加者が互いに自己紹介。学生や、アニメ・漫画業界、企業、行政機関などからの多様な参加者約30人が席を埋めた会場は、開始早々和やかな空気に包まれた。
AIは４コマ漫画を理解できるか？
「創作する人が頭の中で考えていること、そのセンシティブで貴重な情報を知りたい」。上野さんは、絵に含まれている感性情報（人間の感性に刺激や影響を与える情報）を数値化する研究を行い、AIの開発につなげようとしている。
上野さんによると、コンピュータに何かを理解させるためには、まず識別が必須となる。しかし、画像を識別させるためには、画像の各画素を「0」から「1」の間の数値として表したり、部分的特徴を数列にしたりして、画像全体の特徴を表すなどといった段階を経る必要があるという。
ここ数年、ディープラーニング（深層学習）の技術が確立してきて、絵に含まれる情報から自動的に様々な特徴を学習できるようになってきた。ディープラーニングにより、画像に含まれている共通の特徴を見つけ、各特徴に重きを置く度合いを学習することで、目的とする画像を識別できるのではないか、というのが現在の上野さんの研究課題だ。
しかし、何かと何かを分ける・識別する、という、人間が日常的に行っている作業を、コンピュータに実行させる手法は、まだ完全には確立できていない。上野さんは、これを、4コマ漫画というモデルで取り組んでいる。上野さんによると、4コマ漫画は形状と長さが一定で、ストーリーが明瞭に表現されるため、貴重な創作物であると同時に工学で扱う良質なデータだという。特に日本の4コマ漫画は、状況や感情など、AI研究に役立つ課題を多く含んでおり、表現の幅が広いことから、研究対象として好ましいのだという。
4コマ漫画には、登場人物や背景、構図、吹き出しの形、擬音語などの画像的特徴のほか、セリフや心の中で思っていることの書き文字などの文字的特徴が含まれている。上野さんは、4コマ漫画の画像に対し基本6感情（喜楽・悲哀・驚愕・憤怒・嫌悪・恐怖）をラベル付けして識別する感情識別と、コマの順序を識別する順序識別を提案している。この方法を起点にAIにコマの表現を学習させて4コマ漫画を理解させる研究に取り組んでいる。
人間はそもそも4コマ漫画をどう理解しているか？
続いてグループワークに移った。4コマ漫画の理解を人間はどのように行っているのか、を参加者が体感するものだった。今回の題材となったのは「人外さんの嫁」。突如として不思議な生き物の妻に選ばれた主人公の高校生を中心に、様々な人と不思議な生き物のカップル達の日常を描いた4コマ漫画だ。サイエンスカフェの冒頭で流されたアニメは、この4コマ漫画を原作として制作されたものだったのだ。この作品をこの日のサイエンスカフェの題材として使用するために、はたなかさんが「人外さんの嫁製作委員会」の了承を取ってくれていた。
各テーブルに最初に配られたのは、人外さんの嫁の4コマ漫画の4コマの順序をシャッフルして印刷したシートで合わせて11話分。コマからはセリフの文字がすべて消されていた。このように文字的情報がない状態の4コマ漫画のコマを、画像的情報だけから、正しい順序に並べ直してみる−。これがグループワークの内容だった。
各テーブルをのぞく。4コマの画像の人間の位置から順序を決めたり、主人公の感情の動きを髪の色や目の表情から読み取って順序を決めたり。さまざまな方法で試行錯誤が行われていた。
続いて各テーブルにセリフが入った4コマ漫画のシートが配られた。このシートでは、画像的情報だけではなく、文字的情報もコマの並べ直しの判断材料として利用できる。セリフを見た瞬間に、「この表情はこういう感情だったのか」「手の動きから想像していたセリフとは違っていた」といった感想が聞かれた。「文字的情報はやはり重要」という人間特有の情報処理の仕方に参加者は改めて気づかされたようだった。
参加者のうちの何人かにどのように考えたかを発表してもらった。
「現象のレア度（起こりそうにない度合）が高いコマほど後ろに来る」「コマの端に前のコマに出てきたものが見切れていることがヒントになる」「推理小説であればこういう順で話が展開する」「人と不思議な生き物との距離の変化から順序を推測した」などなど。オブジェクト、人の行動、距離感など、多様な視点による発表があり、それぞれの発表者の着眼点の鋭さや発想の豊かさに、会場から感嘆の声が上がった。そして、上野さんが各話、各コマの特徴を解説すると、納得した様子でうなずく姿が多く見られた。会場全体が一体となってグループワークを楽しんだことが見てとれた。
アニメ制作現場から「クリエイティブな仕事に注力できるように」
漫画を原作として制作されるアニメも多く、漫画を題材とした研究手法のアニメへの応用も期待される。
例えば、絵コンテ（イラストを用いて映像全体の設計を見せるもの）のタイトルの識別をする研究だ。2つのアニメ作品12話分の大量の絵コンテがどちらの作品のものなのかを、ディープラーニングにより画像の特徴を自動的に獲得して識別をするというもの。この研究が進めば、カットごとの絵コンテを描くための労力を数値化できることが期待でき、結果的に作業者ごとの作業機会の均等化を図ることができる。それにより制作費の適正配分が可能になるという。
はたなかさんによると、アニメの制作現場は作業ごとに非常に細分化されていて、1話30分のアニメ（動画枚数で5000枚）を制作するために約100人が1 チームとして携わる。1クール12話のアニメになると、5チーム編成（約300人）にまでなるという。作業が細分化されているからこそ自動化できる作業もある、とはたなかさん。例えば、比較的単純だが時間がかかる作業のひとつに絵コンテからVコンテ（ビデオコンテ：声優がアフレコをするために使用される動画）の制作がある。クリエイターが本来の仕事と並行して行っているこの作業を自動化できれば、「よりクリエイティブな仕事に時間を使え、作品の質向上につながる」と、はたなかさんらは研究を進めている。
このような制作現場のニーズも、研究を進める原動力になっているようだ。
人が主導してAIと協調
上野さんは現在、4コマ漫画の構造とストーリーを、AIを実行するコンピュータに学ばせる取り組みを行っている。プロット（キャラクター、シチュエーション、おおよそのストーリーなどを含む、作品の骨格となるもの）とシナリオをあらかじめ決めた場合に、漫画家がどんな描き方をするのかを学ばせたり、4コマ目にオチをつける場合と1コマ目にオチをつける場合の描き方の違った構造を学ばせたり。最終的にはAIが作品を生成することも視野に入れているという。
では、AIが感情や順序を識別できたら何ができるのか。上野さんは、「例えば、漫画を描き始めた人やより良い作品を生み出したいと考える人にアドバイスをするアシスタントのようなツールや、創作者が描こうとしているものと似たものが過去にないかを確認したいときに役立つツールにつながる」と考えている。
「こんなことに使えるAIが欲しいとか、逆に、ここは自分がこだわっている部分だからAIを使いたくないとか、いろいろな考えがある」。その一方で、上野さんは、個人的な考えと断ったうえで、「AIは人と共生していくと言われているが、私は、人の方が主導して協調していくもので、AIを使ってどこを自動化して楽にするのかは人が決めるものと考えている」と、人とAIが協調していく未来の姿を提案し、「今後も現場のニーズを教えてもらいながら共創して未来を作っていけたらと思う」と締めくくった。
 ギジログ1 |  ギジログ2 |  ギジログ3 |
 ギジログ4 |
サイエンスカフェをまとめた「ギジログ」(ギジログガールズ記録)
関連リンク