現在開発中のプログラムについて理研AIPの研究者にインタビューしてみました!

本日インタビューにお答えいただいたのは理研AIPの知識獲得チーム音楽情報知能チーム。知識獲得チームは歌詞生成プログラム、音楽情報知能チームはAIの楽曲生成プログラムの開発を担当しています。

AIとは何?ということから現在構築中のプログラムについて、
また今後のAIが学校において果たす役割は?など様々な質問にお答えいただきました!

Q1. まずは初歩的な質問ですが、、AIとはなんですか?

人間が日々の生活で行っている知的な機能(例えば視覚、聴覚、知識の習得と利用など)をコンピュータによって実現する研究を人工知能 (AI) 研究と呼びます。その機能を単に実現することを浅い AI、人間が行っている機能の解明を目指す研究を深い AI研究と呼んだりしますが、これまでの主な研究は浅いAIに関する研究です。

最近の AI は、深層学習といって、人間の神経回路を真似た素子を積み重ねたシステムが使われていますが、必ずしも人間と同じ構造をもっているわけではありません。超大規模なデータを用いることで、人間の能力をしのぐものが実現されたりしていますが、システムが複雑過ぎて、なぜうまくいっているかが説明できず、その解明自体が研究対象になったりしています。

 

Q2. 現在どのようなプログラムをどのように開発しているのですか?

歌詞(知識獲得チーム)

キーワード(歌詞の雰囲気など)や学校の種類(小学校、中学校、高校など)などを入力すると、AI が作詞を行います(歌詞を生成します)。実際に使っている技術としては、transformer※1 と呼ばれる深層学習モデルを利用しています。学習には歌詞データを使っており、キーワードなどから歌詞を生成するように繰り返し訓練することで歌詞生成を行っています。

本プログラムはAI が単独で歌詞を生成するというよりは、AI とユーザのやりとりを通して歌詞を完成させることを目指しています。具体的には、以下のようなシステムを開発しています。

1. ユーザがキーワードなどを入力する
2. AI がベースとなる詩を生成し
3. ユーザが生成された詩の一部を編集する
4. AI が編集を考慮し、再度詩を生成する
5. 3-4を繰り返す

楽曲(音楽情報知能チーム)

メロディには「起承転結」のような構造があり、構造が大きく崩れると違和感のあるメロディになります。音楽の深い構造を分析する「GTTM※3」という音楽理論を使うことで、構造を保った新しいメロディの生成が可能となります。

メロディを作っているときに、その一部に変更を加えたいと考えた場合、その書き換え候補をAIが提示することで、音楽的な構造を崩さずにだれでもメロディの編集ができるようになることを目指しています。

現在のAIの機能は、ユーザが選択した小節について、メロディの書き換え候補を提示することですが、今後は作曲に必要な様々な機能を実現していきます。

Q3. AIの学習を向上させるには、データの「量」と「質」が重要といわれていますが、本プロジェクトはどのようなデータを学習させているのですか。

歌詞(知識獲得チーム)

現在は、1000曲の校歌を学習に使用しています。一般的な AI の学習と比べると、量が少ないと思われますが、(校歌とは関係ない)他のテキストデータを活用することで、この量の少なさを補っています。具体的には、事前学習(pre-training)ファインチューニング(fine-tuning)※2 という技術を使っています。

 

楽曲(音楽情報知能チーム)

16~32小節程度の校歌が1000という数は、深層学習でのデータとしては極めて少なく、もっと多く収集していかないと思います。一生懸命集めても数に限りがあるため課題としてはとてもチャレンジングだと思います。
校歌の中には、地元の文学者など音楽を学んでいない者が作った曲があり、それらを作曲の専門家が見ると音楽的に適切でない部分がかなり多くあります。しかし、そこが校歌らしさなのかもしれないですので、あえて排除せずに学習を行っています。

 

Q4. システムを開発していて苦労している点はありますか?

歌詞(知識獲得チーム)

校歌特有の問題への対応、例えば韻を踏むことや音の数や特定の単語を必ず歌詞に含めさせるなどの制約条件 (地名や学校名を歌詞に含める)に苦慮しています。

 

楽曲(音楽情報知能チーム)

メロディの構造を分析する音楽理論「GTTM※3」について研究を開始してから間もなく20年になります。最初に作ったメロディ分析器は非常に分析精度が低いものでしたが、深層学習の導入により急速に分析精度が向上してきました。

 

Q5. AIが作る校歌と今ある校歌では、どのような違いが生まれると思いますか?

歌詞(知識獲得チーム)

校歌以外のデータを AI の学習に使用していることから、既存の校歌には使われていないフレーズなどが出力されるのではないかと思います。

 

楽曲(音楽情報知能チーム)

校歌も昭和時代の表拍が基本だったものから、裏拍を含むような今風のものにかわってきています。しかし、学習用のデータが極めて少ないので、古い校歌も新しい校歌も一緒に学習しなくてはいけません。したがって、AIが出力するメロディは古い感じがする部分と新しい感じがする部分が混在する曲になるだろうと思います。

 

Q6. 人間の感性が重要視される作詞・作曲という領域において、今後AIが担う役割はなんだと思いますか?

歌詞(知識獲得チーム)

今回開発している AI 歌詞生成システムは、AI が自動で作詞を行うというよりは、ユーザとのやりとりを通して作詞することを目的としています。そのため、AI が作詞における補助輪になれればと思います。
(逆に言うと、熟練者がこの AI 歌詞生成システムを使う必要性は少ないかもしれません)

 

楽曲(音楽情報知能チーム)

作曲をするのは初心者にとって非常にハードルが高いことですが、AIがアシストすることで初心者でも大きな苦労をせずに作曲できるようにしたいと思います。

現在は、音楽的な構造が破綻しないことに重点を置いて研究をしていますが、今後は作成するメロディの芸術性が高くなるような研究をしていく必要があります。

 

Q7.学校でどのように活用してもらいたいと考えていますか。また今後、AIは学校においてどのような役割を果たすと思いますか。

歌詞(知識獲得チーム)

例えば、詞を書いてください、と突然言われたとすると、大抵の人は考え込んでしまい手が動かないのではないかと思います。そのような場合に、このシステムが最初の一歩を踏み出す手助けになれれば幸いです。

 

楽曲(音楽情報知能チーム)

創作体験は、非常に良い情操教育になると思います。創作の体験を通して、趣味として作曲を楽しむ人が増えたら良いと思っています。

 


ボーナスクエスチョン


Q1. 理研AIPは日頃どのような研究をおこなっているのですか?

AIP では、AI の基盤技術である機械学習の研究、AI の応用の研究、AI の社会的影響や倫理に関する研究を3つの柱として研究を行っています。

 

Q2. AIに関する仕事に就くにはどうしたらいいですか?

中学生や高校生の間に重要なのは、数学と言語(英語、日本語)など基礎的な勉強です。大学では、情報科学や計算機科学など情報系の学科だけでなく、数学や物理など自然科学の様々な分野や文系学科の出身で AI 研究者として活躍している人も多くいます。人間の知的な活動全般に役立つ可能性のある分野ですから、広い知識を身につけておくことが役に立つと思います。

 

貴重なお話をありがとうございました!AIを使って校歌を作ることの難しさや、苦労する点が大変興味深かったです。プログラムの完成、そして全国の学校と連携してAIがつくるみんなの校歌を生成していく今後の展開も楽しみです。

AIを使った仕事に就くための道も一つではないのですね。これからたくさんの人がAIを使って生活をより楽しく、便利なものにしていきたいと思いました。本日は、ありがとうございました!