NF2021

サークル活動

学期中の毎週の活動として輪読会を行っています。 輪読会では本を読んだり、中には各自が個人的に気になっていることについて発表したりと盛況しています。 また、サークル内で進めたいプロジェクトがあれば、気軽に提案して進めることもできます! 今回発表している音声変換モデルもそういったプロジェクトです。

会誌

KaiRAメンバーが普段の活動に関して作成した会誌です。以下で簡単に内容を説明します。タイトルのリンクからPDF形式で見ることができます。気になったらダウンロードしていただくことも可能です！

KaiRAホームページのdocsページから過去のNFで配布した会誌も閲覧可能です。

  • Deep Learning入門

    Deep Learningを構成している各要素(ニューラルネットワーク、パラメータ最適化手法)について、簡単な数式を用いて説明しています。 大学1年で習う数学を軽く理解していれば難なく読み進められると思います。 「理系でDeep Learningちょっと興味ある！」くらいの大学生はぜひ！

  • KaiRAで作成した音声変換AIのしくみ

    下のデモで使われている音声変換モデルについて、アーキテクチャや工夫点を簡単に説明しています。 どのような技術が使われているか興味ある方はぜひ！ Deep Learningや機械学習についてほとんど知識がなくても読めるような内容になっています。

  • Spiking Neural Networkの紹介

    KaiRAメンバーの1人が取り組んでいるSpiking Neural Network(SNN)について紹介しています。 SNNはDeep Learningで一般的に用いられるDeep Neural Network(DNN)と比べ、より脳内のニューロンやシナプスの構造を意識してモデル化したものです。 興味のある方はぜひ！

KaiRAメンバーが関係しているプロジェクト

音声変換モデル

KaiRA内で音声変換のプロジェクトを立ち上げ、KaiRAで借りているGCPリソースを使用して学習させました。 従来のモデルと比べ、学習データにない音声や言語を入力しても音声変換が上手くいくような工夫をしました。

こちらのリンク※からデモを試すことができます！音声データを自分で用意しなくても、用意されているサンプル音声と自分の音声で変換を遊んでみることができます！ 変換したい元の音声を[SOURCE]に、変換後にしたい声質の音声を[REFERENCE]に入力すれば音声変換ができます。wav形式の音声ファイルをアップロードするか、Recordを押してその場で音声を録音してください。サンプルを使用することもできます。

※現在は公開を停止しています。

変換例

訓練データにはない「KaiRAは機械学習や深層学習を対象にした自主ゼミサークルです。」という音声を訓練データにある音声に変換しました。

このように、訓練データにない音声→訓練データにある音声、という変換はかなり自然にできます。一方、訓練データにない音声への変換はうまくいかずにほとんど音声が変わらないため、今後の課題になっています。

  • SOURCE
    元の音声
  • REFERENCE
    音声1
    音声2
    音声3
  • 変換結果
    変換結果1
    変換結果2
    変換結果3