シュタゲに憧れてAIを始めた電大生がアマデウスならぬサリエリを作る話 その1

OVERVIEW

音声認識→対話生成→音声出力のチャットボットを作る日記

シュタインズ・ゲートゼロにはAmadeusシステムと呼ばれるAIが登場します.

こんなAIを開発してみたいという憧れから僕はAI&プログラミングの勉強を始めました.

実は本当に勉強始めたての頃に何も分からないながらLINEボットの開発を行いました.

(Salieriのロゴは勝手に僕がAmadeusぽいのを作りました.公式さんごめんなさい.)

ですが画像認識機能(!?)はつけたものの自然言語処理が分かんな過ぎてチャットはオウム返ししかできずここで止まってしまいました.

ですがpythonも深層学習を修行を積んだ今ならできるのでは?と思い再挑戦しました!


Step1 基本的な対話モデルの作成.


ということで作りました.(適当)

大学のオープンキャンパスの出し物として画像認識で人を検知して研究室の概要説明を始めてくれるBOTを開発しました.

今はAPIやライブラリが充実していて良いですね..

Googleの音声認識APIとpytts3で音声認識と出力はできました.

さすがにAPI叩くだけだと機械学習屋としては悲しいので,text to img ができるリポジトリ引っ張ってきて音声入力した人の特徴の画像を生成してくれる機能も作りました.

結構これだけでもお客さんの受けは良かったのでうれしかったですね..


基本的な対話はTransformerベースのチャットボットを学習させて使いたかったけどうまく学習ができずご覧の有様.



ただの陰キャボットになりました.


ちょっと使い物にならないので今回はAPIを使用,学習がうまくいったら乗り換えたいですね.


ここまでのSalieriの機能はこんな感じ


研究室HPにて紹介してもらったのでこちらも是非見てください(動画あり)

https://tdu-ai-lab.github.io/activity/labai/


ひとまずオープンキャンパス対話AIはここまで.

次回は大事なキャラクターの描画と制御に挑戦したいと思います.


ちら見せ

tobe continued....


WEBSITE