ClipchampとChatGPT(有料版)で音声付き教材を作る

Webベースで動画編集ができるClipchampと生成AIのChatGPT(有料版)を使って教材を1つ作ってみました。まずはできた短い動画を見て下さい。

手順(1)ChatGPTで中国語の対話を1つ作る

まず自分で中国語の対話の下書きをしました。それをChatGPTに自然な中国語になるように添削してもらいました。ChatGPTが添削した結果、できた対話は以下のようなものです。なお、以下の文章はChatGPTが添削したもので、添削後の文章に私は一切手を入れていません。

母亲:你的房间总是这么乱,你赶快打扫打扫。
儿子:好了好了,你说几遍了?别再说了。我马上就打扫,不就行了吗?

手順(2)ChatGPT(有料版)に対話に基づいた絵を描いてもらう

この対話をChatGPT(有料版)に与えて、この対話を元に1枚絵を描いてもらいました。漫画風の画風にするように指定しました。
ChatGPT(有料版)は指示に基づいて絵を描くのですが、絵の中に入った文字が苦手です。アルファベットはまだしも、漢字や平仮名はこの世に存在しない「嘘の字」を描いてしまいます。今回「嘘の字」が描かれたいた部分は、後で私が塗りつぶして消しました。

手順(3)上記の対話に基づいてChatGPTに問題を作ってもらう

ChatGPTに「HSK听力题のような選択問題を作ることができますか?問題文も選択肢も全て中国語で書いてください。選択肢は1問につき3つ作ってください。」と指示したところ、以下のような問題を作ってきました。なお、以下の問題はChatGPTが作ったままで、私は一切手を入れていません。実際に問題として使うには検証が必要です。

1.母亲为什么生气?
1.儿子不做作业。
2.儿子的房间很乱。
3.儿子不听话。

2.儿子对母亲的要求有什么反应?
1.马上开始打扫。
2.不理会母亲。
3.觉得母亲说得太多。

3.儿子最后决定做什么?
1.不打扫房间。
2.马上打扫房间。
3.请别人帮忙打扫。

答案:
2
3
2

手順(4)Clipchampで画像に合成音声の台詞をつける

ClipchampはWebブラウザで使える動画編集サービスです。元々ベンチャー企業のサービスでしたが、後にMicrosoftの傘下に入りました。
ClipchampはMicrosoftのアカウントで無料で使えますが、有料版もあります

Clipchampの無料版は有料版に比べるといくつか機能制限がかかっています。
Clipchampは今はMicrosoft365の中にも入っていますので、勤務先がMicrosoft365と契約しているのであれば、その中に入っているClipchampを使う方がよいかもしれません。

まず先ほどChatGPT(有料版)が作った絵を、Clipchampの「メディア」からアップロードしておきます。

次ぎに合成音声で台詞を読ませます。Clipchamp、Microsoftの傘下に入ったので、Microsoftの持っている多種多様な合成音声が使えるようになりました。
合成音声を作る場所が少しわかりづらくて、「録画と作成」というところにある「音声変換」を選び、文章を入力して音声を合成します。

合成音声の速度調整はもちろんできますし、声の種類によっては、フラットに読む以外に、怒り・不満・悲しみ・快活といったような感情を込めることもできます。上記の動画でも感情を込めるように設定してあります。感情を込めたい時は「詳細設定」を開けて設定します。

Clipchampはそもそもが動画編集サービスなので、タイムライン上で画像、動画、音声などのメディアを組み合わせて編集することができます。合成音声もそれぞれタイムラインを持っているので、セリフの「かぶり」(誰ががしゃべっているところに割り込んでかぶせてしゃべる)もできます。