生成AIと合成音声でミニ教材を作る(2)

iPhone用の成语大词典というアプリには每日成语というコーナーがあり、ランダムに成語が表示されます。そこで出ていた成語をもとに生成AIに会話と聞きとり用の選択問題を作ってもらいました。更に職場で若い男女が話し合っているというテーマで絵を1枚出力してもらいました。その静止画と合成音声を使ってミニ動画教材を作ってみました。

使ったものは以下の通りです。生成AIがどれくらい会話や問題を作れるのかを見てもらうために、生成AIの出力は基本的にはそのままです。実際に教材として使用するには検証が必要です。

  • ChatGPT GPT4o(会話の作成、聞きとり問題の作成、会話に合わせた静止画の作成)
  • Clipchamp(静止画を読み込んで、合成音声で台詞と聞きとり問題を生成し、動画として出力)

生成AIが作ったスクリプト

会话

♂:小李,我听说你负责的那个项目做得非常好,客户很满意。
♀:谢谢你的夸奖!不过我觉得还有一些地方可以改进,所以我打算再花点时间优化一下。
♂:你真是精益求精啊!项目已经做得很好了,还想继续改进,真是让人佩服。
♀:其实,我总觉得工作不能只满足于及格,而是要做到最好。只有精益求精,才能不断提高自己的能力。
♂:你说得对!我们在工作中也应该追求更高的标准,不断进步。
♀: 是啊,一起努力吧! 

听力题

问题一: “精益求精”的意思是什么?
(1)满足于现在的成绩
(2)不断努力,使原本好的变得更好
(3)做事情不求完美
(4)只关注眼前的问题

问题二: 小李为什么想再花时间优化项目?
(1) 她觉得项目已经做得很好了
(2) 她觉得还有改进的地方
(3)她不满意客户的反馈
(4)她有更多的时间和精力

生成AIと合成音声でミニ教材を作る(1)

iPhone用の成语大词典というアプリには每日成语というコーナーがあり、ランダムに成語が表示されます。そこで出ていた成語をもとに生成AIに会話と聞きとり用の選択問題を作ってもらいました。更に職場で若い男女が話し合っているというテーマで絵を1枚出力してもらいました。その静止画と合成音声を使ってミニ動画教材を作ってみました。

使ったものは以下の通りです。生成AIがどれくらい会話や問題を作れるのかを見てもらうために、生成AIの出力は基本的にはそのままです。実際に教材として使用するには検証が必要です。

  • ChatGPT GPT4o(会話の作成、聞きとり問題の作成、会話に合わせた静止画の作成)
  • Claude 3.5 Sonnet(会話の修正)
  • Clipchamp(静止画を読み込んで、合成音声で台詞と聞きとり問題を生成し、動画として出力)

生成AIが作ったスクリプト

会话

♂:小王,你最近很忙吧,经常加班,真辛苦。 
♀:是啊,公司给了我个新项目,需要花很多时间。不过,我相信只要努力,就能做好。
♂:你这么努力,肯定能成功。不过,听说有些人喜欢坐享其成,根本不努力。
♀:确实有这种人。他们总是想不劳而获。但我觉得,自己努力得到的东西才最有意义。
♂:我完全同意。所以我们要继续努力,不要想着坐享其成。 
♀:没错!我们一起加油吧!

听力题

问题一: “坐享其成”的意思是什么?
(1) 自己努力工作并成功
(2)不做任何努力,只享受别人的成果
(3)一起合作完成任务
(4)努力追求自己的梦想

问题二: “不劳而获”的意思是什么?
(1)努力工作后获得成功
(2)不付出劳动却想获得收获
(3)与别人合作完成工作
(4)通过辛勤劳动获得成果

ClipchampとChatGPT(有料版)で音声付き教材を作る

Webベースで動画編集ができるClipchampと生成AIのChatGPT(有料版)を使って教材を1つ作ってみました。まずはできた短い動画を見て下さい。

手順(1)ChatGPTで中国語の対話を1つ作る

まず自分で中国語の対話の下書きをしました。それをChatGPTに自然な中国語になるように添削してもらいました。ChatGPTが添削した結果、できた対話は以下のようなものです。なお、以下の文章はChatGPTが添削したもので、添削後の文章に私は一切手を入れていません。

母亲:你的房间总是这么乱,你赶快打扫打扫。
儿子:好了好了,你说几遍了?别再说了。我马上就打扫,不就行了吗?

手順(2)ChatGPT(有料版)に対話に基づいた絵を描いてもらう

この対話をChatGPT(有料版)に与えて、この対話を元に1枚絵を描いてもらいました。漫画風の画風にするように指定しました。
ChatGPT(有料版)は指示に基づいて絵を描くのですが、絵の中に入った文字が苦手です。アルファベットはまだしも、漢字や平仮名はこの世に存在しない「嘘の字」を描いてしまいます。今回「嘘の字」が描かれたいた部分は、後で私が塗りつぶして消しました。

手順(3)上記の対話に基づいてChatGPTに問題を作ってもらう

ChatGPTに「HSK听力题のような選択問題を作ることができますか?問題文も選択肢も全て中国語で書いてください。選択肢は1問につき3つ作ってください。」と指示したところ、以下のような問題を作ってきました。なお、以下の問題はChatGPTが作ったままで、私は一切手を入れていません。実際に問題として使うには検証が必要です。

1.母亲为什么生气?
1.儿子不做作业。
2.儿子的房间很乱。
3.儿子不听话。

2.儿子对母亲的要求有什么反应?
1.马上开始打扫。
2.不理会母亲。
3.觉得母亲说得太多。

3.儿子最后决定做什么?
1.不打扫房间。
2.马上打扫房间。
3.请别人帮忙打扫。

答案:
2
3
2

手順(4)Clipchampで画像に合成音声の台詞をつける

ClipchampはWebブラウザで使える動画編集サービスです。元々ベンチャー企業のサービスでしたが、後にMicrosoftの傘下に入りました。
ClipchampはMicrosoftのアカウントで無料で使えますが、有料版もあります

Clipchampの無料版は有料版に比べるといくつか機能制限がかかっています。
Clipchampは今はMicrosoft365の中にも入っていますので、勤務先がMicrosoft365と契約しているのであれば、その中に入っているClipchampを使う方がよいかもしれません。

まず先ほどChatGPT(有料版)が作った絵を、Clipchampの「メディア」からアップロードしておきます。

次ぎに合成音声で台詞を読ませます。Clipchamp、Microsoftの傘下に入ったので、Microsoftの持っている多種多様な合成音声が使えるようになりました。
合成音声を作る場所が少しわかりづらくて、「録画と作成」というところにある「音声変換」を選び、文章を入力して音声を合成します。

合成音声の速度調整はもちろんできますし、声の種類によっては、フラットに読む以外に、怒り・不満・悲しみ・快活といったような感情を込めることもできます。上記の動画でも感情を込めるように設定してあります。感情を込めたい時は「詳細設定」を開けて設定します。

Clipchampはそもそもが動画編集サービスなので、タイムライン上で画像、動画、音声などのメディアを組み合わせて編集することができます。合成音声もそれぞれタイムラインを持っているので、セリフの「かぶり」(誰ががしゃべっているところに割り込んでかぶせてしゃべる)もできます。