2021/03/25

続報:字幕自動生成機能付きのChromeブラウザーを英語学習のために使う


前の記事(リスニング学習の革命? Chromeブラウザで英語を聞くと、音声を自動的に文字起こししてくれる)でも書きましたように、少なくとも私はChromeブラウザーが英語字幕自動生成機能を搭載したことは、英語学習にとって画期的であると思っています。

この記事では、主に若い英語学習者を念頭におきながら、Chromeブラウザーの効用について説明します。


■ Chromeが自動的に生成する字幕は完璧ではない。しかし人間のリスニングの初期段階もそうなのかもしれない。

私は最近、ナシーム・ニコラス・タレブ (Nassim Nicholas Taleb) という知の巨人にハマっていますので、彼のYouTube動画をChromeブラウザを聞いて視聴しました。


Nassim Nicholas Taleb: How to Live in a World we Don't Understand

https://youtu.be/iEnmjMgP_Jo


彼はモゴモゴ話しますから、恥ずかしながら私のリスニング力では相当集中しなければ聞き取ることができません。また、正直、一部は聞き取れないままです。だから、脳内で補正しなければならず、それなりに疲れます。

しかし字幕機能を使うと、自分が聞いた直後に、AIが認識した英語が文字化されますから、うまく聞き取れないストレスはかなり解消されます。これならば長時間の講義も楽に聞けます。

とはいえ、タレブの話には知的な専門用語や固有名詞が多く出てきます。それらは一般には頻出表現ではありませんから、ビッグデータに依拠するAIは必ずしもうまく対応できず、文字化に失敗することも少なくありません。それでも私は日本語翻訳で彼の本をある程度読んでいますから、そのAIの失敗を自分なりに補正することができます。英語が音声というすぐに消え去る媒体ではなく、文字という短時間とはいえ安定的に知覚できる媒体で提供されていることも大きく役立っています。

この字幕生成が完璧ではないということから、「まだまだAIは駄目だ」と結論することは容易です。しかし、私はそれよりも「人間のリスニングも案外、そんなものかもしれない」と考えるべきかと思っています。

どこで読んだか忘れてしまったので引用できませんが、通常の人間の発声は理想的な発声とはほど遠いもので、そのままの音声で忠実に話者の意図通りの単語・文を再現することはかなり容易ではないそうです。つまり、人間は日常会話でも、かなり自分で補正しながら音声を聞き取っているわけです。聞き手は、話し手が意図しているだろう単語・文を自ら構成しながら認識しているというわけです。そもそも人間の脳は "predicting machine" であり、予測する能力でもって人間はこの複雑な世界に対応することができるというのも認知科学・神経科学ではよく聞かれる話です。

そうなると完璧ではないChrome (AI) の文字起こしも、実は私たちの脳が音声理解をしている最初の音声認識の段階に近いのではないかと思えてきます。

そこからさらに飛躍させますなら、その誤りや不足を含むChromeの字幕を、自分がもつ背景知識などを基にして修正することも、リスニング学習の一部ではないかと思えてきました。(少なくとも英語学習一般の一部とは言えないでしょうか)。

ですから、英語学習者がChromeの字幕機能を試してみて、それが完全ではないことを知るや否や、「これは使えない」と諦めるのは早計だと思います。私の予感は、瞬間ごとに自動的に生成される字幕で自分のリスニングを確認する経験は、リスニング力(ひいては英語力一般)の向上にかなり貢献するというものです。私もしばらく自分を実験台にしてChromeでの英語リスニング・リーディング経験を重ねてゆきたいと思います。

Chrome上での経験を私は上で「リスニング・リーディング経験」と表現しました。「自力での英語音声認識+その認識に対する直後のAIフィードバック+字幕の速読+AIフィードバックの自力修正」という過程を簡潔に表現したかったからです。

しかしもう少し丁寧に説明した方がいいのかもしれません。そこで下に「英語リスニング力を向上させるために必要な要因」、「字幕機能付きのChromeブラウザーで可能になったこと」、「Chromeブラウザーでリスニング力を向上させることができる理由」という項目を立てて説明を加えます。



■ 英語リスニング力を向上させるために必要な要因

今回の経験を通じて改めて考えてみますと、英語リスニング力を向上させるためには、少なくとも下の6つの要因が必要だと思われます。(注)

(1) 音声(単語)をできるだけ正しく認識できる力

(2) 認識した単語を瞬時に文法的に統合して文の意味を把握できる力

(3) 背景知識を使って、単語認識や文意把握の不足や誤りを修正できる力

(4) 上の3つの力を融合的に発達させるための十分な量のリスニング経験

(5) 十分な量のリスニング経験を可能にするための知的好奇心

(6) 個々人によって異なる知的好奇心を満たすために、教材に多くの選択肢があること

(注)(2) について詳しく言えば、意味理解は文レベルだけでなく段落や文章全体のレベルでも行います。後者の理解は抽象度が高く、また聞き手の背景知識や意図などにも左右されますから、前者の理解とは区別するべきです。さらに、(2) の瞬時的な文意把握をも、1-2文ではできても、いくつもの文が連続して到来するとワーキングメモリーがパンクするような状態になって処理できなくなる人もいます。ですから、(2) から、「文意把握を連続して高速に行える力」といった概念を派生させて、それは別個の能力として扱うべきなのかもしれません。しかし、ここでは話を単純にするため、とりあえず上の6つの要因で考えます。


■ 字幕機能付きのChromeブラウザーで可能になったこと

他方、Chromeが可能にしてくれたことは以下のようなことでしょう。

(a) ウェブにある英語の中で自分がもっとも聞きたい英語を選んで聞けること

(b) 自分で英語を聞いた直後に、Choromeが提示するそれなりに正しい英語字幕を見て、自分の聞き取りの是非について確認すること

(c) 音声よりも安定的に知覚できる文字(英語字幕)を読んで、文の意味理解をより確実しながら、字幕を速読し続けること


■ Chromeブラウザーでリスニング力を向上させることができる理由

これら (a) - (c) の観点から、リスニング力向上のために必要な (1) - (6) について考えましょう。

(a)(ウェブ上の莫大な情報量)により、 (4)(十分な量のリスニング経験)と (6) (教材の選択肢の多さ)を満たすことが容易になります。

(b)(音声聴取直後の字幕提示)は、(1) (自分の音声認識のチェック)をかなり鍛えてくれます(もっとも別途、分析的に英語音声の特徴を学んだ方がより有効的かもしれませんが)

(c) (一定時間の文字提示)で (2) (文法的処理力)と (3)(初期段階の認識・把握の修正力)が育まれます。

足りないのは (5)(知的好奇心) です。知的好奇心があることは学習の当然の前提であり、問題ないと思われるかもしれませんが、私はそう楽観できないと思っています。

といいますのも、一般に「よく勉強する」と言われる人は、単純に分けると2種類に分類できるからです。

1つは、テストで高得点を取るために勉強する秀才タイプです。もう1つは自分が楽しいから学ぶ気まぐれタイプです。

秀才タイプは、他人が設定したゴールやルールに合わせて、頑張って勉強することを得意とします。自分が嫌いなことでもそれを我慢して勉強することが大切だと信じています。秀才タイプは、ほとんど外発的に動機づけられています。

気まぐれタイプは、とにかく楽しいから学び続けます。だから先生から勉強を命じられても、面白くないと思えば勉強しません。そもそも気まぐれタイプにとって、学ぶことは「勉めることを強いられる」ようなものではありません。学びとは自然と湧き上がってくる内発的な動機(やる気)から、思わずやってしまうもののです。(関連記事:國分功一郎・熊谷晋一郎 (2019) 『<責任>の生成 -- 中動態と当事者研究』(新曜社)を読んで:「英語が話せる」ことや「やる気が出ない」ことなどについて動機づけに関するDan Pinkの動画) 

最近、世の中には私の予想以上に秀才タイプが多いように思えてきました。秀才タイプには上の(5)(知的好奇心)の欠如は結構深刻な問題かもしれません。

そうはいっても、秀才タイプは、他人から指示されたゴールやルールを自分に強制的に適用するのは得意なわけです。ですから、例えばとりあえずTED動画などを英語字幕自動生成機能付きのChromeブラウザーで毎日視聴することを自分に強制すればどうでしょうか。そのうちに、本来もっていた自然な好奇心が活性化してくると思います。


■ 教師という他人に、自分の学びを完全に支配させるべき理由などない

以上のように、私は、Chrome字幕を使った英語視聴は英語リスニング力ひいては英語力一般を向上させるために、非常に有効な手段だと考えています。

ですが、このような画期的な機能の登場を受けても、学校の授業が変わるのには少なくとも数年はかかるでしょう(きわめて残念ながら日本の組織は急速な適応を得意としていません)。しかし、数年という時間は若い学習者にとっては大切な時間です。その数年のうちに卒業し、忙しい社会生活に入るかもしれないからです。

学習者は、自らの学びの主人公 (agent) であり所有者 (owner) です。若い学習者のみなさんは、自分の学びを、教師という他人に支配・管理されるのを待たずに、どうぞどんどん自分で行動を開始してください。秀才タイプのみなさんも、気まぐれタイプの学び方を少しは身につけてはどうでしょうか。

自分の知的好奇心を満たしてくれる世界が、日本語世界だけでなく、英語世界にも拡張すると、楽しいですよ!


追記1

この記事を書いた直後に、私がTwitterでフォローしている方から、「日本語字幕がない映画の視聴にもこの字幕機能は有効だ。『ゴッドファーザー』での字幕の出来栄えは素晴らしかった」との情報をいただきました(情報提供に感謝します)。

なるほど、映画などもChromeブラウザー上で見さえすれば、自動的に英語字幕が付くわけですね。さらには歌でもカーペンターズのような、標準的な発声でしたら、きちんと文字起こししてくれるようです。学びの選択肢は私の予想以上に多くありそうです。


追記2

誤解のないように付け加えておきますと、上のタレブの講演は、現時点でのAIにとっては認識が難しいグループに入るものかと思います。CNNニュースなどの丁寧な発声での字幕生成はほぼ問題がありません。Chromeブラウザーを主にリスニング学習のために使うのなら、いわゆる「標準的な」あるいは「規範化された」語り方をしているサイトを選んだほうがいいかもしれません。


関連記事:
知的な英語を使いこなせるようになりたい大学生のために


「英語教育の希望としての田尻実践」のスライドと準備録画の公開、および若干の感想

3/23(土)の「 人を育てる英語教育:田尻悟郎の授業は大学生の人生にどう影響を与えているのか FINAL! 」は、会場がほぼ満員で終始いい雰囲気の中で終わりました。激しい雨の中お越しいただいた皆様、煩瑣な裏方作業を引き受けてくださいました凡人社の皆様に厚く御礼申し上げます。 下...