<実践報告>日本語(L1)から英語(L2)に機械翻訳されたアカデミックエッセイにおけるエラーの分類 --京都大学EGAPライティングクラスで得られた具体的な結果と一般的な示唆--：英語翻訳の2次出版付き

 お知らせ

先日の「LET関東支部研究大会講演スライド公開　『機械翻訳が問い直す知性・言語・言語教育 ―サイボーグ・言語ゲーム・複言語主義―』」の記事にYouTube解説動画をつけました。

***

この度、以下の実践報告が京都大学学術情報リポジトリに掲載されましたので、お知らせします。とはいえ、この実践報告に書いていないことを含めると、AIを巡る事情ははるかに進展し、この実践を行った2019年度後期の日々がはるか昔に思えるほどです。

もちろん授業はセメスター毎に少しずつ変更していますが、技術進歩の速度が社会の変化可能な速度を超えたのではないかと思わされるぐらいです。仮に個々人が技術の変化になんとかついていったとしても、社会や組織全体が変わるスピードは技術進展の速度になかなかついてゆけません。

従来どおりの（英語）教育を続けること、あるいはそれに表面だけの微修正を加えて改革をしたと主張することは容易ですが、それがこれからの時代を生きる若い世代のための最善の教育であるとは私はなかなか思えません。

とはいえ、AIは機械翻訳以外にもますます進展しているわけですから、次の世代への指針を定めることも容易ではありません。

そういうわけで下の報告も、出版したこの3月時点で、もはやAIを使った大学英語ライティング教育の最新の事情を伝えるものにはなっていませんが、今はこれ以上のことができないのでここでも公開する次第です。

なお、機械翻訳のおかげで翻訳作業が非常に楽になったので、この実践報告は日本語話者にも英語話者にも読んでもらえるように日英両語で出版させていただきました。掲載誌の『国際高等教育院紀要』は次の第6号から投稿規定を変えて正式にこういった二次出版 (secondary publication：ある論文・報告を別言語に翻訳して出版すること）を認める方向で今動いています。紀要関係者の皆様のご理解に厚く御礼申し上げます。

著者

柳瀬陽介、リーズ・デイヴィド (Yosuke Yanase & David Lees)

タイトル

<実践報告>日本語(L1)から英語(L2)に機械翻訳されたアカデミックエッセイにおけるエラーの分類 --京都大学EGAPライティングクラスで得られた具体的な結果と一般的な示唆--

<Survey and Practical Report>Categorizing Errors in Machine-translated Academic Essays from Japanese (L1) to English (L2): Some Specific Findings and General Implications from Kyoto University EGAP Writing Classes

抄録

この実践報告は、本学のEGAP(English for General Academic Purposes)カリキュラムにおけるケーススタディの結果を伝える。本稿のデータは、1回生対象の英語ライティング-リスニングの2クラス(後期後半)において受講生が宿題で書いた日本語(L1)アカデミックエッセイを機械翻訳ツールに入力して得た英語(L2)翻訳である。学生はその後の授業において英語翻訳を批判的に読解した後で改訂することを求められた。だが改訂前の機械翻訳データについては、2名の英語母語話者英語講師と2名の日本語母語話者英語講師が評価したところ、語法面において翻訳の不備が確認された。本報告では日英翻訳における機械翻訳の典型的なエラーを分類した。さらに、機械翻訳を利用する際の暫定的なガイドラインとそこからの示唆を提示した。機械翻訳は常に適応・進化し精度を向上させているが、機械翻訳を万能薬や「魔法の杖」のように誤解・誤用してはならない。EGAPライティングの授業で機械翻訳を導入するのであれば、機械翻訳の翻訳結果を改善するために人間の介入が必須であることを学習者も教員も自覚する必要がある。

This practical report presents the results of a case study at Kyoto University in the English for General Academic Purposes (EGAP) curriculum. The data was derived from two first-year English Writing-Listening classes where students used Machine Translation (MT) tools for translating Japanese (L1) academic essays that they produced in one assignment into English (L2). This procedure took place during the second semester through the last half of the course. After obtaining MT output, students were instructed to revise it after reading it critically. Assessments of the MT output by two native English instructors and two Japanese instructors confirmed that usage of the output was, in some cases, not adequately translated by MT. This report presents a categorization of typical errors of MT, thereby suggesting a preliminary guideline for using MT. The report also discusses some general implications on the use of MT in academic English writing. Although MT is constantly adapting and evolving for improved accuracy, this report suggests that MT should not be mistaken or misused as a panacea or “magic wand” for translation.

掲載誌： 『京都大学国際高等教育院紀要』第5巻 59-79

DOI: 10.14989/ILAS_5_59

URL: https://doi.org/10.14989/ILAS_5_59

英語の情報源をもつことで、自分の情報網を広げる。

【この「時事」カテゴリーの記事は、学生さん向けの文章をこのブログに転載しているものです。】

***

量子コンピュータは、現在のスーパーコンピュータが数千年かかっても計算できないような問題をわずか数分で解くとも言われています。

‘Quantum Internet’ Inches Closer With Advance in Data Teleportation

https://www.nytimes.com/2022/05/25/technology/quantum-internet-teleportation.html

は、そんな量子コンピュータについての解説記事です。

この記事は、量子力学のメカニズムをきちんと理解できない私のような読者のために（苦笑）、「机の上でくるくる回転しているコインは、回転が終わった時に表にも裏にもなりうる」という喩えを使って、quibit (=quantum bit) を説明します。

量子コンピュータは、bitではなくquibitを使うので、quibitが増えるごとにその計算量が指数関数的に増えるのだそうです（物理学に詳しい方、どうぞさらなる解説をお願いします　笑）。

Traditional computers perform calculations by processing “bits” of information, with each bit holding either a 1 or a 0. By harnessing the strange behavior of quantum mechanics, a quantum bit, or qubit, can store a combination of 1 and 0 -- a little like how a spinning coin holds the tantalizing possibility that it will turn up either heads or tails when it finally falls flat on the table.

This means that two qubits can hold four values at once, three qubits can hold eight, four can hold 16 and so on. As the number of qubits grows, a quantum computer becomes exponentially more powerful.

しかしそんな量子コンピュータが可能になるためには、quantum teleportationが必要となるそうです。

Although it [=quantum teloportation] cannot move objects from place to place, it can move information by taking advantage of a quantum property called “entanglement”: A change in the state of one quantum system instantaneously affects the state of another, distant one.

この時点で私の理解力は明らかに止まってしまうのですが、この記事は、そのquantum teleportationについてのNature学術記事へのリンクを貼ってくれています。

Qubit teleportation between non-neighbouring nodes in a quantum network

https://www.nature.com/articles/s41586-022-04697-y

リンク先のAbstractを読むと、相変わらず量子力学やentanglementの基本原理については理解できませんが、この論文がやろうとしていることは私にすらおぼろげにわかります。

英語で報道を読んでいると、上の例のようにしばしば、一次情報にスムーズに移行することができます。今回、私は具体的にはあまり理解を増やすことができませんでしたが、それでも 'qubit'について次に読んだときにはもう少しわかるかもしれないという知的好奇心は増しました。

日本語の報道ですと、人名や多くの用語はカタカナ表記ですから、英語のスペリングを知らないと英語でのネット検索にすら手間がかかってしまいます。だから情報があまり増えません。日本語のネット検索で知ることができる情報は限られているからです。

また日本の新聞社のサイトなどでは、他のサイトへのリンクを貼っていないサイトも多くあります。この点でも、日本語で情報を得ていると、情報網がなかなか広がらないようにも思えます。

少しでもいいですから、情報源に英語を加えてみると少しずつ自分の世界が広がるはずです。この量子コンピュータにせよ、人工知能にせよ、気候変動にせよ、インフレにせよ、自由主義国家圏と専制的国家圏の間に広がりつつある溝にせよ、世界はこれから大きく変動するように思えます。

ぜひ英語で情報を入れる習慣を学生時代のうちに身につけてください。

LET関東支部研究大会講演スライド公開 「機械翻訳が問い直す知性・言語・言語教育 ―サイボーグ・言語ゲーム・複言語主義―」

 追記（2022/06/28）

下にスライドを使ったYouTube解説動画を加えました。

***

2022年6月18日(土)にZoomで開催されるLET関東支部第147回（2022年春季）研究大会で基調講演をさせていただきます。タイトルは「機械翻訳が問い直す知性・言語・言語教育 ―サイボーグ・言語ゲーム・複言語主義―」です。この機会をくださいました関係者の皆様に深く御礼を申し上げます。

ここでは当日に使用するスライドを掲載します。ご興味のある方はどうぞダウンロードして御覧ください。

当日は、いただいた時間の半分を私による講演にして、残り半分を対話の時間とする予定です。参加申し込みは6/15（水）の23:59までだそうです。ご希望の方はこちらからお申し込みください。

追記（2022/06/28）

下のYouTube解説動画を加えました。

関連記事

6/19ELPA講演「英語教育は「道具としてのAI」をうまく活用できるのか？ 」の投映スライドの公開

https://yanase-yosuke.blogspot.com/2021/06/619elpaai.html

解説動画「機械翻訳によって、異文化の問題は前景化するのかそれとも後景化するのか：一般学術目的の英語ライティング授業からの考察」

https://yanase-yosuke.blogspot.com/2021/11/blog-post.html

【約7,000字】　AIの発展を踏まえた上でのこれからの大学英語教育についての一考察

https://yanase-yosuke.blogspot.com/2021/05/7000ai.html

【約3万5千字】　AI時代の英語教育： 大学Academic English指導者の立場からの提言

https://yanase-yosuke.blogspot.com/2021/05/35ai-academic-english.html

「AI」と「評価」についての定義、およびAI講演に寄せられた質問への回答

https://yanase-yosuke.blogspot.com/2021/05/aiai.html

ライティング用AIは、学習者に理解語彙を使って思考・表現し、それを発表語彙に変える機会を与える

https://yanase-yosuke.blogspot.com/2021/06/ai.html

日英両語での「英語リスニング力を向上させるために」という記事に、AI (Amazon Polly) の英語音声をつけてみました

https://yanase-yosuke.blogspot.com/2021/09/ai-amazon-polly.html

AI (GPT-3とOtter) の性能を目の当たりにして、私たちの頭の固さについて改めて考えました。

https://yanase-yosuke.blogspot.com/2022/05/ai-gpt-3otter.html

Language Reactor, Google発音判定, LINE英語音声入力などを使いながらLanguishing（意欲減退）について学んでいると、そのうち英語の学習・使用への意欲も湧いてくるかもしれない。

https://yanase-yosuke.blogspot.com/2022/05/language-reactor-google-linelanguishing.html

AIを無視も敵対視もせず、いかにAIと協働できるかを考えるのが鍵

https://yanase-yosuke.blogspot.com/2022/06/aiai.html

AIは人間の能力を補い、人間でしかできない能力の開発を促す

https://yanase-yosuke.blogspot.com/2022/06/ai.html

AIは人間の能力を補い、人間でしかできない能力の開発を促す

 【この「時事」カテゴリーの記事は、学生さん向けの文章をこのブログに転載しているものです。】

***

2022年6月11日号のThe Economist（デジタル版）はAI（人工知能）に関する記事を3つ掲載しました。

最初の記事は編集部が執筆したもので、AIによって、人間はより高度な仕事をすることが求められるだろうという予測を述べています。

How smarter AI will change creativity: The promise and perils of a breakthrough in machine intelligence

https://www.economist.com/leaders/2022/06/09/artificial-intelligences-new-frontier

Foundationと呼ばれる新しいモデルは、これまでのAIよりも柔軟であり、単純作業だけでなく、アーチストやライターやプログラマーの仕事の一部もこなします。

For years it has been said that AI-powered automation poses a threat to people in repetitive, routine jobs, and that artists, writers and programmers were safer. Foundation models challenge that assumption. 

しかしながら、AIの知性と人間の知性の違いに注目するならば、AIが人間の地位を奪う知性をもっていると考えるよりも、人間の知性を補うものだと考えるべきだと記事は示唆しています。

But they also show how ai can be used as a software sidekick to enhance productivity. This machine intelligence does not resemble the human kind, but offers something entirely different. Handled well, it is more likely to complement humanity than usurp it. 

2番めの記事はGoogleの技術者によるものです。

Artificial neural networks are making strides towards consciousness, according to Blaise Aguera y Arcas: The Google engineer explains why

https://www.economist.com/by-invitation/2022/06/09/artificial-neural-networks-are-making-strides-towards-consciousness-according-to-blaise-aguera-y-arcas

彼は、GoogleのLaMDA (Language Model for Dialog Applications)というAIと対話した文章を見せ、AIが複数の登場人物がお互いについて考えていることをあたかも正しく推測できているようであることを示します。これを彼は "the pro-social nature of intelligence"と呼び、AIの進展を示す一つの兆候と見ています。

彼は、この兆候に興奮していますが、それは社会的な知性こそが人間の知性を高めたと考えているからです。

[T]he intelligence explosion came from competition to model the most complex entities in the known universe: other people.

Humans’ ability to get inside someone else’s head and understand what they perceive, think and feel is among our species’s greatest achievements. It allows us to empathise with others, predict their behaviour and influence their actions without threat of force. Applying the same modelling capability to oneself enables introspection, rationalisation of our actions and planning for the future.

社会性を備えたAIというのは、これから大きなトピックになるのかもしれません。

しかしながら3番めの記事は、"not so fast"と言っているようです。著者は（あの知る人ぞ知る）ダグラス・ホフスタッターです。

Artificial neural networks today are not conscious, according to Douglas Hofstadter

https://www.economist.com/by-invitation/2022/06/09/artificial-neural-networks-today-are-not-conscious-according-to-douglas-hofstadter

彼は現在もっとも高度なAIの一つであるGPT-3でさえも、人間では考えられないような愚かな答えを出す例を数多く示し、次のように述べます。

I would call GPT-3’s answers not just clueless but cluelessly clueless, meaning that GPT-3 has no idea that it has no idea about what it is saying. There are no concepts behind the GPT-3 scenes; rather, there’s just an unimaginably huge amount of absorbed text upon which it draws to produce answers.

AIはたしかに記号処理では人間以上の能力を示しますが、その記号は、人間のような身体を通じて獲得されたものではありません。人間の身体はマルチモーダルな入力系をもっていますし、進化で獲得した本能と文化から獲得した行動様式をもっています。これらをもたずに、記号をただ記号として入力されたAIの知性は、やはり人間の知性とは異なるものにならざるを得ないと言えるでしょう。

こうしてみると、SF映画に出てくるようなAIが登場するのはまだまだ先で、今の課題は、人間が、AIが得意なことと人間が得意なことを見極めて、いかにAIを活用するかを学習することのように思えます。

関連記事

AIを無視も敵対視もせず、いかにAIと協働できるかを考えるのが鍵

https://yanase-yosuke.blogspot.com/2022/06/aiai.html

 

AIを無視も敵対視もせず、いかにAIと協働できるかを考えるのが鍵

【この「時事」カテゴリーの記事は、学生さん向けの文章をこのブログに転載しているものです。】

***

私の英語ライティング授業では、1,000語以上のアカデミックエッセイを要求するEWLBでのみAI（機械翻訳）の利用を認めていますが、いずれ機械翻訳だけでなくAIはどんどん私たちの暮らしの中に入ってゆくでしょう。

その点で、以下のTED動画を見ることはとても参考になるかと思います。

Why People and AI Make Good Business Partners | Shervin Khodabandeh

https://www.youtube.com/watch?v=1yQYySYN2io&list=UUAuUUnT6oDeKwE6v1NGQxug

現在、多くの企業もAIを導入して生産性を上げようとしていますが、そのうち成功しているのは10%程度だそうです。そしてそれらの企業に共通しているのは、人間とAIがどのように協力すれば生産性が上がるかをよく考えていることだそうです。

These 10 percent winners with AI have a secret. And their secret is not about fancy algorithms or sophisticated technology. It's something far more basic.

It's how they get their people and AI to work together.

Together, not against each other, not instead of each other. Together in a mutually beneficial relationship.

Unfortunately, when most people think about AI, they think about the most extreme cases. That AI is here only to replace us or overtake our intelligence and make us unnecessary.

But what I'm saying is that we don't seem to quite appreciate the huge opportunity that exists in the middle ground, where humans and AI come together to achieve outcomes that neither one could do alone on their own.

人間とAIの力をうまく組み合わせれば、人間だけでもAIだけでも達成できない成果を達成できます。そうなると、どのように人間とAIの共生関係を作り上げてゆくかというのが課題になります。

How do they achieve these symbiotic human-AI relationships?

しかし、この問いには一律の答えはありません。

the right relationship between human and AI in a company is not a one-size-fits-all.

AIとの協働作業に成功した企業は、自分たちの仕事ぶりをよく観察し、どのようにすれば人間とAIで難問を解決できるだろうかと、想像力を働かせました。

They look inside their organizations and re-imagine how the biggest challenges and opportunities of their company can be addressed by the combination of human and AI.

しかし、想像力を働かせ、新しいやり方を創造することはそれほど容易ではありません。昔からの固定観念を破壊しなければならないからです。

But collaboration's hard. It requires a new mindset and doing things differently than how we've always done it.

And the winning companies know this, too, which is why they don't just invest in technology,but so much more on human factors,on their people, on training and reskilling and reimagining how their people and AI work together in new ways.

これからもさまざまな組織がAIを導入するでしょう。しかしAIを導入するだけで成功するわけではありません。AIを使いこなすために、私たちの想像力と思考力が必要です。少なくとも現時点から予想できるかぎりは、AIがいくら進展しても、私たちの社会でもっとも大切なのは人間です。

追記

上のようなTED動画を見る場合は、YouTube ChannelからLanguage Reactorという拡張機能をつけたChromeブラウザーで見ることをお勧めします。英語の巻き戻し、英単語の訳語チェック、英語テクストとその日本語翻訳のダウンロードなどで、英語学習が飛躍的に快適になるからです。

国際高等教育院・英語教育部門ウェブサイト

英語学習相談FAQ：英語学習に便利な動画再生アプリ (Language Reactor)。

https://www.i-arrc.k.kyoto-u.ac.jp/english/consultation_jp_FAQ#frame-603