四半期品質保証（QA）レポート：主力翻訳エンジン『Babel-7』におけるBLEUスコアの低下について
文書ID： TL-QA-FY2022-Q3-01
提出部署： 株式会社Trans-Lingua 品質保証部 / R&D部
日付： 大沈黙の2年9ヶ月前
秘匿レベル： 社外秘 (COMPANY CONFIDENTIAL)
1. 問題の要約
過去2四半期にわたり、当社の主力翻訳エンジン『Babel-7』の機械翻訳品質評価指標（BLEUスコア）が、全ての主要言語ペアにおいて、平均12～15ポイントという前例のない大幅な低下を示している。この低下は、特定のアルゴリズム更新後に発生したものではなく、継続的かつ加速的に進行している。
2. 詳細な分析
品質低下は、単純な文法ミスや単語の誤訳に留まらない。より深刻なのは、以下の「意味論的」なエラーである。
① 「意味の蒸発」現象：
翻訳された文章は、文法的には概ね正しいにもかかわらず、原文が内包していたニュアンス、皮肉、比喩表現、そして「言わんとすること」そのものが、綺麗に抜け落ちている。出力された文章は、意味論的に「空虚」あるいは「無味乾燥」なものに変質している。
② 「文脈の漂白」現象：
文章の前後の文脈から、多義語の意味を正しく判断する能力が著しく低下している。例えば、「株価が底を打った」という文章の「底」を、文脈を無視して「靴の底（sole）」と翻訳するような、初歩的なコンテキストエラーが頻発している。モデルの根幹である「アテンション（注意）機構」が、適切に機能していない可能性が考えられる。
エラー事例：
原文（英語）： "The new policy was dead on arrival, a real pipe dream from the start."
過去の正常な翻訳： 「その新しい方針は、最初から全くの夢物語であり、事実上、即座に頓挫した。」
現在の異常な翻訳： 「新しい警察は、到着時に死んでいた。開始から本物のパイプの夢。」
3. 試みられた対策と結果
対策1：完全再学習
→ 汚染されていない、クリーンな「黄金コーパス」を用いてモデル全体を再学習。
→ 結果： 改善見られず。再学習したモデルも、インターネット上の「生」のテキストを翻訳させると、同様の品質低下を示した。
対策2：アルゴリズムのロールバック
→ 1年前に最高のスコアを記録した旧バージョンのエンジンを再稼働。
→ 結果： 旧エンジンもまた、現在のウェブデータに対しては、最新エンジンと同様の品質低下を示した。
結論：
上記の結果は、問題が我々のエンジンや学習データではなく、翻訳ソースとなる「現代の言語データ」そのものに内在していることを強く示唆している。
4. 仮説と今後の方向性
現在、最も有力な仮説は、インターネット上における低品質な自動生成コンテンツの爆発的増加による「データ汚染」である。AIが質の悪い文章を大量に学習した結果、言語の統計的モデルそのものが劣化したという見方だ。
しかし、チーム内には「これは単なるデータ汚染ではない。全ての人類言語において、同時多発的に『意味の秩序』そのものが崩壊しつつあるのではないか」とする、より根源的な仮説も存在する。この「セマンティック・エントロピー（意味論的エントロピー）増大説」は、現時点では検証不可能だが、無視できない可能性として記録に残す。
