TranslatePsy、アフリカ言語翻訳モデルを公開——0.8B～4B版は量子化してオフライン実行可能

Tether AI Researchは、TranslatePsyのアフリカ言語向け機械翻訳リソースを正式に公開した。AfriSLMは約0.8B、2B、4Bの3規模で提供され、Qwen3.5をベースに全パラメータの教師ありファインチューニングを実施している。英語と19のサハラ以南アフリカ言語との間で双方向翻訳が可能で、マルチターン対話形式にも対応する。各サイズにはQ8_0およびQ4_K_MのGGUF版もあり、llama.cpp、Ollama、または互換ツールを通じてデプロイできる。モデルとコードはApache 2.0で提供される一方、公開されている合成データセットにはCC-BY-NC 4.0が別途適用されるため、再学習やデータの再利用にあたってはライセンスを個別に確認する必要がある。

学習データの混合セットには、品質フィルタリング済みの合成対訳コーパス、多言語指示データ、さらに破滅的忘却を抑えるためのアジアおよび欧州38言語の対訳データが含まれる。公開された合成データ部分は約2億1,560万件の双方向サンプル、ファインチューニング前の規模で約323億7,000万tokenに達する。モデルは32基のH100とDeepSpeed ZeRO-2を使って1 epoch学習され、2,048 tokenを超えるシーケンスは除外された。論文によると、統一的な品質推定フィルタリングにより、テスト品質を低下させることなく最大96％のtokenを削減できるという。したがって焦点は単なるモデルの小型化ではなく、低リソース言語翻訳のデータ選別を再現可能なプロセスとして構築することにも置かれている。

FLORES-200、BOUQuET、SMOLを用いた19言語の双方向評価では、4B版のマクロ平均SSA-COMETスコアはそれぞれ0.6143、0.6391、0.5136だった。著者らによる対応ありbootstrap検定では、小規模モデルが多くの設定でTranslateGemma-27BやQwen3.5-122B-A10Bなど、より大規模なベースラインを上回った。4BのQ4_K_M版でもスコアは0.6138、0.6377、0.5121への小幅な低下にとどまり、量子化デプロイでも自動評価性能の大部分を維持できる可能性を示している。別系統のAfriNanoはMarian／Bergamotを採用し、パラメータ数を17M～43Mに抑えながら8つのアフリカ言語に対応するため、ブラウザ、スマートフォン、CPUベースのエッジデバイスにより適している。

一方、制約も明確だ。主要な学習用翻訳データはほかのモデルによって合成されているため、NLLB教師モデルや品質評価指標の誤りを引き継いでいる可能性がある。論文では母語話者の専門家による人手評価が行われておらず、マクロ平均は個々の言語、方言、翻訳方向における弱点を覆い隠すこともある。エンジニアリングチームはまず、実際の対象地域、コードミキシング、専門用語、長文文書に対応した人手評価用テストセットを構築すべきだ。医療、法律、移民などの高リスク用途では、現時点のスコアだけを根拠に直接利用してはならない。