The Stack v3、約5兆のコードtokenを公開――旧版の重複排除の不具合を修正し、ソースコードを内包

Hugging FaceとBigCodeは、プログラミング言語モデルの事前学習向け大規模ソースコードコーパスを再構築したThe Stack v3を公開した。完全版は約2億2,400万件のGitHub repositoryと439億ファイルを基にしており、元データの規模は約114 TB、770種類のプログラミング言語およびマークアップ言語を網羅する。直接訓練に利用できる`stack-v3-train`には、ライセンス選別、品質フィルタリング、PIIのマスキング、近似重複排除が施され、約1億7,300万サンプル、4.9兆tokenで構成されている。データはSnappyで圧縮された1,023個のParquet shardとして提供され、公式ドキュメントではHugging Face Datasetsによるストリーミング読み込みがサポートされている。

The Stack v2と比べた最も実用的な変更点は、各データにデコード済みのUTF-8ソースコードが直接含まれるようになったことだ。旧版では主にSoftware Heritageの識別子が保存されており、ユーザーはコンテンツを別途取得する必要があった。そのためv3では、再現可能なデータスナップショットを構築しやすくなっている。新しいコーパスは2025年8月時点におけるGitHubのデフォルトブランチの状態を反映し、v2より約2年分新しいコードを収録しているが、完全なGit履歴は含まない。

チームはまた、v2のMinHashによる重複排除プロセスにおいて、token sequenceを誤ってcharacter sequenceとして分割していたため、過剰な重複排除が生じていたことを明らかにした。v3では正しいtoken shinglesを使用し、MinHash LSHによって近似重複グループを構築している。公式の言語比率やフィルタリング規則を採用しないユーザーは、重複グループIDを保持した完全版のデータバケットから独自の訓練データセットを再構築することもできる。

今回の公開は、オープンなコードモデルに対し、より新しく検証可能な事前学習のベースラインを提供する。ただし、「オープン」であることはガバナンスコストが存在しないことを意味しない。データセットにはODC-BY 1.0が適用される一方、個々のファイルには元のライセンスが維持される。モデルの訓練者は、ライセンス上の義務、機密情報の残存、オプトアウト要求に自ら対応する必要がある。コミュニティでの議論では、公開repositoryの品質には大きなばらつきがあり、2025年のコーパスにはすでにAI生成コードが混入している可能性も指摘されている。研究者は今後、repositoryをまたぐ評価データ汚染、重複排除のrecall、言語ごとの構成比による影響を測定すべきであり、token数だけでデータ品質を判断してはならない。