Hetzner、OpenAI互換の推論APIを試験提供――単一のFP8 MoEモデルで欧州ホスティング需要を検証

ドイツのクラウド・ホスティング事業者Hetznerが、自社のLLM推論APIのテストを開始した。このサービスはHetzner Experimentsで提供され、OpenAI Chat Completions互換のインターフェースを備える。開発者はOpenAI Python SDKをそのまま利用し、`base_url`を`https://inference.hetzner.com/api/v1`に変更したうえで、実験プラットフォームが発行するtokenに差し替えれば接続できる。これにより、既存アプリケーションが推論プロバイダーを切り替える際の統合コストを抑えられる。

現在、モデルカタログに登録されているのは`Qwen/Qwen3.6-35B-A3B-FP8`のみだ。これは総パラメータ数が約35Bで、tokenごとに約3Bパラメータをアクティブ化するMoEモデルであり、テキスト、画像、262Kのコンテキストをサポートし、重みにはFP8を採用している。この構成は比較的限られたVRAMで高いスループットを実現できるため、要約、分類、抽出、RAGの前処理・後処理に適している。ただし、最先端の推論モデルを代替するものと見なすべきではない。

Sliplaneのエンジニアが7月23日に単一クライアントで実施したテストでは、7回の短いリクエストにおけるTTFTの中央値は153ミリ秒で、5回の比較的長い生成では出力速度が約224 token/sだった。フォーマット指示への追従、情報検索、画像入力はおおむね機能した一方、簡単な算術問題2問には失敗した。この測定には同時実行負荷、テールレイテンシ、継続的な負荷に関する情報が含まれていないため、あくまで初期段階の観測結果にすぎない。

技術面でより注目すべきなのは、インフラストラクチャの方向性だ。OpenAI互換インターフェースによって、Hetznerは共有GPUキャパシティをリクエスト単位のサービスとして提供でき、顧客にvLLMの運用を求める必要がない。すでに欧州のホスティング環境へアプリケーションをデプロイしているチームにとっては、プロバイダーをまたぐネットワーク通信やガバナンスのコストも削減できる可能性がある。ただし、Hetznerは現時点で本サービスを明確に実験と位置付けている。利用は無料だが、課金システム、SLA、プロダクション利用へのコミットメントはなく、サポート範囲や基盤となるハードウェアも公表されていない。

今後は、モデルカタログ、料金、rate limit、バッチ処理とストリーミングのセマンティクスに加え、DPA、データ保持ポリシー、可用性に関するコミットメントが整備されるかを注視する必要がある。これらの条件が明らかになるまでは、エンジニアは互換性テストや負荷テストに合成データまたは非機密データのみを使用すべきだ。サーバーが欧州に所在するという理由だけで、正式なデータガバナンス要件を満たしていると推定してはならない。