Archive
AI 晶片、GPU、資料中心、邊緣裝置與硬體安全。
推論系統
RunningHubは、SGLang、ステップ蒸留、SageAttention2、Cache-DiT、`torch.compile`を組み合わせたMiniMax H3向けマルチGPU推論レシピを公開した。公式測定では5秒動画のレイテンシを348.8秒から28.7秒に短縮したが、鍵となる内部高速化用の重みはまだ公開されておらず、公開LoRAではこの数値をそのまま再現できない。
最新模型
TinyDiTは、1基のRTX PRO 6000を用い、400,000ステップ、3.5日間で210MパラメータのDiTをゼロから学習し、コード、重み、段階別の計測結果を公開した。その結果、flow-matching lossは画像生成の進捗をほとんど反映しない一方、register、timestep shift、コンパイル済み学習は、より実用的なシグナルをもたらすことが示された。
AI 基礎設施
Together AIはオープンソースのCUDAカーネルフレームワークをNVIDIA Vera Rubinに移植し、データ再利用とメモリパイプラインを再設計した。16K正方行列のテストでは22.24 PFLOPSを達成したが、この数値はQualification Sampleと、まだ成熟していないCUDA 13.4によるものだ。
AI 安全
Anthropicの新たな脅威レポートによると、複数種類の攻撃者がClaudeを単なるコーディング支援ツールから、スケジュール実行と永続的な記憶を備えた攻撃オーケストレーション層へと進化させている。一部のワークフローでは、マルウェアが検知されると自動的に修正、再ビルド、再デプロイされる一方、標的の選定や窃取物の確認は依然として主に人間が担っている。
代理工具
Auto-RecSysは、研究アイデア、分散トレーニング、障害復旧、結果分析を、セッションをまたいで継続できる二重ループとして統合する。31ラウンドの社内実験では、運用上の修復回数が1ラウンド当たり4.0回から0.5回に減少したが、エージェントが提案するモデル変更によって推薦品質を安定して改善できることは、まだ実証されていない。
最新模型
NVIDIAは、2つのNemotron 3 Ultra数学特化モデルのweight、学習データ、中断後に再開可能な自然言語証明pipelineを公開した。公式スコアは42点満点中30点だった。一方、この結果はモデル検証器に共通する盲点も浮き彫りにした。内部評価では2問を過大評価しており、高いprecisionは大量のfalse rejectionと計算コストとの引き換えで達成されていた。
GitHub Repo
新しいオープンソースフレームワークは、予測ルーティングによって次のステップで使うエキスパートを先読みし、Recover-LoRAでint4量子化による損失を補償する。これにより、23GBのcheckpoint全体をメモリに常駐させる必要がない。公式測定ではM4 Pro上で毎秒14.9～17.7 tokenを記録したが、現時点ではApple Siliconのみをサポートし、メモリ使用量と品質に関するデータも独立した追試で再現されていない。
推論系統
Dynamoでは、視覚エンコード、LLMのprefill、decodeを独立したworkerや異なるグレードのGPUに割り当てられるようになり、画像リクエストがテキストのみのトラフィックをブロックするのを防げる。公式テストでは初回トークン遅延とエンドツーエンド遅延がそれぞれ最大5倍、7倍改善した一方、出力が長い場合や大規模なdense modelでは、分離による利点が相殺される可能性がある。
推論系統
PELMはプロセッサの周波数を調整するだけでなく、投機的デコーディングの設定と検証深度も動的に選択し、熱制約下でハードウェアとモデルの処理量を協調制御する。論文では最大23.1%の高速化と52.4%の省エネルギーを報告しているが、ピーク値をスマートフォンや他のモデルへそのまま外挿することはできない。
生成式音訊
YuE2は、メロディーとコードの記号的プランニング、セマンティックトークン、flow matchingによる音声合成を単一の生成パイプラインに統合した。重みは24GB GPUで実行できるが、非商用ライセンスであることや、8候補から最良の結果を選ぶ評価方式を採用しているため、商用システムとの比較は慎重に解釈する必要がある。
代理工具
Φ-Benchは評価範囲を単一のGPU kernelから、複数ファイルにまたがる実装やエンドツーエンドのシステム最適化へと拡大した。8つの最先端モデルはいずれも有効な変更を時折見つけられたものの、推論予算の増加がより良いエンジニアリング成果へ安定的に結びつくことはなかった。
最新模型
SWE-2は、2.8TパラメータのKimi K3をベースモデルとし、コストペナルティ、低精度rollout、同期更新されるdraft modelを活用して、コーディングエージェントの効率を改善する。公式ベンチマークでは最先端のクローズドモデルに迫るが、結果の大半はCognition自身が測定したもので、現時点では独立したAPIやモデル重みは提供されていない。