AI 研究
WISE、再帰型モデルのアテンション対象範囲を再利用し、アテンション処理で1.36倍の高速化を計測
すべての再帰ステップを維持しつつ、初期の探索で後続のアテンション計算の対象範囲を絞る手法。性能の数値はアテンションのワークロードのみを対象としており、4Kコンテキストでの品質低下と公開された再現用資料については、引き続き確認が必要だ。
Archive
全ニュース
技術ニュース 1515 件
AI 研究
GitHub Repo
langchain-openai 1.6.6、ストリーミング時のエラー通知漏れを修正 失敗イベントで例外を送出
新版では、Responses APIのストリーミング中に明示的な失敗イベントをアプリケーション層へ伝達し、同期・非同期の両インターフェースにテストを追加した。終了イベントのない途切れたストリームについては別途検証が必要で、既存の例外処理やリトライ戦略も確認する必要がある。
推論系統
InferactがTPU推論用メガカーネルをオープンソース化、Kimi K3は低同時実行数で毎秒700トークン超のデコード
単一のPallas呼び出しで92層をつなぎ、層をまたぐ重みのプリフェッチでメモリ帯域幅の利用率を向上。公式の比較は特定のトポロジーと小規模バッチに限られ、投機的デコーディングの性能はドラフトトークンの受理率にも左右される。
GitHub Repo
OpenHands 1.23.0、macOS用ユニバーサルインストーラーへ移行、Intel環境のランタイム非互換を修正
新版ではIntelとApple Silicon向けのNode.js、uvを同梱し、起動時にアーキテクチャに応じて選択する。デスクトップ版は引き続き初期プレビュー段階にあり、エージェントの一連の処理とバックエンド設定は実環境での検証が必要だ。
AI 基礎設施
NVIDIAがMoE訓練のベンチマークを公開、B200 8基の最適構成で基準の2.21倍
BioNeMoがグループ化したエキスパート演算、エキスパート並列、MXFP8を組み合わせ、特定の訓練ワークロードのスループットを向上。最速構成では精度と並列化方式を同時に変更しており、性能向上は収束品質と併せて評価する必要がある。
GitHub Repo
TransformersがGGUF圧縮推論パスを追加、まずはApple Siliconに注力
新たな推論パスはggmlのMetalカーネルを再利用し、Transformersの処理フロー内で量子化重みを実行できるようにする。現時点ではmainブランチからのインストールが必要で、対応モデル、バッチ処理、カーネルの互換性には制限が残る。
GitHub Repo
Cline CLI 3.0.65、長い会話での出力打ち切りに圧縮後の再試行を追加
新版では、プレーンテキスト生成が出力上限に達すると、まずコンテキストの空き容量の確保を試みてから再試行する。すでにツールの動作が発生したターンは、この仕組みでは再実行されない。実際の回復率は今後の測定を待つ。
AI 研究
Whisperのエンコーダーを6層削減、蒸留後も4言語の平均誤り率は元モデルを上回る
ラベルなしの英語音声を使った蒸留により、枝刈り後の認識性能を部分的に回復。速度測定で示された1.75倍にはバッチサイズ変更の効果も含まれ、同一バッチサイズでの効果と中国語の認識品質はそれぞれ評価する必要がある。
AI 研究
Basis、複数人の会話音声1,502時間を公開 中国語サブセットは15.3時間
話者ごとの音声トラックと共通のタイムラインを保持し、全二重の音声対話やターンテイキングの研究に活用できる。中国語部分の人手によるアノテーション時間は記載されておらず、自動文字起こしもそのまま学習用の正解データとして使うには適さない。
硬體
Qualcomm、ANF SDKを公開 AI超解像とフレーム生成をVulkanに統合
モバイルゲーム向けの超解像とフレーム生成のインターフェースを提供し、ネイティブ統合ドキュメントも公開。初版のフレーム生成では、実際にレンダリングされる1フレームの時間分だけ入力遅延が増えるため、効果は消費電力や画質と併せて評価する必要がある。
GitHub Repo
Dify Enterprise 3.9.13がAnyIOの修正を取り込み、デプロイ時にはイメージの差異を確認
新版は依存パッケージを更新し、TLS証明書検証とプロセスプールのブロッキングに関するリスクに対処。デフォルトのイメージには未解決の脆弱性が残っており、実際の影響は実行経路に応じて判断する必要がある。
推論系統
NVIDIA、B200のコンフィデンシャル推論テストを公表、特定のワークロードで96%超のスループットを維持
B200を8基使用してDeepSeek-R1を実行したテストでは、コンフィデンシャルコンピューティングによる1トークン当たりの平均レイテンシーの増加率は5%未満だった。この結果はメモリ転送、カーネルの時間計測、GPU間通信の調整に依存しており、実際のサービスのワークロードに即した再検証が必要だ。