全ニュース

技術ニュース 1517 件

GitHub Repo

TransformersでキャッシュのオフロードによりQwen3.8の出力が変化するとの報告、異常は初回の再利用から

最小再現コードを添えた報告によると、ハイブリッドアテンションモデルではプリフィルが正常でも、次のステップの出力がずれる可能性がある。メンテナーによる確認はまだなく、GPUメモリ使用量の最適化においても、複数ステップにわたる数値的一致性の検証が必要であることを示している。

AI 基礎設施

AgentCore Runtime V2がメモリ回収とスナップショット起動を導入、公式テストのコールドスタートは約2秒

AWSがエージェント実行環境を更新し、長時間セッションのメモリ使用量を削減するとともに、コールドスタートを短縮。性能値は実処理を行わないエージェントによるテストに基づいており、コスト効果やスナップショット復元時の挙動は、実際のワークロードで検証する必要がある。

推論系統

SemIfがブラウザ内での選択肢スコアの読み出しを実演、判断に用いる確率には別途校正が必要

このローカル推論実験は、選択肢のlogitsを直接読み出す方法と、JSONをトークン単位で生成する方法を比較し、開発者が出力形式に伴うコストを測定できるようにするものだ。結果は量子化、ブラウザ、テストの実行順序にも左右され、選択肢の確率をそのまま信頼度と見なすことはできない。