最新模型
ReToken、単一の学習可能なtokenで視覚KV cacheを選別――長時間動画QAで8.0ポイント向上
ReTokenは、すべての画像tokenを一度にモデルへ入力するのではなく、事前に格納した視覚KV cacheから質問に関連するスパースなブロックを取り出す。バックボーンを凍結し、検索tokenのみを学習する手法は単一のH100で実行できるが、成果は依然として主に2種類の8Bモデルに基づいている。
Archive
最新模型
新模型、開放權重、多模態、語音、影像與模型架構。
最新模型
最新模型
Mistralの旧モデル群が7月31日に提供終了へ、コーディングエージェントと構造化出力の回帰テストが必要
Mistralによる夏季のモデル整理が最終段階に入り、Devstral、Magistral、Mistral Small、Open Mistral Nemoなどの旧バージョン識別子が対象となる。公式の代替モデルは同一アーキテクチャのスナップショットではないため、移行時には名前を変更するだけでなく、ツール呼び出し、出力schema、コンテキスト、コストを改めて検証する必要がある。
AI 基礎設施
SageMaker HyperPod Inference v3.1、カスタムPod、証明書、Pod単位のリクエスト上限を解放
AWSはHyperPod Inference Operatorを更新し、チームがKubernetes Pod仕様を直接調整し、カスタムTLS証明書を構成し、単一Podの同時リクエスト数を制限できるようにした。これらのインターフェースにより、大規模モデルのサービングに必要な分離とバックプレッシャー制御が補完されるが、アップグレード前には、カスタム設定がOperator管理下のリソースを損なわないことを検証する必要がある。
形式驗證與 AI 求解
LeanCSP、制約の書き換えとソルバー証明をLeanで検証し、探索量を最大2,000万分の1に削減
LeanCSPは、モデルの等価性、対称性の除去、求解結果の検査を、単一のLean 4検証チェーンに統合する。計算コストの高い探索は引き続き外部ソルバーが担うが、誤った証明書からLeanカーネル内で定理を構成することはできない。
最新模型
PCDがマルチモーダルの失敗を知覚と推論のシグナルに分解、32Bから8Bへの蒸留で平均スコアが61.22に上昇
Perception-Correction Distillationは、回答が失敗し、かつ生徒と教師の知覚出力が食い違う場合にのみ、知覚区間の蒸留を強化する。Qwen3-VLを用いた2組のモデル縮小実験では、いずれも一様なon-policy distillationを上回ったが、この手法は教師が実際に生徒より正確に見えていることに依存する。
最新模型
DeepSeek-V4-Flash 0731、後学習のみをやり直し、Terminal-Bench 2.1の公式スコアが82.7に上昇
DeepSeekは、後学習をやり直したV4-FlashをAPIのパブリックベータとして提供開始した。モデルアーキテクチャ、総パラメータ数284B、アクティブパラメータ数13Bはいずれも変更されていない。新版はResponses APIをネイティブサポートし、コーディングエージェントとツール利用を重視しているが、主要な評価は未公開のDeepSeek Harnessに依存している。
RAG 與檢索系統
GLM-RAG、知識グラフのテキストをGraph Transformerに入力し、クロスドメインのマルチホップ検索でGNNベースラインを上回る
GLM-RAGでは、グラフ距離だけに基づいて情報を伝播するのではなく、ノード、関係、質問が第1層のAttentionから相互作用する。未知ドメインのマルチホップ評価ではより良い結果を達成したが、シングルホップタスクでは依然として通常のベクトルRAGが優位で、コードとモデルもまだ公開されていない。
AI 安全
DFOT、導出センサー値に対するLLMの過信を定量化——クロスモーダル蒸留で訂正率が最大6.69ポイント向上
新たなフレームワークは「モデルが導出値を誤って信頼する」問題を、矛盾受容、文脈による誤誘導、誤りの訂正、効用低下などの指標に分解する。PPGによる心調律判定を事例に、訓練時にECGを利用し、デプロイ時にはPPGのみを必要とする信頼度モデルが4つのエンドポイントを改善した。ただし、データと重みはコードとともに公開されていない。
最新模型
DualG-MRAG、多モーダル知識グラフを2層に分割し、MMQAのR@5を61.9%に向上
DualG-MRAGは、マクログラフで文書横断推論の経路を探索し、ミクログラフで局所的な画像・テキスト証拠を照合することで、細粒度ノードによる知識グラフの急速な肥大化を防ぐ。MMQAでは、R@5をグラフベースの最良ベースラインの42.1%から61.9%へ向上させたが、コードとインデックス構築コストはまだ公開されていない。
代理工具
GRSD、エージェント自身の成功・失敗軌跡を比較して報酬を配分、ALFWorldのunseenタスク成功率は83.6%
Group-Reflective Self-Distillationは、外部教師から固定スキルを抽出するのではなく、同一方策による成功rolloutと失敗rolloutを比較し、その差分をターン単位の訓練信号へ変換する。3種類のエージェント環境で全体的な改善を達成した一方、訓練時間はGRPOより17%増加し、反省テキストの評価には依然として外部モデルの呼び出しが必要となる。
GitHub Repo
GCC、著作権上重要なLLM由来コンテンツを拒否、生成テストはメンテナーの裁量で例外的に受け入れ可能
GCC Steering CommitteeはAIによる貢献に関するポリシーを承認し、原則としてLLMの出力を含む、またはその出力から派生した実質的なコードや文章を拒否する。モデルは引き続きデバッグ、分析、レビューに利用でき、メンテナーは生成されたテストを受け入れることもできるが、その出力を通常の貢献に直接含めることはできない。
代理工具
MemHarness、行動前にエージェントの記憶を書き換え、7BモデルのALFWorld成功率を85.2%に向上
MemHarnessは、検索した過去の経験をそのまま再生するのではなく、同じポリシーモデルに現在の状態に照らして批判・再構成させたうえで、行動を決定する。GRPOによるエンドツーエンド学習後、ALFWorldとWebShopでそれぞれ85.2%と75.6%の成功率を達成したが、コードと重みはまだ公開されていない。