代理工具
Orcetra、自らAutoMLベンチマークの歪みを公表:同一サブセットでの勝率が59.4%から34.3%に低下
Orcetraは当初、513件のOpenMLデータセットでFLAMLとAutoGluonを大幅に上回ったと主張していたが、著者による監査でテストセットのリークと計算資源の不公平が判明した。プロトコル修正後、再実行したサブセットでは3システム間に統計的有意差は見られなかった。
Archive
GitHub 熱門專案、開源工具、框架、runtime 與重要 release。
代理工具
Orcetraは当初、513件のOpenMLデータセットでFLAMLとAutoGluonを大幅に上回ったと主張していたが、著者による監査でテストセットのリークと計算資源の不公平が判明した。プロトコル修正後、再実行したサブセットでは3システム間に統計的有意差は見られなかった。
代理工具
Googleのチームは、模擬患者、文書作成ツール、多次元の臨床報酬を組み合わせ、Gemini 3.5 Flashにマルチターン強化学習を実施した。モデルは敵対的な問診で危険な兆候の見落としを減らしたが、訓練システムはオープンソース化されておらず、実患者を対象とする前向き検証も完了していない。
最新模型
新たな実験により、Transformerの隠れ層行列をMuonで訓練し、埋め込みと出力ヘッドをAdamWで更新すると、モデルはモジュラー演算をより速く学習する一方、解法を安定して維持できないことが判明した。いずれかのパラメータ群を凍結すると崩壊を防げることから、問題は表現と読み出しインターフェースの同時ドリフトに起因するとみられる。
代理工具
Shepherdはモデル呼び出し、ツール操作、ファイル変更を永続的な実行トレースとして記録し、変更がワークスペースに反映される前にユーザーが確認または破棄できるようにする。一方、最新のドキュメントでは、論文とプロジェクトのホームページで紹介されているmeta-agentによる委譲、実行中のフォーク、自動再試行インターフェースが、v0.3.0でそのまま利用できる機能ではないことも明記されている。
最新模型
CellWorldはマスクされた遺伝子値を直接再構成せず、近傍細胞と少量の発現ヒントからtarget encoderの潜在表現を予測する。コードと学習設定はMIT Licenseで公開済みだが、事前学習済み重みは依然として承認制の非公開リポジトリに置かれている。
最新模型
AgentPatchは、モデルのマージ後に生じた弱点を特定し、エキスパートモデル固有の残差と重要なFFNニューロンのみを復元する。出力は単一の静的checkpointで、ルーティングや推論時のエージェントを必要としないが、完全な評価adapterとモデルweightsはまだ公開されていない。
GitHub Repo
AIPOCHのApache-2.0デスクトップワークベンチは、モデルエージェント、Python/Rカーネル、科学データコネクタ、イミュータブルな成果物バージョンを統合する。8月9日のアップデートではコンテキスト圧縮が可視化され、Codex MCPの承認とWindowsでのnotebook実行に関する問題が修正されたが、移植可能な完全リプレイにはまだ対応していない。
代理工具
DiDPOは、エージェント実行全体の成否をすべてのtokenに均等配分せず、複数の軌跡に含まれる類似したsub-diffを比較する。公開されたverl-codeには訓練用エントリーポイントとデータレシピが含まれるが、著者によるモデルcheckpointはまだなく、実験も完全なソフトウェアリポジトリ修復を対象としたものではない。
代理工具
P-Benchでは、エージェントが統計手法を自ら選択し、Rコードを実行してp値を報告する必要があり、単にコードが実行できるかどうかを確認するだけではない。14Bモデルは難問のStrict指標で掲載されたオープンモデルを上回ったが、現時点で公開リポジトリには説明文書しかない。
推論系統
コミュニティのデプロイ手順では、単一のDGX Spark上でCUDA Graphと1層のMTP投機的デコーディングを有効にし、Ling-3.0-flash INT4の生成速度を20.8 token/sから38.7 token/sへ引き上げた。さらに重要なのは、メインラインのvLLMがV3アーキテクチャをまだサポートしておらず、古いattentionパスを無理に適用すると、エラーが報告されないまま、一見流暢だが誤った内容が出力される可能性があるという点だ。
最新模型
MiniMax H3は、テキスト、画像、動画、音声を単一シーケンスにまとめ、映像と音声のlatentを共同予測し、最大768p、24 FPS、32 kHzステレオで出力する。公式ワークフローでは2Kへの再生成も可能としているが、プロンプトの構造化機能と高解像度モジュールは、依然としてホスト型APIでのみ提供される。
代理工具
CalibForgeは、実行可能な合成問題をすべて残すのではなく、異なる解答エージェント間で所定の成功・失敗関係が生じるまでタスクを繰り返し修正する。キャリブレーション軌跡でファインチューニングした2つのモデルは、3種類のコーディングエージェント・ベンチマークすべてで性能が向上したが、フルパラメータ学習には64基のH20が必要で、一部の評価は1回しか実施されていない。