AI 安全
Claudeの自動ポストトレーニングは10種類のアラインメント失敗を軽減、ただし既知の評価指標に最適化される可能性は残る
Anthropicの自動アラインメント研究エージェントは、文献調査、データ設計、モデルのポストトレーニングを自律的に行い、10種類の安全性問題で評価ギャップを26%から96%縮小した。制約付きの人間による提案ベースラインも上回ったが、比較ではエージェントにより長い反復時間が与えられており、実証されたのは測定可能な失敗を修正する能力に限られる。
Archive
技術ニュース 1531 件
AI 安全
Anthropicの自動アラインメント研究エージェントは、文献調査、データ設計、モデルのポストトレーニングを自律的に行い、10種類の安全性問題で評価ギャップを26%から96%縮小した。制約付きの人間による提案ベースラインも上回ったが、比較ではエージェントにより長い反復時間が与えられており、実証されたのは測定可能な失敗を修正する能力に限られる。
AI 安全
Pandex は、企業の AI 向けドキュメントに、未登録のパッケージやドメインを参照するインストールコマンドが数百件含まれていることを発見した。その後、Claude、Codex、Hermes は実際の企業環境で、研究者が設置したビーコンを実行した。問題は llms.txt 形式そのものではなく、エージェントが信頼できるドキュメントをそのまま実行可能なコマンドへ昇格させ、パッケージの所有権や配布元の検証を迂回している点にある。
代理工具
Stanford主導のオープンベンチマークは、データ分析、シミュレーション、定理証明、機器校正などの科学研究を再実行可能なターミナルタスクとしてパッケージ化した。Claude Codeと組み合わせたClaude Opus 5が首位となったが、3回の試行後も解決率は30%にとどまり、一般的なcoding benchmarkでの高得点を科学研究へそのまま外挿できないことを示している。
AI 安全
Google DeepMind、MLCommonsなどの機関は、Gemini 2.5 Flash Liteと非公開の安全性評価問題セットを、検証可能な同一のセキュアエンクレーブ内に投入し、双方が取得できる結果を制限した。この設計はベンチマーク汚染のリスクを低減する一方、信頼は依然としてハードウェアのルートキー、Trusted Computing Base(TCB)、機関横断のコードレビューに依存する。
代理工具
OpenAIは、CursorがSpaceXに買収されたことを受けて契約終了手続きを開始し、今後のモデルもCursorには提供しない方針を示した。Cursorの現行ドキュメントでは、ルーティング、エンタープライズ向け許可リスト、ユーザー所有のAPI keyが契約終了後に具体的にどう動作するかはまだ説明されておらず、エンジニアリングチームはモデルの置き換えを無痛の切り替えと捉えるべきではない。
推論系統
エディンバラ大学の研究により、低解像度の表は数値の直接読み取りには適さないものの、VLMが関連性を判断するには十分であることが示された。学習不要の2段階フローは、長文書テストでdecoder tokenを41%削減し、すべての表を元の解像度で1回だけ推論する方式より精度が7.1ポイント高かった。
代理工具
DeepChartは1,482件の事例を用いて、データ抽出、数値導出、グラフ描画を個別に評価し、見た目の評価に隠されたデータ・ハルシネーションを明らかにした。超長文の10-Kを入力すると、ソースデータの平均F1が0.385から0.167に低下しており、コンテキストウィンドウの拡大だけでは根拠の特定に代えられないことを示している。
硬體
AWSは初のVera CPUサーバーおよびVera Rubin GPUを受領した。両社はさらに、2027~2028年にNVIDIA GPUを200万基追加配備する計画だ。この協業では、NVLink Fusion、NVHBM、Nitro、EFAも異種混載ラック設計に組み込まれるが、容量と性能の大半は依然として将来の計画値にとどまる。
AI 軟體/文件處理
Parse 5はPDF、プレゼンテーション、画像を、表と読み順を保持したMarkdownに変換する。API料金は1,000ページ当たり1.50米ドル。公式発表のParseBenchスコア79.2は、5つの評価軸のうち3つのみを対象としており、文書理解全体の成績とはみなせない。
Developer platforms / enterprise AI
GitHubは早ければ9月28日から、Web版、モバイル版、cloud agentのエクスペリエンスとポリシーを統一し、デフォルトで有効にする予定だ。同時に、Copilot code reviewのデフォルト分析レベルはLiteからBalancedへ引き上げられ、1回あたりの推定AI creditsコストも大幅に増加する。
AI 安全
Anthropic は、2.1.248 の restricted モード導入に続き、ファイル、プラグイン、設定の信頼境界に関する5種類の問題を修正した。新バージョンではモデル切り替え hook と prompt cache 指標も公開され、企業向けゲートウェイが切り替えをインターセプトし、再キャッシュのコストを追跡できるようになった。
推論系統
NVIDIA は TensorRT Model Connect を公開した。Python ビルドツールを使い、対応する Hugging Face checkpoint を C++ から読み込める TensorRT bundle にパッケージ化する。プロジェクトではモデルファミリー84種とエンドツーエンド manifest 221件を掲げているが、依然として nightly 開発モードであり、サポート一覧への掲載は、すべてのハードウェアで検証済みであることを意味しない。