推論系統
SQD、アテンション方式に応じてデコード処理を分割――亜二次モデル推論では密モデルの分離方式を踏襲せず
新たな研究が提案するSQDは、二次および亜二次アテンションのメモリ・計算特性に応じてデコード処理を割り当てる。論文ではtokens/Jが最大56%向上したと報告しているが、Rubin／LPXの数値は依然として実機クラスタではなく分析モデルに基づく。
Archive
最新模型
新模型、開放權重、多模態、語音、影像與模型架構。
推論系統
代理工具
Otis、llama.cpp、ローカルモデル選定、エージェント権限を単一のデスクトップ／ターミナルインターフェースに統合
Otisは9月13日から14日にかけて集中的に公開プロモーションを展開した。ハードウェアに応じてGGUFを推奨・ダウンロードし、内蔵のllama.cppでローカルエージェントを起動する。オフラインモードではアカウントが不要だが、検索、PAIRクラスター、Fireworks推論は、それぞれ異なるデータ境界と信頼境界に属する。
端側 AI
iOS 27がSiri AIを正式導入：20Bのオンデバイスモデルがプロンプトに応じて1B～4Bパラメータをロード
Appleは9月14日、iOS 27などの正式版OSをリリースし、AFM 3を基盤とする新しいSiriを対応デバイスに提供する。大規模なオンデバイスモデルは、プロンプト単位のスパースルーティングとNAND上の重み保存を組み合わせており、各tokenでエキスパートを選択する典型的なMoEとは技術的なアプローチが異なる。
AI 安全
K‑Benchが機械学習モデルの忘却の観測範囲を拡大：最終回答が秘密を漏らさなくても、エージェントが本当に忘れたとは限らない
K‑Benchは、評価対象をモデルの最終回答から、推論、ツール呼び出し、検索結果など、エージェントの6つのチャネルへと拡張した。実験では、既存ベンチマークが漏洩なしと判定した場合でも、実環境のエージェントが22%〜86%のクエリで対象データを露出し得ることが示された。
代理工具
macOS 27のプライベート推論インターフェースでSiriのプランニングモデルを置き換え可能、ただしサードパーティAPIではない
リバースエンジニアリングによる実験で、macOS 27の`Inference Providing`パスが、Siriのプランニングプロンプト、ツール定義、実行結果を外部モデルに渡せることが明らかになった。このデモにはシステム保護の無効化とAppleのプライベートentitlementが必要であり、ユーザーが現時点でSiriのモデルを正式に変更できるという意味ではない。
推論系統
llama.cppのメインラインにMaple 20B‑A1Bの三値MoEを統合、第1段階はCPUサポートを基準に
9月14日にマージされたアーキテクチャサポートにより、Maple‑PreviewはDeepGroveのllama.cpp forkに依存せず、ロードおよび変換できるようになった。モデルがtokenごとに有効化するパラメータは約10億個にすぎないが、GPU backend、品質評価、公式の速度主張については、引き続き個別の検証が必要だ。
代理工具
研究が明らかにしたマルチモデル査読パイプラインの参照ずれ：検証モデルが正しいロールバックを誤りと判定する可能性
新たな実験により、「ドラフト作成—検証—修訂」パイプラインでは、`previous` などの相対的な語の指示対象が、モデルの役割が切り替わる際に変化し得ることが示された。推論強度を高めることで一部のモデルは大幅に改善するものの、単にテスト時計算量を増やすことよりも、モデル選択のほうが重要だという。
最新模型
SteerDuplex、2段階RLで全二重音声制御を改善――ただしモデルと評価コードは未公開
SteerDuplexは、口調、アクセント、発話速度、割り込み処理を単一の全二重音声ポストトレーニングに統合し、390件の音声プロンプトを収録したSteerBenchも提案した。論文では顕著な改善が報告される一方、モデルが回答を早めに打ち切ることで割り込み指標を攻略できることも明らかにしている。
GitHub Repo
OpenArch、読みやすいLLMアーキテクチャ実装でHacker Newsの注目を集めるも、本番推論フレームワークの代替には至らず
OpenArchは、Llama、DeepSeek、Gemma、Qwen、Kimiなどのモデルを、アーキテクチャ別の純粋なPyTorchサンプルとして書き直し、Attention、正規化、MoEルーティングを比較しやすくしている。プロジェクトは9月14日にHacker Newsで急速に注目を集めたが、大半のモデルはまだ未完成で、既存コードも性能や互換性を目標としていないことが明記されている。
AI 安全
Hugging FaceのPython SDKがエージェントツールを識別してHubリクエストにタグ付け、コミュニティがテレメトリーの境界を再検証
コミュニティによる監査で、`huggingface_hub`が環境変数に基づいてCodex、Claude Code、Cursorなどのエージェントを識別し、その名前をHubリクエストのUser-Agentに追加していることが確認された。この仕組みは以前から公式に公開されているが、一般的なテレメトリー無効化オプションがエージェントのタグ付けまで完全に対象としているかについては、依然としてドキュメントに明記されていない。
推論系統
smolperfbenchmark、エッジLLMのエネルギー効率ベンチマークを公開。ただしライブ・リーダーボードの結果は現在0件
新たなオープンソースのベンチマークスイートは、小型モデルをJetson、Mac、Raspberry Pi、Androidデバイスで動かし、データセンターGPUのスループットだけでなく、デコード速度、tokens/J、レイテンシ、温度を測定する。作者は約1,000通りのJetson構成をテスト済みとしているが、現在、公開リーダーボードにはデータが1件も読み込まれておらず、ユーザーは当面、リポジトリ内のレポートとraw artifactsを参照して結果を検証する必要がある。
最新模型
Intern‑S2正式版が397Bマルチモーダル重みを公開、旧Preview APIは10月末に廃止へ
上海人工知能研究所はIntern‑S2‑Preview‑397Bを正式版へアップグレードし、長期的なエージェント能力を追加するとともに、Apache 2.0ライセンスのBF16およびFP8重みを公開した。APIユーザーは`intern-s2`へ移行する必要があるが、公式ドキュメントではlatest aliasに関する記述が依然として矛盾しているため、移行時にはレスポンスで返される実際のモデルバージョンを確認すべきだ。