最新模型
Cohere、Rerank 5を発表 段落抽出と調整可能なしきい値でRAGのコンテキストを圧縮
Cohereは10月21日、Rerank 5 ProとFastを発表し、再ランキング時に関連段落を抽出するContext Focus機能を追加した。開発者は段落スコアのしきい値を調整して、言語モデルに送るテキスト量を制御できる。ただし、切り出した証拠が十分かどうかは検証が必要だ。
Archive
技術ニュース 1509 件
最新模型
Cohereは10月21日、Rerank 5 ProとFastを発表し、再ランキング時に関連段落を抽出するContext Focus機能を追加した。開発者は段落スコアのしきい値を調整して、言語モデルに送るテキスト量を制御できる。ただし、切り出した証拠が十分かどうかは検証が必要だ。
GitHub Repo
llm-dは10月20日に1.0を発表し、多テナントのトラフィック制御、エージェントのセッションルーティング、協調アップグレード機能を統合した。設定APIはv1に引き上げられた一方、旧リソースグループ、メトリクスのエイリアス、一部のフラグは削除され、既存のデプロイでは移行時の互換性確認が必要となる。
GitHub Repo
LangChainは10月21日、検索ソースが保持されない問題を修正した langchain-perplexity 1.4.2 をリリースした。更新は同期・非同期・ストリーミングの呼び出しに対応し、ソース一覧に依存する引用インターフェースや検証フローでデータを再び取得できるようにする。
GitHub Repo
10月22日のDifyコミュニティ報告によると、エージェントが会話履歴を再構築する際、各ターンで保存された完全なプロンプトを読み込む可能性があり、データ読み込み量が二次的に増加するという。報告には再現コードとカラム削減テストが添付されているが、確認可能な正式修正版はまだない。
GitHub Repo
10月20日のTransformers技術報告によると、Flash Attention経路ではKVキャッシュ容量の増加に伴って処理が遅くなる可能性があり、キャッシュの大部分が未使用でも発生するという。関連するTRLの再現テストでも学習時間に差が見られたが、修正が確認できる正式リリースはまだない。
GitHub Repo
AMDとIntelは10月20日、oneDNNを通じてPyTorchのx86 CPU最適化を統合すると発表した。AMDはZenDNNの技術も統合する。今回の発表ではリリース時期や性能データは示されておらず、エンジニアは実際のパッケージにどのカーネルが含まれるかを確認する必要がある。
GitHub Repo
10月22日のDifyコミュニティ報告によると、特定のCelery/geventスケジューラー構成では、タスク完了後もRedisの結果サブスクリプション接続が保持される可能性がある。報告者は本番環境で1万を超える接続が蓄積したと述べているが、メンテナーによる確認や、検証可能な正式修正版はまだない。
GitHub Repo
10月21日に提出されたTransformersのプルリクエストは、標準のモデル読み込みインターフェースを通じたEntroPackによる重み圧縮を提案している。パラメーターあたり平均3.5ビットなどの保存目標を設定できるが、まだマージされておらず、推論で得られる効果はデコードコストとワークロードに左右される。
GitHub Repo
10月21日のTransformersコミュニティからの報告によると、一部のモデル設定でhead_dimがNoneの場合、Dynamic、YaRN、LongRoPEの経路でモデルを作成できない可能性がある。報告には小規模な再現コードと修正案が添えられているが、メンテナーによる確認や、検証可能な正式修正版はまだない。
GitHub Repo
Ollamaは10月21日、MLXを通じたRecursive Flintのローカル推論に対応するv0.40.8-rc0を公開しました。このオープンウェイトモデルは疎なエキスパート構成を採用していますが、最初のリリース候補版はmacOSのみをサポートし、他のGPUプラットフォームへの対応は後続バージョンで予定されています。
GitHub Repo
10月20日のLangChainコミュニティ報告によると、要約モデルが空のテキストを返した場合でも、ミドルウェアが元のメッセージを削除し、エージェントが気づかないままコンテキストを失う可能性がある。報告には最小再現コードと修正案が含まれるが、メンテナーによる確認や、検証可能な正式修正バージョンはまだない。
GitHub Repo
LangChainは10月21日、Pythonのストリーム消費側でツール引数の増分受信をサポートし、チャンクごとの引数取得の挙動を変更した。送信側の改修はまだドラフト段階で、転送量の大幅な改善は実現していない。既存アプリケーションでは引数の組み立て方を確認する必要がある。