ホームへ戻る

AI 程式代理

Open Interpreter 0.0.42、ローカルQwenのツール呼び出し診断を追加——テキスト応答と実際の副作用を分離して検証

新バージョンでは、複数プロバイダーのモデルおよびトランスポート設定を整理し、再現可能なOllama/Qwenツール呼び出しsmoke testを提供する。診断スクリプトはファイルの副作用を独立して検証し、エージェントが応答内で作業の完了を主張しただけなのに成功と誤判定するリスクを低減する。

Raimond Spekking · CC BY-SA 4.0 · Image source
zh-Hant

Open InterpreterはRust系統のバージョン0.0.42をリリースし、ベースラインをアップストリームのCodex `rust-v0.153.4`に合わせた。今回の更新の中心は、エージェント機能の追加ではなく、使用中のモデルプロバイダー、モデルID、トランスポートプロトコルをユーザーが識別しやすくすることにある。Chat Completionsの設定がルートコマンド、`exec`のヘルプ、およびBash、Zsh、Fish、PowerShellの自動補完に組み込まれ、エラーメッセージとクラウド設定でもOpen Interpreterブランドの表記に統一された。

新しいモデルガイドには、OpenAI、Google AI Studio、Anthropic、Z.AIの最近のモデルIDが掲載されている。また、通常のZ.AI向けChat Completions経路と、ZCodeのMessages互換エンドポイントが明確に区別された。これは複数プロバイダー対応のエージェントにとって実用的な改善だ。「モデル名が正しい」場合でも、アカウント権限、地域、エンドポイント、wire formatが原因で失敗する可能性があるためだ。プロジェクト側も、この一覧は設定の出発点にすぎず、最終的には`/model`とプロバイダーがリアルタイムで返す利用可能なモデルを基準にすべきだと注意を促している。

エンジニアリングチームがさらに注目すべきなのは、新たに追加された`scripts/ollama_qwen_smoke.py`だ。このスクリプトは、ローカルのOllama上でQwenのツール呼び出しテストを起動し、収集する出力サイズを制限する。タイムアウト時にはプロセスグループ全体をクリーンアップし、ツール呼び出しのシグナルが実際に発生したかどうかを記録したうえで、要求されたファイルの副作用とアシスタントの最後の発言を個別に照合する。これにより、テキストベースの評価では見落とされやすい典型的な失敗を検出できる。たとえば、モデルが「ファイルを作成しました」と回答したにもかかわらず、実際にはツールを実行していないケースだ。

決定論的なPythonテストは日常的な回帰テストに組み込める一方、実際のローカルモデル推論は引き続きデフォルトではオプトインであり、低速なモデルではタイムアウトを長めに設定する必要がある可能性もある。また、このバージョンではモデル横断の成功率、レイテンシー、リソースに関するベンチマークは公表されていない。したがって、これはOpen Interpreterが掲載された全モデルを確実にサポートしていることを証明するリリースというより、診断可能性と移植性を改善するためのエンジニアリングリリースと位置付けるのが妥当だ。今後は、このsmoke harnessが、より多くのツール、副作用の種類、CIハードウェア環境へ拡張されるかどうかを注視する必要がある。

出典

  1. Release Open Interpreter 0.0.42
  2. Open Interpreter 0.0.42