Otis、llama.cpp、ローカルモデル選定、エージェント権限を単一のデスクトップ／ターミナルインターフェースに統合

最近、LocalLLMとHacker Newsで公開プロモーションが行われたOtisは、「モデルのダウンロード、推論サーバーの起動、エージェントツールの設定」を一度の初期化フローに集約しようとしている。MITライセンスのこのプロジェクトは、ネイティブデスクトップアプリ、OpenTUIターミナルインターフェース、ヘッドレスCLIを提供する。共通のエージェント実行レイヤーは、ファイルの読み書き、コマンド実行、Web検索、sessionの保持に対応し、調査作業をサブエージェントに委任できる。

ローカル経路では、ハードウェアを検出し、キュレーション済みカタログからGGUFを選択してchecksumを検証したうえで、Otisが管理する`llama-server`を`127.0.0.1`にbindする。READMEでは、少なくとも24GBのRAMまたはApple unified memoryが推奨されており、LinuxではVulkanによるGPUアクセラレーションも利用できる。自宅に別のNVIDIAマシンがある場合は、個別にインストールしたPAIRへ接続し、OllamaまたはLM Studio proxy経由でリクエスト全体を適切なノードへルーティングすることも可能だ。さらに大規模なオープンウェイトモデルが必要な場合は、自分のAPI keyを使ってFireworksを直接呼び出せる。

エージェントの状態はappend-only JSONLとして保存され、メッセージ、tool card、diff、プロバイダーから報告された使用量が含まれる。ヘッドレスモードでは、プレーンテキスト、JSON、またはストリーミングJSONLを出力できる。対話的な確認が行えない場合、ポリシーに適合しない書き込み、編集、shell呼び出しは、ユーザーが自動実行を明示的に有効化しない限りデフォルトで拒否される。この点でOtisは、単なるローカルチャットUIというより、CIへ組み込めるエージェントharnessに近い。

ただし、「ローカル」は正確に解釈する必要がある。完全なオフライン動作が可能なのはllama.cpp経路だけだ。検索はParallel MCPへ直接接続し、ホスト型推論のデータはFireworksへ送信される。PAIRのネットワークトラフィックは、そのクラスターによって管理される。現時点でプロジェクトは、タスク成功率、レイテンシ、安全性に関する評価を公開しておらず、コミュニティでの採用規模もまだ小さい。今後注目すべきなのは、ハードウェア推奨機能が総RAMだけでモデルを対応付けるのではなく、量子化品質とcontext memoryも考慮できるか、またshell権限、skillの出所、サブエージェントへの委任が独立監査に耐えられるかどうかだ。