返回首頁

AI 推論與開發者工具

Jev 捨棄文字生成,以平行取樣輸出型別化機率決策

TypeSafe AI 的 Jev 只產生預先定義的布林、選項與分數,試圖把模型推論變成可直接嵌入程式的低延遲分支。型別正確不代表判斷正確,官方速度與成本優勢也仍建立在自製工作流及未公開模型上。

Dietmar Rabich · CC BY-SA 4.0 · Image source
zh-Hant

TypeSafe AI 開放 Jev 早期存取,將模型定位成「帶機率的函式呼叫」,而不是會續寫字串的聊天模型。開發者先定義布林值、有限選項或連續分數等輸出空間,再把文字及結構化程式狀態送入模型;Jev 會一次平行產生所有答案、信心與機率,不逐 token 自回歸解碼。這種介面瞄準分類、路由、排序、政策判斷與即時控制等高頻工作流,讓周邊程式負責組合規則與執行副作用。

公司稱其以 Reinforcement Learning for Calibrated Decisions(RLCD)訓練,使預測機率更貼近實際正確率。公開價格為每百萬輸入 token 0.042 美元,輸出不另計費;官方量得端到端延遲約 70 至 500 毫秒,並宣稱在自製工作流上最高比前沿 LLM 快 193.6 倍、便宜 444.6 倍。技術上的合理優勢來自縮小輸出空間與平行取樣:如果應用只需要「批准/拒絕」或有限類別,生成欄位名稱、JSON 與解釋文字確實是額外成本。

但目前證據不足以把 Jev 視為通用 LLM 替代品。官方評測以 GPT‑6 Astra 與 Claude Fable 5.1 的平均機率作參考答案,工作流又由自家能力團隊設計,並非具有人類真值與獨立測試集的標準基準;架構、參數量、權重及訓練資料也未公開。社群尤其質疑「不會幻覺」的說法:模型可保證輸出符合 schema,仍可能對錯誤選項給出高信心,或在分布外輸入被迫選擇合法但不適用的答案。工程團隊下一步應實測校準誤差、拒答機制、資料漂移,以及多個局部機率經程式組合後是否仍可靠,並與小型分類器及 constrained decoding LLM 做同任務比較。

來源

  1. Introducing System One Models & Jev
  2. Introducing System One Models and Jev — community discussion
  3. System One adapter for LLM APIs