多代理與可組合泛化
限制模組可見資訊促成可重用潛在通訊，10 組配對實驗有 9 組領先至少 20 點
四個共享 Qwen2.5-0.5B 與同一 LoRA 的模組，只因注意力遮罩不同，便學出截然不同的組合策略。限制每個模組只能看到自己的證據片段，較容易形成可跨樣本移植的中間值通訊，但預先註冊的整體成功門檻仍以 0.0012 之差落敗。
一項新研究嘗試回答多模組 AI 的設計問題：讓每個模組看見完整輸入，是否反而鼓勵模型記住整題，而不是學會可重用的局部運算？實驗建立四個「LLM cell」，共同使用凍結的 Qwen2.5-0.5B-Instruct、同一個 rank-8 LoRA，以及固定順序的連續向量通訊通道。每次傳訊只有兩個模型寬度的向量。
任務是在模 17 整數上執行以自然語言描述的函數組合。研究者建立十組配對模型；每對具有完全相同的初始化位元、訓練順序、token 位置、參數量及 20,000 次更新，唯一差異是注意力遮罩。限制組的每個 cell 只能直接讀取分配給它的證據片段，其他資訊必須透過前一個 cell 的潛在向量傳入；全域組則可看到四段完整輸入。
九組配對在兩種組合深度上，限制組都至少領先全域組 20 個百分點，深度二與三的成對中位優勢分別為 0.7648、0.6050。當研究者切斷通訊，所有限制組均跌至隨機水準。更關鍵的是，把另一題中代表相同中間值的向量封包移植過來，六個受審計模型在各介面仍有 0.94 至 1.00 的行為保持率；換成反事實值，輸出也會朝數學上預期的答案移動。這比單純做零向量消融更能支持通道確實編碼了可交換的中間結果。
不過，這仍是高度受控的合成任務，而非一般代理協作。限制組在深度三的中位準確率為 0.6988，未達預先註冊的 0.70 門檻，因此完整實驗正式判定失敗；先前批次亦全部未能保留一般語言能力。另有一個限制組 checkpoint 無法取回。下一步要看此種「資訊所有權邊界」能否延伸至不同模型、自然語言協作、工具代理及真實長流程，而不犧牲模型原有能力。