Transformers、Cellposeのネイティブ統合を提案　SAMとDINOv3の細胞分割モデルに対応

Hugging Face TransformersのコントリビューターであるArthurZuckerが10月15日、SAMとDINOv3をバックボーンとする細胞画像セグメンテーションモデルを対象に、Cellposeのネイティブ統合を提案した。この提案では、重み変換マッピングを通じて元のチェックポイントを読み込み、PyTorchで実装した後処理と流場誤差による品質チェックを追加する。作者によると、SAM経路で生成されるマスクは元の実装と完全に一致する。これは提案作者による検証結果であり、あらゆるデータセットに当てはまる包括的な保証ではない。統合提案

この統合の技術的な要点は、モデル出力から細胞インスタンスマスクに至る処理の流れを保つことにある。Cellposeの公式ドキュメントによると、ネットワークは水平・垂直方向の流場と細胞確率を予測し、その流場に基づいてピクセルを移動させ、同じ位置に集まったピクセルを候補領域としてまとめる。そのため、バックボーンのモデル重みが同じでも、後処理の違いによって細胞の境界や数が変わる可能性がある。公式設定ドキュメント

提案に含まれる流場誤差チェックでは、候補マスクから流場を再計算し、ネットワークの予測と平均二乗誤差を比較して、形状と流場が一致しない領域を除外する。公式のデフォルト閾値は0.4で、値を上げるとより多くの候補領域が残り、下げると異常な形状がより厳しく除外される。異なるモデルの出力を比較する研究ワークフローでは、結果の差を正しく解釈できるよう、こうした設定も重みや前処理と併せて記録する必要がある。流場の閾値と処理の流れ

統合が完了すれば、エンジニアリングチームはTransformersエコシステム内でこの2種類のモデルを読み込めるようになり、モデルインターフェースを別途接続する作業を減らせる可能性がある。ただし、これは統合による工学上の推論であり、公開提案はスループットやメモリ使用量の改善をまだ示していない。既存の画像処理では入力の意味も確認が必要だ。Cellpose-SAMの公式ドキュメントによると、モデルが使用するのは先頭の3チャンネルのみで、余分なチャンネルは切り捨てられる。複数染色の画像では、チャンネルを選択または統合しておく必要がある。入力チャンネルの規則

現時点では、これはまだマージ待ちの提案であり、正式リリース済みの機能として扱うことはできない。今後は、元のチェックポイントとの数値的な整合性、異なるデバイス間での後処理の一貫性、代表的な顕微鏡画像を用いたインスタンスセグメンテーション評価を確認したい。試用を準備するチームは、画像、閾値、元の実装の出力を固定したうえで、マスクと細胞数を比較するとよい。提案のステータス