ETHEREAL、時空間イベントキャッシュでVGAイベントビジョンを処理、イベント当たりの推論実測値は25.6マイクロ秒

8月18日に公開されたETHEREALのプレプリントは、イベント駆動型グラフニューラルネットワーク専用の28nmプロセッサを提案している。イベントカメラは完全なフレームを出力するのではなく、画素の輝度が変化した際にタイムスタンプ付きイベントを生成するため、マイクロ秒単位の時間分解能を保持できる。課題は、そのグラフ構造に、疎で不規則な近傍アクセスと、規則的で密なニューラルネットワーク演算が混在しており、一般的なCNNアクセラレータでは両方を同時に効率よく活用しにくいことだ。

ETHEREALは、近傍並列のspline-convolutionデータパスでグラフ畳み込みを処理し、1.25MBのメモリを、3次元時空間イベント用と2次元特徴量用の2領域に分割している。領域ベースの時空間キャッシュにより、3次元ステージでは外部メモリアクセスを最大60％削減でき、2次元ステージでは外部アクセスを回避する。近傍を1つずつ逐次処理する方式と比べ、並列畳み込みは実行時間を平均で最大3.8倍短縮した。また、チップはオペランドごとに4ビットまたは8ビットを切り替えられ、導入時に精度、消費エネルギー、レイテンシーを調整できる。

著者らは、640×480のDSEC自動車イベントデータとDAGr-GNNを用い、YOLO-like headを8b／8b、その他のレイヤーを4b／4bとする構成で、イベント当たりのエンドツーエンドレイテンシー25.6マイクロ秒、消費エネルギー1.6マイクロジュールを報告した。精度構成の違いによる範囲は、約20.1～40.1マイクロ秒、1.2～2.5マイクロジュールだった。ESSERC 2026の採択論文ページには同じレイテンシーが記載されている一方、消費エネルギーは1.7マイクロジュールとされており、バージョンまたは丸め処理の違いが示唆される。

この成果は、高解像度のイベントグラフを従来のフレームへ先に変換することなく、専用シリコン上で直接処理できることを実証している。ただし、システム測定の対象は、各1,000イベントからなる10シーケンスに限られ、YOLO-like headの最後の3層はチップ外で完全精度により評価されている。そのため、この数値をセンサー入力から検出結果までを含む完全なレイテンシーやエネルギーと直接同一視することはできない。プレプリントは現在もIEEE JSSCへ投稿中であり、外部検証が可能なチップや完全なハードウェア実装も公開されていない。