LoCoMo や LongMemEval のように読み出しの正答率のみを評価すると、あらゆる情報を無差別に保存するシステムが高得点になってしまいます。KiokuBench では、更新前の古い内容の残存、忘却依頼の取りこぼし、ノイズ、言語の一致、データサイズといった記憶の中身も検証します。

KiokuBench の全バージョン一覧

KiokuBench v2.0 r1

KiokuBench v2.0 は、v1 の質問構成を継承しつつ、他社のメモリシステムを含めて、改善のたびに測定可能な費用で評価できるよう設計したバージョンです。ラウンド1(r1)は2026年11月5日に測定しました。sepiace のみ、r1 の dev セットで判明した課題に対応したうえで、11月6日に再測定しています。ほかの5つの構成は再測定していません。v2.0 の数値は、v1.0 および v0.1 の数値とは比較しません。

測定方法

  • すべてのメモリシステムを、Haiku 5.5 で動作する Claude Code 2.1.318 に接続しました。記憶を呼び出すタイミングはエージェントが判断し、ベンチマーク側からは使用方法を指示するプロンプトを追加していません。各構成で許可したのは、当該メモリシステムのツールのみです。
  • ペルソナは12人(英語6人、日本語6人)で、1人あたり200セッションです。確認質問は、50、100、150、200セッション終了後に、それぞれ新しいセッションで実施しました。確認質問は計2,849問で、生成時に解消できなかった不備が残る413問を除外し、2,436問を採点対象としました。
  • 回答は、LLM による採点を用いず、正解の値との照合によって採点しました。同一の回答には常に同一のスコアが付与されます。記憶の内容についても同様に、機密情報、忘却対象の内容、事実でない情報、古い版の値と照合しました。
  • r1 の test データの SHA-256 は、測定前に記録してコミットしました。結果の公表後にデータを差し替えていないことを、第三者が検証できます。
  • Index の算出式は v1 と同一で、8つのカテゴリの重み付き幾何平均です。「効率」のカテゴリのみ重みを2としています。v2 では、効率のカテゴリの算出式を見直す予定です。
  • sepiace は、r1 の dev セットの分析に基づく改善を行ったうえで、プラグイン 0.3.0 と Jev 1.14 により測定しました。システム更新前(プラグイン 0.2.1、Jev 1.13)の Index は51.2でした。

各メモリシステムの接続方法

他社のメモリシステムは、いずれもセルフホスト版をローカル環境で稼働させました。各システム内部で使用する LLM は openai/gpt-6-luna に統一しています。

メモリシステム接続方法
sepiace公開中のプラグイン(osaxyz/sepiace)をインストールし、MCP サーバーのみベンチマーク用に差し替えました。プラグインのバージョンは 0.3.0 です。
TencentDBClaude Code の API 接続先を、セルフホスト版 TencentDB Agent Memory 2.0.3 のプロキシに設定しました。
デフォルトメモリClaude Code の自動メモリ機能を使用しました。
Mem0公式の Claude Code プラグイン(0.3.3)を、ローカル環境で稼働する Mem0 OSS 2.2.1 に接続しました。
ByteRoverセルフホスト版の CLI(byterover-cli 3.16.1)と、ByteRover が Claude Code 向けに推奨するスキルを使用しました。
Obelisk公式の CLI(@obelisk-apps/cli 0.3.1)とスキルを使用しました。

メモリシステム別の結果

KiokuBench Index と確認質問の正答率です。緑色のセルは各列の最高値を示します。

KiokuBench v2.0 r1、12人、Haiku 5.5 の Claude Code
メモリシステムIndex英語日本語正答率
KiokuBench Index
sepiace*154.757.751.467.5%
TencentDB47.947.748.059.2%
デフォルトメモリ19.416.021.030.5%
Mem018.818.518.564.1%
ByteRover14.314.314.629.4%
Obelisk5.25.74.431.3%
  1. *1 改善後に再測定した値です。システム更新前の sepiace は、Index 51.2、正答率 53.9% でした。

カテゴリごとのスコア

各スコアは0から100までの値をとり、高いほど優れています。緑色のセルは各列の最高値を示します。

KiokuBench v2.0 r1、カテゴリごとのスコア
メモリシステム覚える置き換える忘れる見分ける組み合わせる使う正直さ効率
カテゴリ
sepiace78.46.345.662.347.968.095.6100.0
TencentDB67.27.617.567.039.366.296.993.8
デフォルトメモリ6.32.25.874.10.565.899.1100.0
Mem080.11.72.841.347.468.795.47.7
ByteRover5.40.80.072.90.565.098.5100.0
Obelisk11.40.01.80.04.365.398.32.3

費用

12人分のエージェントの費用です。各メモリシステム内部で使用する LLM および sepiace の Jev の費用は含みません。緑色のセルは最も低い費用を示します。

KiokuBench v2.0 r1、エージェントの費用
メモリシステム合計確認質問1問あたり確認質問1問あたりの記憶由来のトークン数
費用
sepiace$32.93$0.0015127
TencentDB$50.36$0.0033測定不能
デフォルトメモリ$29.24$0.001892
Mem0$28.39$0.0011275
ByteRover$26.87$0.001315
Obelisk$28.39$0.0017381

固定戦略のベースライン

すべてのベースラインの Index が40未満であることを、ラウンド確定の条件としています。r1 では3種類すべてが条件を満たしました。

KiokuBench v2.0 r1、固定戦略のベースライン
戦略Index
メモリシステムを使用しない戦略
常に「分からない」と回答する11.9
常に何らかの回答を返す14.3
直近の約4,000トークン分の会話のみを参照して回答する24.5

考察

  • sepiace は、Index(54.7)と正答率(67.5%)の双方で首位となりました。Mem0(64.1%)および TencentDB(59.2%)を上回り、確認質問1問あたりの費用は TencentDB の半分以下でした。
  • システム更新前の sepiace は、Index では首位であったものの、正答率(53.9%)では Mem0 と TencentDB を下回っていました。取りこぼしの多くは、エージェントが保存を依頼しなかった事実でした。改善後、「分からない」と回答した質問は657問から257問に減少しました。
  • sepiace は「忘れる」(51.9から45.6)および「見分ける」(71.6から62.3)のスコアが前回より低下しました。保存を促した結果、冗談や仮定の話まで記憶に含まれるようになり、忘却依頼の後に保持すべき事実も削除されています。今後の改善対象です。
  • Mem0 は「覚える」が80.1で最も高い一方、Index は18.8にとどまりました。1人あたり約10万トークンを記憶に書き込んだ結果、「効率」が7.7に低下しました。また、忘却を依頼した内容の92%が記憶に残存していました。
  • TencentDB の費用は、ほかの構成の約1.7倍でした。プロキシが発言のたびに記憶をプロンプトに付加するためです。
  • Haiku 5.5 の環境では、Claude Code のデフォルトメモリと ByteRover は記憶をほとんど書き込みませんでした。いずれも、直近の会話のみを参照するベースライン(24.5)を下回っています。
  • Obelisk は会話の記録をすべて保持するため、機密情報もすべて残存します。その結果、「見分ける」は0、「効率」は2.3となりました。
  • いずれのメモリシステムも「置き換える」は10未満でした。変更された事実を現在の値として回答できるメモリシステムは、現時点では存在しません。

制約事項

  • エージェントは Haiku 5.5 を使用する Claude Code のみです。より高性能なモデルでは記憶を呼び出す判断が変化し、特にデフォルトメモリと ByteRover の結果が変動する可能性があります。
  • 文字列の照合によって採点するため、言い換えによる正答を誤答と判定する場合があります。v1 r1 の回答で LLM による採点と比較した結果、スコアの一致率は94.1%でした。
  • 記憶の内容も文字列で照合するため、v1 の LLM による対応付けと比べて精度の粗い集計です。
  • 他社のメモリシステムは、セルフホスト版をベンチマーク用に一部の設定を変更して稼働させました。各社のクラウド版とは結果が異なる可能性があります。
  • Supermemory は未測定です。同一条件で測定し、同日に sepiace も再測定する予定です。