KiokuBench v2.0
KiokuBench は、メモリシステムが何を記憶し、何を置き換え、何を忘れたかを、保存された記憶そのものと正解データを照合して測定するベンチマークです。Kioku は日本語の「記憶」を意味します。
LoCoMo や LongMemEval のように読み出しの正答率のみを評価すると、あらゆる情報を無差別に保存するシステムが高得点になってしまいます。KiokuBench では、更新前の古い内容の残存、忘却依頼の取りこぼし、ノイズ、言語の一致、データサイズといった記憶の中身も検証します。
KiokuBench v2.0 r1
KiokuBench v2.0 は、v1 の質問構成を継承しつつ、他社のメモリシステムを含めて、改善のたびに測定可能な費用で評価できるよう設計したバージョンです。ラウンド1(r1)は2026年11月5日に測定しました。sepiace のみ、r1 の dev セットで判明した課題に対応したうえで、11月6日に再測定しています。ほかの5つの構成は再測定していません。v2.0 の数値は、v1.0 および v0.1 の数値とは比較しません。
測定方法
- すべてのメモリシステムを、Haiku 5.5 で動作する Claude Code 2.1.318 に接続しました。記憶を呼び出すタイミングはエージェントが判断し、ベンチマーク側からは使用方法を指示するプロンプトを追加していません。各構成で許可したのは、当該メモリシステムのツールのみです。
- ペルソナは12人(英語6人、日本語6人)で、1人あたり200セッションです。確認質問は、50、100、150、200セッション終了後に、それぞれ新しいセッションで実施しました。確認質問は計2,849問で、生成時に解消できなかった不備が残る413問を除外し、2,436問を採点対象としました。
- 回答は、LLM による採点を用いず、正解の値との照合によって採点しました。同一の回答には常に同一のスコアが付与されます。記憶の内容についても同様に、機密情報、忘却対象の内容、事実でない情報、古い版の値と照合しました。
- r1 の test データの SHA-256 は、測定前に記録してコミットしました。結果の公表後にデータを差し替えていないことを、第三者が検証できます。
- Index の算出式は v1 と同一で、8つのカテゴリの重み付き幾何平均です。「効率」のカテゴリのみ重みを2としています。v2 では、効率のカテゴリの算出式を見直す予定です。
- sepiace は、r1 の dev セットの分析に基づく改善を行ったうえで、プラグイン 0.3.0 と Jev 1.14 により測定しました。システム更新前(プラグイン 0.2.1、Jev 1.13)の Index は51.2でした。
各メモリシステムの接続方法
他社のメモリシステムは、いずれもセルフホスト版をローカル環境で稼働させました。各システム内部で使用する LLM は openai/gpt-6-luna に統一しています。
| メモリシステム | 接続方法 |
|---|---|
| sepiace | 公開中のプラグイン(osaxyz/sepiace)をインストールし、MCP サーバーのみベンチマーク用に差し替えました。プラグインのバージョンは 0.3.0 です。 |
| TencentDB | Claude Code の API 接続先を、セルフホスト版 TencentDB Agent Memory 2.0.3 のプロキシに設定しました。 |
| デフォルトメモリ | Claude Code の自動メモリ機能を使用しました。 |
| Mem0 | 公式の Claude Code プラグイン(0.3.3)を、ローカル環境で稼働する Mem0 OSS 2.2.1 に接続しました。 |
| ByteRover | セルフホスト版の CLI(byterover-cli 3.16.1)と、ByteRover が Claude Code 向けに推奨するスキルを使用しました。 |
| Obelisk | 公式の CLI(@obelisk-apps/cli 0.3.1)とスキルを使用しました。 |
メモリシステム別の結果
KiokuBench Index と確認質問の正答率です。緑色のセルは各列の最高値を示します。
| メモリシステム | Index | 英語 | 日本語 | 正答率 |
|---|---|---|---|---|
| KiokuBench Index | ||||
| sepiace*1 | 54.7 | 57.7 | 51.4 | 67.5% |
| TencentDB | 47.9 | 47.7 | 48.0 | 59.2% |
| デフォルトメモリ | 19.4 | 16.0 | 21.0 | 30.5% |
| Mem0 | 18.8 | 18.5 | 18.5 | 64.1% |
| ByteRover | 14.3 | 14.3 | 14.6 | 29.4% |
| Obelisk | 5.2 | 5.7 | 4.4 | 31.3% |
- *1 改善後に再測定した値です。システム更新前の sepiace は、Index 51.2、正答率 53.9% でした。
カテゴリごとのスコア
各スコアは0から100までの値をとり、高いほど優れています。緑色のセルは各列の最高値を示します。
| メモリシステム | 覚える | 置き換える | 忘れる | 見分ける | 組み合わせる | 使う | 正直さ | 効率 |
|---|---|---|---|---|---|---|---|---|
| カテゴリ | ||||||||
| sepiace | 78.4 | 6.3 | 45.6 | 62.3 | 47.9 | 68.0 | 95.6 | 100.0 |
| TencentDB | 67.2 | 7.6 | 17.5 | 67.0 | 39.3 | 66.2 | 96.9 | 93.8 |
| デフォルトメモリ | 6.3 | 2.2 | 5.8 | 74.1 | 0.5 | 65.8 | 99.1 | 100.0 |
| Mem0 | 80.1 | 1.7 | 2.8 | 41.3 | 47.4 | 68.7 | 95.4 | 7.7 |
| ByteRover | 5.4 | 0.8 | 0.0 | 72.9 | 0.5 | 65.0 | 98.5 | 100.0 |
| Obelisk | 11.4 | 0.0 | 1.8 | 0.0 | 4.3 | 65.3 | 98.3 | 2.3 |
費用
12人分のエージェントの費用です。各メモリシステム内部で使用する LLM および sepiace の Jev の費用は含みません。緑色のセルは最も低い費用を示します。
| メモリシステム | 合計 | 確認質問1問あたり | 確認質問1問あたりの記憶由来のトークン数 |
|---|---|---|---|
| 費用 | |||
| sepiace | $32.93 | $0.0015 | 127 |
| TencentDB | $50.36 | $0.0033 | 測定不能 |
| デフォルトメモリ | $29.24 | $0.0018 | 92 |
| Mem0 | $28.39 | $0.0011 | 275 |
| ByteRover | $26.87 | $0.0013 | 15 |
| Obelisk | $28.39 | $0.0017 | 381 |
固定戦略のベースライン
すべてのベースラインの Index が40未満であることを、ラウンド確定の条件としています。r1 では3種類すべてが条件を満たしました。
| 戦略 | Index |
|---|---|
| メモリシステムを使用しない戦略 | |
| 常に「分からない」と回答する | 11.9 |
| 常に何らかの回答を返す | 14.3 |
| 直近の約4,000トークン分の会話のみを参照して回答する | 24.5 |
考察
- sepiace は、Index(54.7)と正答率(67.5%)の双方で首位となりました。Mem0(64.1%)および TencentDB(59.2%)を上回り、確認質問1問あたりの費用は TencentDB の半分以下でした。
- システム更新前の sepiace は、Index では首位であったものの、正答率(53.9%)では Mem0 と TencentDB を下回っていました。取りこぼしの多くは、エージェントが保存を依頼しなかった事実でした。改善後、「分からない」と回答した質問は657問から257問に減少しました。
- sepiace は「忘れる」(51.9から45.6)および「見分ける」(71.6から62.3)のスコアが前回より低下しました。保存を促した結果、冗談や仮定の話まで記憶に含まれるようになり、忘却依頼の後に保持すべき事実も削除されています。今後の改善対象です。
- Mem0 は「覚える」が80.1で最も高い一方、Index は18.8にとどまりました。1人あたり約10万トークンを記憶に書き込んだ結果、「効率」が7.7に低下しました。また、忘却を依頼した内容の92%が記憶に残存していました。
- TencentDB の費用は、ほかの構成の約1.7倍でした。プロキシが発言のたびに記憶をプロンプトに付加するためです。
- Haiku 5.5 の環境では、Claude Code のデフォルトメモリと ByteRover は記憶をほとんど書き込みませんでした。いずれも、直近の会話のみを参照するベースライン(24.5)を下回っています。
- Obelisk は会話の記録をすべて保持するため、機密情報もすべて残存します。その結果、「見分ける」は0、「効率」は2.3となりました。
- いずれのメモリシステムも「置き換える」は10未満でした。変更された事実を現在の値として回答できるメモリシステムは、現時点では存在しません。
制約事項
- エージェントは Haiku 5.5 を使用する Claude Code のみです。より高性能なモデルでは記憶を呼び出す判断が変化し、特にデフォルトメモリと ByteRover の結果が変動する可能性があります。
- 文字列の照合によって採点するため、言い換えによる正答を誤答と判定する場合があります。v1 r1 の回答で LLM による採点と比較した結果、スコアの一致率は94.1%でした。
- 記憶の内容も文字列で照合するため、v1 の LLM による対応付けと比べて精度の粗い集計です。
- 他社のメモリシステムは、セルフホスト版をベンチマーク用に一部の設定を変更して稼働させました。各社のクラウド版とは結果が異なる可能性があります。
- Supermemory は未測定です。同一条件で測定し、同日に sepiace も再測定する予定です。