KiokuBench v1
KiokuBench は、メモリシステムが何を記憶し、何を置き換え、何を忘れたかを、保存された記憶そのものと正解データを照合して測定するベンチマークです。Kioku は日本語の「記憶」を意味します。
LoCoMo や LongMemEval のように読み出しの正答率のみを評価すると、あらゆる情報を無差別に保存するシステムが高得点になってしまいます。KiokuBench では、更新前の古い内容の残存、忘却依頼の取りこぼし、ノイズ、言語の一致、データサイズといった記憶の中身も検証します。
KiokuBench v1 r1
KiokuBench v1 は、v0.1 から難易度を大幅に引き上げたバージョンです。ラウンド1である r1 は v1 の最初の測定ラウンドで、2026年10月22日から29日にかけて測定しました。v0.1 と v1 は問題も測定方法も異なるため、両者のスコアは比較できません。
目的
v1 は、どのメモリシステムも満点に達しないように開発しました。公開されている問題に適合させてもスコアは上がりません。スコアが上がるのは、実際に記憶の性能が向上した場合のみです。スコアを特定の目標値に調整することはなく、sepiace がほかのシステムに劣る結果もそのまま公開しています。
測定方法
- 会話をメモリシステムへ直接渡すのではなく、Claude Code または Codex にメモリシステムを接続し、エージェントに会話を渡します。いつ記憶を呼び出すかはエージェント自身が判断します。ベンチマーク側から記憶の使い方を指示するプロンプトは追加していません。
- 各ペルソナは200セッション、約20か月分の会話を持ちます。全セッションの約70%は本人の個人情報と無関係な業務のやり取りが中心です。ペルソナは計12人で、英語が6人、日本語が6人です。
- 確認質問は50、100、150、200セッション終了後の4つの時点で、それぞれ新しいセッションから行います。質問は計2,916問です。生成時に解消できなかった不備が残った質問と、メモリなしでも正解できた質問の計347問をすべての構成の採点対象から除外し、2,569問を採点しました。
- 測定ごとにテストセットを再構築するラウンド制を採用しています。測定結果の公開後にテストファイルが差し替えられていないことを事後に検証できるよう、測定前に r1 のテストファイルの SHA-256 ハッシュをコミットしています。
- KiokuBench Index v1 は8つのカテゴリの重み付き幾何平均です。「効率」のカテゴリのみ重みを2としています。0から100までの値をとり、高いほど優れています。
- Claude Code 2.1.311 は Sonnet 5.5 で、Codex は codex-cli 0.162.1 を gpt-5.6-terra で実行しました。各ペルソナは空の設定と空の HOME ディレクトリで実行しています。sepiace の構成ではプラグイン 0.2.1 をインストールし、MCP サーバーのみをベンチマーク用の sepiace に差し替え、Claude Code の自動メモリと Codex のデフォルトメモリを無効化しました。採点モデルは openai/gpt-6-luna です。
メモリシステムとエージェント別の結果
KiokuBench Index v1 の結果です。どちらのエージェントでも、sepiace を接続した構成が最高スコアを記録しました。緑色のセルは同じエージェント列における最高値を示します。
| メモリシステム | Claude Code | Codex |
|---|---|---|
| KiokuBench Index v1 | ||
| デフォルトメモリ*1 | 18.9 | 11.4 |
| sepiace | 60.6 | 66.1 |
| メモリなし | 12.1 | 12.1 |
- *1 Codex は対話セッションからのみ記憶を作成するため、デフォルトメモリの構成だけは Codex を CLI の対話画面で動かし、2026年10月28日から29日に測定しました。Codex はセッションの終了後にバックグラウンドで記憶を作成するため、10セッションごとと各確認の前に時計を進め、記憶の作成が終わるのを待ちました。一部の会話は OpenAI の利用ポリシーの検査によって記憶の作成を断られ、Codex の動作のとおり記憶には含まれていません。以前に非対話モードの codex exec で実行した際は、記憶が1件も作成されませんでした。
カテゴリ別の結果
各スコアは0から100までの値をとり、高いほど優れています。緑色のセルは同じエージェント内の各列における最高値を示します。「効率」のカテゴリは、Codex のデフォルトメモリを除くすべての構成で100でした。
| 構成 | 覚える | 置き換える | 忘れる | 見分ける | 組み合わせる | 使う | 正直さ | 効率 |
|---|---|---|---|---|---|---|---|---|
| Claude Code | ||||||||
| デフォルトメモリ | 2.4 | 4.5 | 4.7 | 79.4 | 0.0 | 78.2 | 96.3 | 100.0 |
| sepiace | 51.5 | 23.2 | 51.2 | 80.7 | 31.3 | 80.1 | 89.6 | 100.0 |
| メモリなし | 0.0 | 0.0 | 0.0 | 78.0 | 0.0 | 76.7 | 95.0 | 100.0 |
| Codex | ||||||||
| デフォルトメモリ | 9.6 | 3.7 | 7.0 | 71.3 | 1.6 | 77.5 | 92.5 | 4.0 |
| sepiace | 67.9 | 31.1 | 46.6 | 70.1 | 48.9 | 82.4 | 86.0 | 100.0 |
| カテゴリ | 評価内容 |
|---|---|
| 覚える | 数値、綴り、条件などの細部を、言い換えたり類似の情報と混同したりせずに保持できているか。 |
| 置き換える | 変化した事柄を新しい事実として更新し、古い内容を現在の事実として残していないか。 |
| 忘れる | 忘却を依頼された内容を確実に忘れ、無関係な記憶まで誤って消去していないか。 |
| 見分ける | 冗談、仮定の話、伝聞、パスワードなどの機密情報を事実として記憶していないか。 |
| 組み合わせる | 複数セッションにまたがる記憶を結びつけ、経緯の追跡、集計、順序の整理ができるか。 |
| 使う | 明示的に指示されなくても記憶を活用し、無関係な場面では個人の事実を持ち出さないか。 |
| 正直さ | 一度も言及されていない事柄を尋ねられた際、作り話をせず「分からない」と回答できるか。 |
| 効率 | 確認質問1問あたりに記憶から追加されるトークン数と、会話の取り込み時に記憶へ書き込まれるテキスト量が上限内に収まっているか。重みは2です。 |
固定戦略のベースライン
ベンチマーク側で、固定の戦略によって回答する3種類のベースラインを実行しました。すべてのベースラインの Index が40未満であることをラウンド確定の条件としています。r1 では3種類すべてが22.0以下でした。
| 戦略 | Index |
|---|---|
| メモリシステムを使用しない戦略 | |
| 常に「分からない」と回答する | 12.1 |
| 常に何らかの回答を返す | 15.2 |
| 直近の約4,000トークン分の会話のみを参照して回答する | 22.0 |
結果から分かること
- sepiace を接続することで、Claude Code はデフォルトメモリの18.9から60.6へ、Codex はデフォルトメモリの11.4から66.1へとスコアが向上しました。
- Codex のデフォルトメモリは11.4で、メモリなしの12.1を下回りました。確認質問の正答率は35.8%で、メモリなしの32.1%をわずかに上回りました。しかし1人あたり約20万トークンの記憶を書き込み、「効率」のカテゴリの上限である8,000トークンの約25倍となったため、「効率」は4.0でした。
- それでも満点には遠く、「置き換える」のカテゴリは23から31、「組み合わせる」のカテゴリは31から49にとどまりました。sepiace を含め、どのメモリシステムにも大きな改善の余地があります。
- 固定戦略のベースラインはいずれも22.0以下でした。直近の約4,000トークンのみを参照する戦略はメモリなしの12.1を上回りましたが、sepiace の60.6および66.1には及びませんでした。
- Claude Code + sepiace における確認質問の正答率は、4つの時点ごとに65%、61%、58%、59%でした。会話が長くなるにつれて正答率は低下する傾向があります。
- sepiace では、確認質問1問あたりに記憶から追加されたトークン数は70から80トークン程度であり、「効率」のカテゴリの上限である4,000トークンを大幅に下回りました。Codex のデフォルトメモリでは約2,700トークンでした。
- 「見分ける」と「正直さ」のカテゴリは、メモリなしでも高いスコアが出ます。何も記憶しないシステムは誤った発言や機密情報を記憶することがなく、未知の事柄について作り話をすることも少ないためです。Claude Code の「正直さ」は、メモリなしの95.0に対して sepiace 接続時は89.6と低くなりました。これら2つのカテゴリはほかのカテゴリとあわせて評価してください。
限界
- KiokuBench は sepiace を開発しているチームが設計および測定を行いました。
- 12人のペルソナを1回測定した結果です。v0.1 の10人での測定から推定したばらつきでは、総合スコアが前後5ポイント程度変動し得ます。数ポイントしか差がない構成の間で順位をつけないでください。
- 採点モデルは GPT-6 Luna の1種類のみで、ペルソナと会話の生成にも同一モデルを使用しました。人間による採点との照合はまだ実施していません。
- Mem0、Supermemory、ByteRover、TencentDB については、エージェント経由の構成ではまだ測定していません。本ラウンドで比較したのは sepiace、各エージェントのデフォルトメモリ、メモリなしの3つのみです。