KiokuBench v0.1
KiokuBench は、メモリシステムが何を記憶し、何を置き換え、何を忘れたかを、保存された記憶そのものと正解データを照合して測定するベンチマークです。Kioku は日本語の「記憶」を意味します。
LoCoMo や LongMemEval のように読み出しの正答率のみを評価すると、あらゆる情報を無差別に保存するシステムが高得点になってしまいます。KiokuBench では、更新前の古い内容の残存、忘却依頼の取りこぼし、ノイズ、言語の一致、データサイズといった記憶の中身も検証します。
これは KiokuBench の前のバージョンである v0.1 です。v1 とは問題も測定方法も異なるため、スコアは v1 と比較できません。
sepiace は2026年10月14日時点、その他のシステムは2026年9月30日時点の結果です。Supermemory は2026年9月27日から28日にかけて API 経由で測定しました。オープンソース版の Mem0 は9月29日に、ByteRover は9月30日にローカル環境で実行して測定しました。
KiokuBench Index
KiokuBench Index は8つの指標を4つのカテゴリに分類し、0から100までの単一のスコアに統合した指標です。高いほど優れています。以下の表は、生の会話をそのまま渡す構成における10人のペルソナの合計から算出しました。緑色のセルは同じ構成の中での最高値を示します。
- sepiace96.1sepiaceIndex: 96.1覚える: 98.7置き換える: 98.0忘れる: 100.0整える: 88.3
- Supermemory58.9SupermemoryIndex: 58.9覚える: 95.3置き換える: 95.0忘れる: 22.0整える: 60.5
- ByteRover39.2ByteRoverIndex: 39.2覚える: 72.3置き換える: 19.0忘れる: 62.0整える: 27.7
- Mem08.5Mem0Index: 8.5覚える: 96.3置き換える: 0.0忘れる: 0.0整える: 55.0
- 全部保存8.0全部保存Index: 8.0覚える: 99.0置き換える: 0.0忘れる: 0.0整える: 41.7
棒グラフにカーソルを合わせるかフォーカスすると、4つのカテゴリの内訳が表示されます。灰色の棒は参考として掲載した「全部保存」のベースラインです。
| システム | Index | 覚える | 置き換える | 忘れる | 整える |
|---|---|---|---|---|---|
| 会話そのまま | |||||
| sepiace | 96.1 | 98.7 | 98.0 | 100.0 | 88.3 |
| Supermemory | 58.9 | 95.3 | 95.0 | 22.0 | 60.5 |
| Mem0 | 8.5 | 96.3 | 0.0 | 0.0 | 55.0 |
| ByteRover | 39.2 | 72.3 | 19.0 | 62.0 | 27.7 |
| ベースライン | |||||
| 全部保存 | 8.0 | 99.0 | 0.0 | 0.0 | 41.7 |
算出方法
8つの各指標を高いほど良い0から1の値に変換したうえで、4つのカテゴリに集計します。
| カテゴリ | 構成要素 |
|---|---|
| 覚える | 再現率、更新の反映、確認質問の平均 |
| 置き換える | 1 − 古い内容の残存 |
| 忘れる | 1 − 忘却違反 |
| 整える | 1 − ノイズ率、1 − 言語の不一致、1 ÷ 圧縮率の平均。圧縮率が1未満の場合は1として計算します。 |
0.01未満のカテゴリは0.01に引き上げたうえで、4つのカテゴリの幾何平均に100を掛けます。
幾何平均を用いることで、1つでも機能しないカテゴリがあるとスコアが大きく低下するようにしています。記憶するだけで忘却できないシステムも、忘却するだけで記憶できないシステムも、長期記憶としては機能しないためです。0.01の下限は、1つのカテゴリが0になった際にほかのカテゴリの差が完全に消えてしまうのを防ぐために設けています。
全8指標の個別スコアは以下の結果表に掲載しています。
結果
10人のペルソナの合計です。緑色のセルは同じ構成の中での最良値を示します。
| 構成 | 再現率 | 更新の 反映 | 古い内容の 残存 | 忘却 違反 | ノイズ率 | 言語の 不一致 | 確認 質問 | 圧縮率 |
|---|---|---|---|---|---|---|---|---|
| 会話そのまま | ||||||||
| sepiace | 99% | 100% | 2% | 0% | 12% | 0% | 97% | 1.30 |
| Supermemory | 98% | 100% | 5% | 78% | 20% | 42% | 88% | 2.30 |
| Mem0 | 100% | 100% | 100% | 100% | 47% | 9% | 89% | 4.78 |
| ByteRover | 85% | 95% | 81% | 38% | 70% | 49% | 37% | 49.66 |
| 依頼文 | ||||||||
| sepiace | 99% | 99% | 13% | 0% | 0% | 0% | 96% | 1.03 |
| Supermemory*1 | 83% | 78% | 35% | 65% | 18% | 42% | 82% | 2.06 |
| Supermemory*2 | 90% | 83% | 46% | 2% | 8% | 42% | 77% | 1.80 |
| Mem0*1 | 100% | 99% | 100% | 100% | 2% | 1% | 88% | 1.79 |
| ByteRover*1 | 93% | 97% | 83% | 25% | 40% | 45% | 34% | 27.92 |
| 変更の明示あり | ||||||||
| sepiace | 99% | 99% | 25% | 0% | 0% | 0% | 94% | 1.15 |
| Supermemory*1 | 92% | 90% | 11% | 40% | 12% | 44% | 89% | 1.95 |
| Mem0*1 | 100% | 100% | 100% | 100% | 2% | 2% | 91% | 1.80 |
| ByteRover*1 | 96% | 99% | 91% | 20% | 38% | 39% | 33% | 28.22 |
| ベースライン | ||||||||
| 全部保存 | 100% | 100% | 100% | 100% | 83% | 0% | 97% | 12.30 |
- *1 振り分けなし。忘却依頼もほかの依頼と同様に送信し、システム自身に操作を判断させます。sepiace と同一の条件です。
- *2 振り分けあり。忘却依頼のみを Supermemory の forget-matching エンドポイントへ送信します。
「全部保存」のベースラインはすべての発言をそのまま保持し、確認質問の際には埋め込みベクトルが近い発言から順に文脈の上限まで渡します。
言語別の結果
| 構成 | 再現率 | 更新の 反映 | 古い内容の 残存 | 忘却 違反 | ノイズ率 | 言語の 不一致 | 確認 質問 |
|---|---|---|---|---|---|---|---|
| 会話そのまま(英語) | |||||||
| sepiace | 100% | 100% | 2% | 0% | 9% | 0% | 98% |
| Supermemory | 100% | 100% | 4% | 70% | 15% | 0% | 89% |
| Mem0 | 100% | 100% | 100% | 100% | 44% | 0% | 90% |
| ByteRover | 83% | 96% | 74% | 35% | 69% | 0% | 61% |
| 会話そのまま(日本語) | |||||||
| sepiace | 98% | 100% | 2% | 0% | 15% | 0% | 96% |
| Supermemory | 97% | 100% | 6% | 85% | 25% | 79% | 87% |
| Mem0 | 100% | 100% | 100% | 100% | 50% | 17% | 87% |
| ByteRover | 87% | 94% | 88% | 40% | 70% | 87% | 13% |
| 依頼文(英語) | |||||||
| sepiace | 99% | 98% | 14% | 0% | 0% | 0% | 94% |
| Supermemory*1 | 68% | 58% | 30% | 60% | 30% | 0% | 86% |
| Mem0*1 | 99% | 98% | 100% | 100% | 2% | 0% | 88% |
| ByteRover*1 | 97% | 100% | 82% | 20% | 36% | 0% | 54% |
| 依頼文(日本語) | |||||||
| sepiace | 100% | 100% | 12% | 0% | 1% | 0% | 97% |
| Supermemory*1 | 98% | 98% | 40% | 70% | 7% | 81% | 77% |
| Mem0*1 | 100% | 100% | 100% | 100% | 3% | 3% | 88% |
| ByteRover*1 | 90% | 94% | 84% | 30% | 43% | 80% | 14% |
| 変更の明示あり(英語) | |||||||
| sepiace | 99% | 100% | 10% | 0% | 0% | 0% | 95% |
| Supermemory*1 | 87% | 84% | 2% | 15% | 20% | 0% | 95% |
| Mem0*1 | 100% | 100% | 100% | 100% | 0% | 0% | 91% |
| ByteRover*1 | 94% | 100% | 90% | 10% | 35% | 0% | 51% |
| 変更の明示あり(日本語) | |||||||
| sepiace | 99% | 98% | 40% | 0% | 1% | 0% | 93% |
| Supermemory*1 | 98% | 96% | 20% | 65% | 5% | 84% | 83% |
| Mem0*1 | 100% | 100% | 100% | 100% | 3% | 5% | 92% |
| ByteRover*1 | 97% | 98% | 92% | 30% | 41% | 77% | 15% |
結果から分かること
- 3つの構成すべてにおいて、sepiace は忘却違反、ノイズ率、言語の不一致が最も低く、確認質問の正答率が最も高くなりました。唯一の例外は変更の明示がある構成における古い内容の残存率で、Supermemory のほうが低い値となりました。
- 同じ構成における sepiace の古い内容の残存率は全体で25%、日本語では40%でした。以前の測定を確認すると、該当した22件のうち17件は事実の一部のみが変化したケースでした。たとえば「毎週火曜日の18時に市民プールで泳いでいる」という事実のあとに「水泳の時間を18時から18時30分に変更した」と伝えた場合、新しい文は時刻にしか言及していないため、古い文を削除すると市民プールという情報が失われます。sepiace は記憶の本文を書き換えないため、両方の文を保持します。
- Mem0 は古い内容と忘却依頼の対象をすべて残し、すべての構成で両方とも100%となりました。これは Mem0 2.2.1 の設計どおりの挙動です。add の呼び出しは新しい記憶を追記するのみで、既存の記憶の書き換えや削除を行わないため、何も失われない代わりに再現率は100%近くになります。忘却依頼の文そのものも、忘れるべき内容を再記述した新しい記憶として保存されました。
- ByteRover は Mem0 と異なり記憶の書き換えと削除を行いますが、忘却違反が20%から38%残り、変化した事実の81%から91%でファイルの変更履歴に古い内容が残りました。また、日本語の会話をほぼすべて英語で記憶し、単語ベースの検索を行うため、日本語の確認質問の多くで該当する記憶を検索できませんでした。
- Supermemory は日本語の入力の約80%を英語の記憶として保存しました。
- 同一の LLM である openai/gpt-6-luna を用いた場合の取り込みコストは、ByteRover が LLM 呼び出し9,034回で $8.11 であり、記憶リクエスト1回あたり約6.6回呼び出していました。Mem0 は1,377回の呼び出しで $0.36 でした。
指標
| 指標 | 意味 | 望ましい方向 |
|---|---|---|
| 再現率 | 最終時点で有効な事実のうち、記憶に保持されている割合 | 高いほど良い |
| 更新の反映 | 変化した事実のうち、更新後の内容が記憶に保持されている割合 | 高いほど良い |
| 古い内容の残存 | 変化した事実のうち、更新前の古い内容も記憶に残っている割合 | 低いほど良い |
| 忘却違反 | 忘却を依頼された内容のうち、依然として記憶に残っている割合 | 低いほど良い |
| ノイズ率 | 記憶内の文のうち、正解データのどの事実にも該当しない割合 | 低いほど良い |
| 言語の不一致 | 記憶内の文のうち、会話と異なる言語で記述された割合 | 低いほど良い |
| 確認質問 | 記憶から構築した約1,000トークンの文脈をもとに、回答モデルが確認質問に正解した割合 | 高いほど良い |
| 圧縮率 | 記憶の文字数を正解データの事実の文字数で割った値。1に近いほど冗長性が低いことを示す | 1に近いほど良い |
構成
データの入力方法は3種類あります。
- 会話そのまま。会話をそのまま渡し、何を保持するかはメモリシステムに委ねます。sepiace には1発言ずつ、Supermemory には1セッションを1つのドキュメントとして、Mem0 には1セッションの発言一覧を1回の add 呼び出しで、ByteRover には1セッションを1回の curate 呼び出しで渡します。
- 依頼文。正解データから作成した記憶依頼と忘却依頼を渡します。変化した事実については変化後の新しい事実のみを記憶依頼として渡し、変化したという事実は伝えません。
- 変更の明示あり。依頼文と同様ですが、変更の依頼において事実が A から B に変化したことを明示します。
依頼文の構成では、忘却依頼も通常の依頼と同様に送信し、各システム自身に操作を判断させます。これは全システム共通の条件です。Supermemory については、忘却依頼のみを専用の forget-matching エンドポイントへ送り、操作種別をベンチマーク側から教える構成もあわせて測定しました。
データセット v0.1
- ペルソナは計10人で、英語が5人、日本語が5人です。
- 各ペルソナには40件の事実からなる正解データがあり、そのうち2人は39件です。正解データから生成した30セッション分の会話と、事実1件につき1問の確認質問が含まれます。
- 事実のうち10件は途中で内容が変化し、4件はユーザーから忘却を依頼されます。
- 正解データ、会話、確認質問は OpenRouter 上の openai/gpt-6-luna で生成しました。
- 会話が正解データに従っているかを採点モデルで検証したところ、正解データにない事実が1件、事実の一部のみを忘却する依頼が2件見つかりました。人間によるレビューはまだ実施していません。
測定条件
- 採点モデルと回答モデルは、いずれも OpenRouter 上の openai/gpt-6-luna です。
- sepiace は2026年10月14日時点のコードで測定しました。
- Supermemory の取り込みでは dreaming を instant に設定しました。デフォルトの dynamic は取り込みが停止してから約10分後にまとめて記憶を構築する方式であり、会話ごとに待機すると1ペルソナあたり5時間を超えるためです。
- Supermemory の forget-matching はデフォルト設定のまま使用しました。
- Supermemory の検索には、Supermemory 自身が MemoryBench で使用している hybrid 検索、しきい値0.3、取得件数30件の設定を用いました。
- Mem0 はオープンソースの mem0ai 2.2.1 をローカル環境で実行しました。内部 LLM は openai/gpt-6-luna、埋め込みモデルは sepiace と同一の BAAI/bge-m3、保存先はローカルの Qdrant です。オプションの追加パッケージを含めない標準インストールのため、検索は埋め込みのみを使用しています。取得件数は30件、しきい値は Mem0 のデフォルトである0.1です。
- ByteRover は Elastic License 2.0 の byterover-cli 3.16.1 である brv コマンドを使用し、ByteRover アカウント、クラウド同期、ホスト型 LLM を用いずにローカル環境で実行しました。内部 LLM は openai/gpt-6-luna です。curate には日付を渡す引数がないため、各入力の先頭に日付を付与しました。記憶を整理する dream 処理は取り込み完了後にペルソナごとに1回実行しました。確認質問には brv query を使用し、他システムと同一の文脈トークン上限に収めました。
限界
- KiokuBench は sepiace を開発しているチームが設計および測定を行いました。依頼に応じた忘却や会話言語の保持など、sepiace が重視して設計した挙動を評価指標に含めているため、その前提を踏まえて結果を参照してください。他システムは「測定条件」に記載した設定で実行しました。
- 10人のペルソナを1回測定した結果です。判定には揺らぎがあるため、同一のコードでも測定ごとに数件の差が生じます。
- データセットの規模が小さく、人間による検証もまだ実施していません。より大規模な v1 を計画しています。