sepiace と Claude Code の純正メモリ

実際に使う形での違いを示すため、純正のメモリだけの Claude Code と、sepiace をつないだ Claude Code に、同じ人物と会話を渡し、同じ確認の質問をしました。

結果

10人の合計
指標Claude Code 標準Claude Code + sepiace
答えと記憶
質問に正しく答えた割合75%96%
記憶に残った事実76%99%
事実が変わったあとに古い版が残った割合27%5%
忘れてと頼んだのに残った割合3%0%
どの事実にも当たらない記憶の文41%4%
事実の文字数に対する記憶の量3.5×1.3×
KiokuBench Index78.096.1
トークンと費用
30回分の会話を取り込む入力トークン（1人）3,326,0003,379,000
30回分の会話を取り込む出力トークン（1人）66,80040,200
30回分の会話を取り込む費用（1人）$5.91$4.00
質問1問の入力トークン18,30050,600

言語ごとの、質問に正しく答えた割合

言語ごとの、質問に正しく答えた割合
指標Claude Code 標準Claude Code + sepiace
言語ごと
英語79%97%
日本語71%96%

比べ方

  • Claude Code 2.1.296 を、Sonnet 5.5 で動かしました。
  • 人物ごとに、空の Claude Code の設定、ホームフォルダ、作業フォルダを用意し、手元の設定、CLAUDE.md、記憶、plugin を読ませていません。
  • 会話そのままの経路から利用者の発言だけを、会話のセッションごとに1つの Claude Code のセッションとして渡し、応答は Claude Code が自分で返しました。セッションの始めの発言には、そのセッションの日付を添えました。
  • 純正メモリ: Claude Code の自動メモリだけを使いました。記憶の指標は、自動メモリのファイルで測りました。
  • sepiace: 自動メモリを切り、sepiace の plugin 0.2.1 を入れ、本番と同じ MCP の定義を持つ手元の sepiace につなぎました。
  • 確認の質問は、会話のあとの状態を写した新しいセッションで1問ずつ聞き、Claude Code 自身の答えを GPT-6 Luna が判定しました。

使ったデータと採点、KiokuBench について

注意

  • 費用は、サブスクで流した使用量を API の値段に直した目安です。sepiace 自身の判定の費用は、合わせて $0.21 でした。
  • sepiace をつなぐと、質問1問で読む入力トークンは、plugin の案内と MCP のツールの説明の分だけ約2.8倍になります。ほとんどはプロンプトのキャッシュに当たります。1問の費用はキャッシュの当たり方で大きく変わるので、比べていません。
  • 保存の対象を好み、決めたこと、訂正だけと案内していた plugin 0.2.0 では、2人で測ったところ、sepiace への保存は1人5〜7回で、質問に正しく答えた割合は30%でした。0.2.1 では、利用者が話した本人や身近な人の事実を保存するよう案内しています。
  • 最初の測定では、試験環境の埋め込みのサービスのトークンが途中で切れ、英語の2人（en-301 と en-302）で会話の後半の保存がすべて失敗しました。環境を直してこの2人を流し直し、ここではその結果を載せています。
  • 10人で1回だけ測った結果です。