家計簿AIの誤答を494問中100回から5回に、答えが割れたら「わからない」と返す無料アプリ

開発会社Pulse Browserは米国時間10月13日、AIがパソコンの中だけで動くMac用の家計簿アプリ「Pulse Local」を開発者向け掲示板Hacker Newsで無料公開し、100ポイント超の注目を集めました。質問を2つのAIで別々に読み取り、答えが一致したときだけ金額を示し、割れたときは「自信がない」と返すのが特徴です。開発元の検証では、494問で誤答が100回から5回に減りました。

何を作ったか

Pulse Localは、銀行の明細を読み込ませて「先月の外食費はいくら」「この調子だと月末の残高はどうなる」といった質問に、チャットで答える家計簿アプリです。予算の計画、自動の分類ルール、割り勘、お金の出入りの見通しといった家計簿の基本機能もそろっています。

最大の売りは、家計のデータを外に出さないことです。AIは最初の起動時に一度だけダウンロードし、あとはMacの中だけで動きます。アカウント登録は不要で、利用状況の分析データや不具合の記録も送らないと説明しています。

作者のNiz氏はHacker Newsへの投稿で、お金のような人に見られたくない分野で、外部と通信せずに使える一般向けのアプリが少ないと感じたことが出発点だったと書いています。

どう作ったか

仕組みは「AIに計算させない」ことに尽きます。

1. 銀行のサイトから書き出した明細ファイル（CSV）を取り込む。どの銀行・どの通貨でもよいとしている
2. 質問は、中国Alibabaの小型AI「Qwen3」を家計の質問向けに追加学習させたAIが読み取り、「どの期間の・どの分類の・何を集計するか」という決まった形の問い合わせに直す
3. 実際の足し算や集計は、AIではなくアプリに組み込んだ普通のプログラムが明細に対して行う
4. 別の、少し大きいAIが同じ質問を読み直し、2つの読み取りが一致したときだけ金額を表示する。一致しなければ「自信がない」と答える

追加学習したAIはAI共有サイトHugging Faceで公開されています。必要なAIは合計約2.9GBで、うち2.5GBが確認役のAIです。確認役はオフにもできます。

成果と、引き換えにしたもの

開発元は、検証の経緯を詳しい記事にまとめています。AIに架空の家庭を作らせ、1家庭あたり210〜290件の明細と約55問の質問を用意し、正解はアプリとは別のプログラムで計算して突き合わせました。

直近3回の検証で確認役を外して測ると、494問中100問を間違えました。確認役を入れると誤答は5問に減り、実際に金額を表示した237問のうち間違いは5問でした。

ただし、代償もはっきり書かれています。正しく答えられた割合は約60%から54%・44%・43%に下がり、残りは「自信がない」に回りました。1回の答えにかかる時間も約0.1秒から12〜14秒に延びています。検証は9つの架空の家庭と1台のMacでのもので、2つのAIが同じ間違いをそろって出すこともあったと、限界も自ら認めています。途中で試した「AとBのどちらの意味ですか」と聞き返す方式は、間違いが別の形に移るだけだったといいます。

反応

Hacker Newsでは、外部と通信しないアプリを評価する声がある一方、使い勝手への指摘も目立ちました。

• 銀行ごとに明細を書き出して取り込むのは手間で、家計簿の習慣が続かない原因になるという意見
• 家計簿のために約3GBもダウンロードしたくない、聞きたいことはグラフや表で足りるという利用者の声
• 米国の銀行と自動でつなぐ有料オプション（年29ドル）は外部の接続サービスを通るため、そちらの情報漏えいの方が心配だという指摘
• 「通信しない」と開発者が言うだけでなく、OSの側でそれを保証できる仕組みが欲しいという声

AIに仕事を任せる例は古文書を読ませて記録にない災害を見つけた事例などでも紹介してきましたが、今回は「間違えるくらいなら答えない」という設計そのものが見どころです。

日本のビジネスへの影響

• 使えるか: アプリは無料で、Apple製チップを積んだMac向けのベータ版です。答えは英語だけで、WindowsとIntel製チップのMacには未対応です。明細の取り込みはCSVなので、日本の銀行やカードの明細を書き出せば試せる可能性はありますが、公式に動作が確認されているわけではありません。銀行と自動でつなぐ有料機能は米国の銀行向けです。
• 誰にどう効くか: このアプリそのものより、AIで数字を扱う社内ツールを作る企画担当者や経理・財務の担当者に参考になります。「計算はプログラム、AIは質問の読み取りだけ」「2つのAIが合わなければ答えない」という分担は、売上や経費の集計をAIに聞く仕組みでもそのまま使える考え方です。
• 今すぐやれること: 社内でAIに数字を答えさせている仕組みがあれば、正解のわかっている質問を50問ほど用意して、誤答の割合を測ってみます。5回に1回の誤答が出るなら、AIに計算まで任せていないか、確認の仕組みがあるかを見直す合図です。手元のパソコンで動くAIの選び方はローカルLLMのガイドにまとめています。
• 注意点: 「自信がない」を増やせば誤答は減りますが、答えられる割合も下がります。どちらを優先するかは用途次第で、お金や契約に関わる数字ほど誤答を減らす方を選ぶのが無難です。