Okaasanのテスト方法

公開前に、実際の日本の食品表示とメニューでOkaasanを動かし、すべての回答を表示の内容と照らし合わせました。その結果と、結果から言えないことをお伝えします。

Okaasan Proを始める

テスト結果

2026年11月に、アプリと同じAI、同じセーフティネットで測定しました。

  • 1,500+

    回の実際のスキャン(食品表示とメニュー)を、公開前にテスト

  • 115

    点の実際の日本の商品を、それぞれ3回テスト

  • 389

    件のAIの危険な誤りをOkaasanのセーフティネットが阻止。残りは0件

  • 99%

    の料理を発見。実際の飲食店メニュー15枚で、475品中471品

AIが読み、Mother’s Checkが見落としを拾う。

Okaasanは、AIで食品表示を読んだあと、お母さんが宿題を見るように、その答えをひとつ残らず確かめます。それがMother’s Check(お母さんチェック)、Okaasanのセーフティネットです。同じ115点の表示を、セーフティネットなしのOkaasanのAIにも渡し、ChatGPT、Claude、Geminiと同じ質問をしました。するとえびせんと魚のすり身をベジタリアン向けとし、魚醤入りのギョーザを魚介類なしと答え、表示に印刷された19件のアレルギー注意書きを見落としました。セーフティネットがあることで、Okaasanの信頼性は49倍になります。

40

件の危険な誤り:セーフティネットなしのOkaasanのAI、115点の表示で

0

件:セーフティネットあり

セーフティネットの中身

  • 15

    回にわたる、実際の日本の食品表示でのテスト。毎回、修正して再テスト

  • 数百

    語の日本語の原材料名をコードでチェック:隠れた豚、ゼラチン、しょうゆやみそのアルコール、魚のだし

  • 2

    回、商品の表示をすべて読む。2回目は細かい文字、製造工場の注意書き、アレルゲンの枠だけ

  • 4

    つの言語でアレルギーを照合:英語、フランス語、中国語、日本語

  • 0

    点:原材料表示を確認できないまま「問題なし」とした商品

  • 298

    件の自動チェックをリリースのたびに実行。うち79件は食事制限とアレルギーの安全性

テストの流れ

  1. 正解を先に決める

    商品ごとに表示を原材料ひとつずつ読み、スキャンする前に、すべての食事制限と原材料について正解を書き出します。

  2. Okaasanが写真をスキャン

    アプリと同じAI、同じセーフティネットで、1商品につき3回。AIはいつも同じ答えを返すとは限らないからです。

  3. すべての回答を照合

    AIだけの回答と、Okaasanのセーフティネットを通したあとの回答(画面に表示されるもの)を、それぞれ照合します。誤りは修正につなげ、その修正はすべての商品で再テストします。

危険な誤りとは

表示ではそうでないのに「問題なし」とされた商品のことです。ハラール、ヴィーガンやベジタリアン、グルテンフリー、または豚・乳・大豆・魚介類・アルコール・カフェインを含まない、という判定が対象です。人を傷つけかねない誤りです。115点の商品を345回スキャンして、AIだけでは389件。Okaasanのセーフティネットを通したあとは0件でした。

ひっかけの例

  • せんべいに入ったかつお(魚)。表示は上下逆さまに撮影
  • 生パスタのボロネーゼで、アレルゲンのかっこ内にだけ書かれた豚肉
  • りんごヨーグルトのゼラチン(多くは豚や牛由来)
  • 米みその酒精(添加されたアルコール)

ChatGPTの70倍、Geminiの57倍、Claudeの35倍の信頼性

2026年11月、同じ115点の表示を、有料プランのChatGPT(GPT-6.1)とClaude(Opus 5.5)、無料アプリのGemini(Auto)に渡し、すべての商品で食事制限と原材料について同じ質問をしました。回答はOkaasanと同じ正解に照らして、同じ方法で採点しています。

同じ115点の実際の日本の食品表示で比べたOkaasan、OkaasanのAI(単独)、ChatGPT、Claude、Gemini(2026年11月)
OkaasanセーフティネットありOkaasanのAI(単独)セーフティネットなしChatGPTGPT-6.1ClaudeOpus 5.5Gemini無料アプリ
危険な誤り表示と食い違うのに「問題なし」とした040えびせんをベジタリアン向けと判定3魚入りのせんべいをヴィーガン向けと判定21表示のアレルギー注意書きを見落とし50豚のスープを使ったラーメンを豚不使用と判定
表示に答えがあるのに「不明」500回に1回未満20回に1回8回に1回22回に1回26回に1回
Okaasanのほうが信頼できる倍率基準49倍70倍35倍57倍

2026年11月に、同じ115点の実際の日本の食品表示で、すべて同じ質問をしてテストしました。ChatGPTとClaudeは有料モデル、Geminiは無料アプリです。信頼できない回答とは、誤った回答、または表示に答えがあるのに「不明」とした回答のことです。しょうゆに含まれるアルコールのように、アプリによって基準が異なる点は誤りに数えていません。

ChatGPTは慎重でしたが、「わからない」と答えることがよくありました。Claudeは原材料表示をすべて正しく読みましたが、製造工場の注意書きにあるアレルゲンについて「含まない」と21回答えました。HARIBOの3袋にある乳がその例です。Geminiは豚のスープを使ったインスタントラーメンを「豚不使用」、ゼラチン入りのHARIBOを「ベジタリアン向け」としました。Okaasanは製造工場の注意書きにあるアレルゲンを分けて示し、「含まない」と表示することはありません。

モデル単体で比べると、ChatGPTやClaudeのモデルはOkaasanのAIより誤りが少なめです。それでもOkaasanのほうが信頼できるのは、すべての回答を、表示する前に日本語の原材料表示と照らし合わせるセーフティネットがあるからです。

飲食店のメニュー

印刷、手書き、筆書きの実際のメニュー15枚で、475品中471品の料理を見つけ、15件の価格はすべて正しく読み取りました。メニューにあるのは料理名で、レシピではありません。そのため料理ごとの食事制限の判定は、根拠のある推測です。アレルゲンはお店の人に確認してください。

このテストで証明できないこと

  • Okaasanが絶対に間違えないこと

    115点の商品はひっかけを含むものを選んでいるため、日本の食品を無作為に選んだサンプルではありません。破れたりしわになったりした表示や、ぼやけた写真では、まだ間違えることがあります。

  • 商品がアレルギーのある人にとって安全であること

    Okaasanが読むのは表示に印刷されていることだけで、書かれていないことはわかりません。アレルゲンは必ずパッケージで、飲食店ではお店の人に確認してください。

  • 現在のChatGPT、Claude、Geminiの実力

    それぞれ2026年11月に、テスト用に書いた正確な質問で、1商品につき1回ずつ答えています。ChatGPTとClaudeは有料モデルでそれぞれ1つのチャット、Geminiは無料アプリです。これらのアプリはよく変わりますし、利用者が自分の言葉で質問した場合はテストしていません。

次にコンビニに行くときは、迷わず選べます。