我们如何测试Okaasan

上线前,我们用真实的日本标签和菜单运行Okaasan,并将每个回答与标签内容逐一核对。以下是结果,以及它们无法证明的事。

获取 Okaasan Pro

测试结果

2026年11月测得,使用与应用相同的AI和安全网。

  • 1,500+

    次真实标签与菜单扫描,在上线前完成测试

  • 115

    款真实日本产品,每款测试3次

  • 389

    个AI危险错误被Okaasan的安全网拦截,剩余0个

  • 99%

    的菜品被找到(15份真实餐厅菜单,475道中找到471道)

AI负责读,「妈妈核查」负责把关。

Okaasan用AI读取标签,然后像妈妈检查作业一样核对每个回答:这就是「妈妈核查」,Okaasan的安全网。我们把同样的115张标签交给不加安全网的Okaasan的AI,提出与ChatGPT、Claude和Gemini相同的问题。它把虾片和鱼糕说成素食,说含鱼露的饺子不含海鲜,还漏看了标签上印着的19条过敏提示。有了安全网,Okaasan可靠了49倍。

40

个危险错误:不加安全网的Okaasan的AI,115张标签

0

个:加上安全网

安全网由什么构成

  • 15

    轮真实日本标签测试,每轮之后都修正并重新测试

  • 数百

    个日文成分词在我们的代码中核查:隐藏的猪肉、明胶、酱油和味噌中的酒精、鱼汤

  • 2

    次读取每张产品标签:第二次专门读小字,即工厂提示和过敏原栏

  • 4

    种语言识别您的过敏原:英语、法语、中文和日语

  • 0

    款没有可核对成分表的产品被标为可以

  • 298

    项自动检查在每次发布前运行,其中79项针对饮食与过敏安全

测试如何进行

  1. 先写下正确答案

    对每款产品,我们逐个成分阅读标签,在任何扫描之前写下每项饮食和成分的预期答案。

  2. Okaasan扫描照片

    使用与应用中相同的AI和安全网,每款产品扫描3次,因为AI的回答并不总是一样。

  3. 逐一比对每个回答

    一次是AI单独的回答,一次是经过Okaasan安全网后的结果,也就是您看到的内容。发现错误就修正,修正后再在所有产品上重新测试。

什么算危险错误

标签显示不可以,产品却被标为可以:清真、纯素或素食、无麸质,或不含猪肉、奶、大豆、海鲜、酒精或咖啡因。这是可能伤害人的错误。在这115款产品的345次扫描中,仅靠AI出现了389个;经过Okaasan的安全网后:0个。

部分陷阱

  • 米饼中的かつお(鲣鱼),标签照片是倒着拍的
  • 豚肉(猪肉)只写在一款博洛尼亚肉酱鲜意面的过敏原括号里
  • 苹果酸奶中的ゼラチン(明胶)
  • 米味噌中的酒精(添加的酒精)

比ChatGPT可靠70倍,比Gemini可靠57倍,比Claude可靠35倍

2026年11月,我们向付费方案的ChatGPT(GPT-6.1)和Claude(Opus 5.5),以及免费应用中的Gemini(Auto),提供了同样的115张标签,对每款产品提出同样的饮食与成分问题。它们的回答与Okaasan一样,按同样的预期答案评分。

Okaasan、Okaasan的AI(单独)、ChatGPT、Claude与Gemini在同样115张真实日本标签上的结果,2026年11月
Okaasan含安全网Okaasan的AI(单独)不含安全网ChatGPTGPT-6.1ClaudeOpus 5.5Gemini免费应用
危险错误标签显示不可以,却说可以040把虾片说成素食3把含鱼的米饼说成纯素21漏看标签上的过敏提示50把猪骨汤拉面说成不含猪肉
标签已给出答案,却回答“不确定”不到1/5001/201/81/221/26
Okaasan更可靠参照49倍70倍35倍57倍

2026年11月测试,使用同样的115张真实日本标签,并向每个对象提出同样的问题:ChatGPT和Claude使用付费模型,Gemini使用免费应用。不可靠的回答指错误的回答,或标签已给出答案却回答“不确定”。各应用之间不同的规则(例如酱油中的酒精)不计入它们的错误。

ChatGPT很谨慎,但常常给不出答案。Claude正确读出了每份成分表,却有21次对标签工厂提示中列出的过敏原回答“不含”,例如三包HARIBO软糖上的奶。Gemini把一款猪骨汤方便面说成不含猪肉,把含明胶的HARIBO说成素食。Okaasan会单独列出工厂提示中的过敏原,绝不会显示为不含。

单论模型本身,ChatGPT和Claude的模型比Okaasan的AI出错更少。Okaasan更可靠,是因为它的安全网会在您看到结果之前,把每个回答与日文成分表逐一比对。

餐厅菜单

在15份真实菜单(印刷、手写和毛笔字)上,475道菜中找到了471道,15个价格全部读对。菜单只写菜名、不写配方,所以菜品的饮食标识是有依据的推测:请向店员确认过敏原。

这些测试无法证明什么

  • Okaasan从不出错

    这115款产品是因其陷阱而挑选的,并非日本食品的随机样本。撕破或起皱的标签、模糊的照片,仍可能让它出错。

  • 某款产品对您的过敏是安全的

    Okaasan读取的是标签上印出的内容,而不是标签没写的内容。请务必在包装上核对过敏原,在餐厅请向店员确认。

  • ChatGPT、Claude和Gemini现在的表现

    2026年11月,它们对每款产品各回答一次,使用为测试专门写的精确问题:ChatGPT和Claude使用付费模型,各在一个对话中作答,Gemini使用免费应用。这些应用经常更新,而且我们没有测试旅行者用自己的话提问的情况。

下次走进便利店,您就知道自己买的是什么。