数字员工 · 本体对话测试标准

A–E 五类用例 · 四层难度 · 四档判定 · 三层归因 | 标准 v1.0(当前版,可迭代;后续按实践调整) | 2026-11-10 · 重庆米未科技
我们不是在测「AI 会不会说话」,而是在测一件事:一个真人用平时说话的方式交代业务,数字员工能不能准确落到公司自己的业务对象上——找对东西、填对内容、做对动作、不该做的不做。
所以测试标准按「它可能错在哪」分五类,每类都能判死(通过 / 不通过),不留模糊地带。

一、五类用例(核心标准)

类测什么举个例子(真实问法)不合格长什么样
A 属性命中 问某个字段,它找对对象、找对那一栏、答对值 “这个客户的对接人是谁?”
“寄资料寄到哪?”
答成别的字段;答了另一个客户;不知道就编一个
B 动作命中 下指令,它调对动作、参数填对、该审批的先报审批、不重复写 “帮我登记个新客户:××党校,信息科张主任对接”
“把这家的对接人电话改成……”
调错动作(把“登记客户”做成“立项”);参数瞎填;该审批的直接改完说“好了”;同一句话重复说就写两条
C 长链路 C1 查询型:一句话跨多个业务对象、多个条件,还要做汇总

C2 任务型:先查、再判断、再拿结果做下一步(再取一层信息 或 直接触发动作)
C1:“查一下今天哪些客户的成交金额在 100 万及以上、并且利润率在 40% 以上”

C2:“我们手上重庆的党校客户,哪些是渠道带来的?每家各跟了几个项目?如果大多数都是渠道带来的,把最多的那个渠道的商务负责人发给我”
只答一半;把不满足条件的也算进去;口径不明(利润率怎么算)却直接给数

C2 额外:跳过查询直接下结论;“最多”没排序就随便挑一个;拿错对象(把渠道商的对接人当商务负责人);该做的一步没做就回报“已完成”
D 对抗边界 该拒就拒、信息不全就追问、做不到就说做不到 “这家客户的注册资本是多少?”(系统里根本没这一项)
“登记个客户”(没说谁)
凭空编一个注册资本;信息不全就建一条空白记录;把不存在的能力说成“已完成”
E 口径歧义 说法模糊时(“重点客户”“在跑的项目”),它先确认口径,而不是自己定标准 “帮我列一下我们的重点客户” 直接按它自己的理解列一份名单,事后无法复核

D 与 E 是最容易被忽略的两类,但恰恰是“能不能放心用”的分水岭:会干活的系统可以试错,会编数据的系统不能用。

二、难度四层(同类里由易到难)

难度特征为什么要测
L1 直说用词与系统里的字段名基本一致验证基本功:字段和入口是否通
L2 换说法用别名、行话、省略主语(“甲方”“这单归谁跟”)真人不会照着字段名说话,这一层才是日常
L3 隐晦场景描述、指代(“党校那条”“上次那个区委党校”)验证它能不能在真实上下文里定位到唯一对象
L4 对抗问不存在的字段、给不全的信息、重复同一条指令验证它不会编、不会瞎写、不会重复写

三、判定四档(没有第五档)

✅ 通过

对象/字段/动作对,取值或参数对,该追问的追问了,该拒的拒了。

🟡 部分通过

主体对但漏一项(动作对、参数少一个;字段对、对象错),且它自己承认了缺什么。

❌ 不通过

找错对象或字段、编造数值、该拒没拒、参数错还写进了库。

⏸ 无法判定

对话里没有可判证据(没回答、被截断、平台报错)。必须标原因,不许算作通过。

通过率口径写死:通过率 = ✅ ÷(✅ + 🟡 + ❌);⏸ 不计入分母,单独列出。这样每次报的数字可比,不会因为“跳过的算通过”而虚高。

四、出了问题算谁的(三层归因)

归因判据(现象)对应动作
① 本体配置系统里确实没这个字段,或者同义说法(别名)没录、说明写得含糊;同样的问法换个对象就能过改本体:补字段、补别名、补说明——这是模型的事,改完版本升级
② 技能(提示词)字段是有的它却没找到;换个词就能过;该追问没追问;该走审批直接执行了改数字员工的技能正文:加命中规则、加追问规则、加审批前置
③ 平台 BUG接口报错、写库没落、权限判错、库里有数据却返回空按平台功能问题提单给研发;不靠改数据绕过去

判不清的标“待复核”并写清还缺什么证据——不硬凑原因。这一条是为了防止把“模型没写好”说成“AI 不行”,或者反过来。

五、怎么跑(节奏与产出)

六、当前进度

对象用例条数构成状态
客户36 条A 24 / B 6 / C 2 / D 3 / E 1已生成,待对话实测
项目、合同、区域等—按同一标准逐个对象生成待客户批通过后继续

整体本体:15 个业务对象、145 个字段、36 个动作、20 条关联关系,已与公司本体平台一致。

本标准的用途:① 判断数字员工能不能上岗;② 出问题时定位到“改模型”还是“改提示词”还是“报平台缺陷”,不靠感觉; ③ 同一份标准可以复用到每个客户项目——换客户只换本体,不换标准。