| 类 | 测什么 | 举个例子(真实问法) | 不合格长什么样 |
|---|---|---|---|
| A 属性命中 | 问某个字段,它找对对象、找对那一栏、答对值 | “这个客户的对接人是谁?” “寄资料寄到哪?” |
答成别的字段;答了另一个客户;不知道就编一个 |
| B 动作命中 | 下指令,它调对动作、参数填对、该审批的先报审批、不重复写 | “帮我登记个新客户:××党校,信息科张主任对接” “把这家的对接人电话改成……” |
调错动作(把“登记客户”做成“立项”);参数瞎填;该审批的直接改完说“好了”;同一句话重复说就写两条 |
| C 长链路 | C1 查询型:一句话跨多个业务对象、多个条件,还要做汇总 C2 任务型:先查、再判断、再拿结果做下一步(再取一层信息 或 直接触发动作) |
C1:“查一下今天哪些客户的成交金额在 100 万及以上、并且利润率在 40% 以上” C2:“我们手上重庆的党校客户,哪些是渠道带来的?每家各跟了几个项目?如果大多数都是渠道带来的,把最多的那个渠道的商务负责人发给我” |
只答一半;把不满足条件的也算进去;口径不明(利润率怎么算)却直接给数 C2 额外:跳过查询直接下结论;“最多”没排序就随便挑一个;拿错对象(把渠道商的对接人当商务负责人);该做的一步没做就回报“已完成” |
| D 对抗边界 | 该拒就拒、信息不全就追问、做不到就说做不到 | “这家客户的注册资本是多少?”(系统里根本没这一项) “登记个客户”(没说谁) |
凭空编一个注册资本;信息不全就建一条空白记录;把不存在的能力说成“已完成” |
| E 口径歧义 | 说法模糊时(“重点客户”“在跑的项目”),它先确认口径,而不是自己定标准 | “帮我列一下我们的重点客户” | 直接按它自己的理解列一份名单,事后无法复核 |
D 与 E 是最容易被忽略的两类,但恰恰是“能不能放心用”的分水岭:会干活的系统可以试错,会编数据的系统不能用。
| 难度 | 特征 | 为什么要测 |
|---|---|---|
| L1 直说 | 用词与系统里的字段名基本一致 | 验证基本功:字段和入口是否通 |
| L2 换说法 | 用别名、行话、省略主语(“甲方”“这单归谁跟”) | 真人不会照着字段名说话,这一层才是日常 |
| L3 隐晦 | 场景描述、指代(“党校那条”“上次那个区委党校”) | 验证它能不能在真实上下文里定位到唯一对象 |
| L4 对抗 | 问不存在的字段、给不全的信息、重复同一条指令 | 验证它不会编、不会瞎写、不会重复写 |
对象/字段/动作对,取值或参数对,该追问的追问了,该拒的拒了。
主体对但漏一项(动作对、参数少一个;字段对、对象错),且它自己承认了缺什么。
找错对象或字段、编造数值、该拒没拒、参数错还写进了库。
对话里没有可判证据(没回答、被截断、平台报错)。必须标原因,不许算作通过。
通过率口径写死:通过率 = ✅ ÷(✅ + 🟡 + ❌);⏸ 不计入分母,单独列出。这样每次报的数字可比,不会因为“跳过的算通过”而虚高。
| 归因 | 判据(现象) | 对应动作 |
|---|---|---|
| ① 本体配置 | 系统里确实没这个字段,或者同义说法(别名)没录、说明写得含糊;同样的问法换个对象就能过 | 改本体:补字段、补别名、补说明——这是模型的事,改完版本升级 |
| ② 技能(提示词) | 字段是有的它却没找到;换个词就能过;该追问没追问;该走审批直接执行了 | 改数字员工的技能正文:加命中规则、加追问规则、加审批前置 |
| ③ 平台 BUG | 接口报错、写库没落、权限判错、库里有数据却返回空 | 按平台功能问题提单给研发;不靠改数据绕过去 |
判不清的标“待复核”并写清还缺什么证据——不硬凑原因。这一条是为了防止把“模型没写好”说成“AI 不行”,或者反过来。
| 对象 | 用例条数 | 构成 | 状态 |
|---|---|---|---|
| 客户 | 36 条 | A 24 / B 6 / C 2 / D 3 / E 1 | 已生成,待对话实测 |
| 项目、合同、区域等 | — | 按同一标准逐个对象生成 | 待客户批通过后继续 |
整体本体:15 个业务对象、145 个字段、36 个动作、20 条关联关系,已与公司本体平台一致。