| 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157 |
- {
- "说明": "本文件是评估 Agent 用的测试用例。第一组测工具(离线、结果确定),第二组测端到端问答(要调大模型)。所有用例都来自 data/配载知识库.txt 里的真实配载规则。",
- "工具自检": [
- {
- "案例": "成对小贝 01+03 应合成大贝 02",
- "工具": "贝位计算器",
- "输入": "01+03",
- "必须包含": ["02", "大贝"]
- },
- {
- "案例": "成对小贝 09+11 应合成大贝 10",
- "工具": "贝位计算器",
- "输入": "09,11",
- "必须包含": ["10"]
- },
- {
- "案例": "大贝 06 应能拆回 05 和 07",
- "工具": "贝位计算器",
- "输入": "06",
- "必须包含": ["05", "07"]
- },
- {
- "案例": "单个奇数小贝保持原样",
- "工具": "贝位计算器",
- "输入": "05",
- "必须包含": ["05", "小贝"]
- },
- {
- "案例": "非法配对(含偶数)应报错",
- "工具": "贝位计算器",
- "输入": "01+04",
- "必须包含": ["错误"]
- },
- {
- "案例": "不相邻的两个奇数不算一对",
- "工具": "贝位计算器",
- "输入": "01+07",
- "必须包含": ["错误"]
- },
- {
- "案例": "六位坐标拆成贝位/排位/层号",
- "工具": "坐标解析器",
- "输入": "010682",
- "必须包含": ["01", "06", "82"]
- },
- {
- "案例": "层号 82 应判为甲板",
- "工具": "坐标解析器",
- "输入": "010682",
- "必须包含": ["甲板"]
- },
- {
- "案例": "层号 04 应判为舱内",
- "工具": "坐标解析器",
- "输入": "020204",
- "必须包含": ["舱内"]
- },
- {
- "案例": "三个数字反向拼成六位坐标并补前导零",
- "工具": "坐标解析器",
- "输入": "1,6,82",
- "必须包含": ["010682"]
- },
- {
- "案例": "位数不够的坐标应报错",
- "工具": "坐标解析器",
- "输入": "12345",
- "必须包含": ["错误"]
- },
- {
- "案例": "合法的 40 尺/20 尺混装清单应通过校验",
- "工具": "箱位校验器",
- "输入": "HE 020682\nf 010304",
- "必须包含": ["未发现"]
- },
- {
- "案例": "40 尺箱写了奇数贝位应被查出来",
- "工具": "箱位校验器",
- "输入": "HE 010682",
- "必须包含": ["40尺"]
- },
- {
- "案例": "重复坐标应被查出来",
- "工具": "箱位校验器",
- "输入": "f 010304\nf 010304",
- "必须包含": ["重复"]
- },
- {
- "案例": "知识库能检索到大贝相关规则",
- "工具": "知识库检索",
- "输入": "40尺箱写大贝还是小贝",
- "必须包含": ["大贝"]
- }
- ],
- "端到端": [
- {
- "问题": "40 尺箱应该写大贝号还是小贝号?",
- "必须包含": ["大贝"],
- "分类": "规则问答"
- },
- {
- "问题": "层号 82 的箱子是装在甲板上还是船舱里面?",
- "必须包含": ["甲板"],
- "分类": "规则问答"
- },
- {
- "问题": "贝位 09 和贝位 11 合成的大贝是几号?",
- "必须包含": ["10"],
- "分类": "会用工具"
- },
- {
- "问题": "把贝位 1、排位 6、层号 82 拼成六位坐标。",
- "必须包含": ["010682"],
- "分类": "会用工具"
- },
- {
- "问题": "坐标 020486 代表什么?这个箱子在哪?",
- "必须包含": ["甲板"],
- "分类": "会用工具"
- },
- {
- "问题": "读 .xls 和 .xlsx 分别要用什么 Python 库?",
- "必须包含": ["xlrd", "openpyxl"],
- "分类": "规则问答"
- },
- {
- "问题": "坐标如果把前导零弄丢了,会有什么后果?",
- "必须包含": ["前导零"],
- "分类": "规则问答"
- },
- {
- "问题": "配载图上写着 TB 的那一格,算不算箱位?",
- "必须包含": ["锁具"],
- "分类": "规则问答"
- },
- {
- "问题": "图上出现一个 X 标记,应该怎么处理?",
- "必须包含": ["大贝"],
- "分类": "规则问答"
- },
- {
- "问题": "帮我检查一下这两个箱位对不对:HE 010682 和 f 010304",
- "必须包含": ["40尺"],
- "分类": "会用工具"
- },
- {
- "问题": "宁波到洛杉矶一个 40 尺柜的运费是多少?",
- "必须包含": ["没有提到"],
- "分类": "边界情况(不该瞎编)"
- },
- {
- "问题": "今天舟山港的风速有几级?",
- "必须包含": ["没有提到"],
- "分类": "边界情况(不该瞎编)"
- }
- ]
- }
|