测试用例.json 4.5 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157
  1. {
  2. "说明": "本文件是评估 Agent 用的测试用例。第一组测工具(离线、结果确定),第二组测端到端问答(要调大模型)。所有用例都来自 data/配载知识库.txt 里的真实配载规则。",
  3. "工具自检": [
  4. {
  5. "案例": "成对小贝 01+03 应合成大贝 02",
  6. "工具": "贝位计算器",
  7. "输入": "01+03",
  8. "必须包含": ["02", "大贝"]
  9. },
  10. {
  11. "案例": "成对小贝 09+11 应合成大贝 10",
  12. "工具": "贝位计算器",
  13. "输入": "09,11",
  14. "必须包含": ["10"]
  15. },
  16. {
  17. "案例": "大贝 06 应能拆回 05 和 07",
  18. "工具": "贝位计算器",
  19. "输入": "06",
  20. "必须包含": ["05", "07"]
  21. },
  22. {
  23. "案例": "单个奇数小贝保持原样",
  24. "工具": "贝位计算器",
  25. "输入": "05",
  26. "必须包含": ["05", "小贝"]
  27. },
  28. {
  29. "案例": "非法配对(含偶数)应报错",
  30. "工具": "贝位计算器",
  31. "输入": "01+04",
  32. "必须包含": ["错误"]
  33. },
  34. {
  35. "案例": "不相邻的两个奇数不算一对",
  36. "工具": "贝位计算器",
  37. "输入": "01+07",
  38. "必须包含": ["错误"]
  39. },
  40. {
  41. "案例": "六位坐标拆成贝位/排位/层号",
  42. "工具": "坐标解析器",
  43. "输入": "010682",
  44. "必须包含": ["01", "06", "82"]
  45. },
  46. {
  47. "案例": "层号 82 应判为甲板",
  48. "工具": "坐标解析器",
  49. "输入": "010682",
  50. "必须包含": ["甲板"]
  51. },
  52. {
  53. "案例": "层号 04 应判为舱内",
  54. "工具": "坐标解析器",
  55. "输入": "020204",
  56. "必须包含": ["舱内"]
  57. },
  58. {
  59. "案例": "三个数字反向拼成六位坐标并补前导零",
  60. "工具": "坐标解析器",
  61. "输入": "1,6,82",
  62. "必须包含": ["010682"]
  63. },
  64. {
  65. "案例": "位数不够的坐标应报错",
  66. "工具": "坐标解析器",
  67. "输入": "12345",
  68. "必须包含": ["错误"]
  69. },
  70. {
  71. "案例": "合法的 40 尺/20 尺混装清单应通过校验",
  72. "工具": "箱位校验器",
  73. "输入": "HE 020682\nf 010304",
  74. "必须包含": ["未发现"]
  75. },
  76. {
  77. "案例": "40 尺箱写了奇数贝位应被查出来",
  78. "工具": "箱位校验器",
  79. "输入": "HE 010682",
  80. "必须包含": ["40尺"]
  81. },
  82. {
  83. "案例": "重复坐标应被查出来",
  84. "工具": "箱位校验器",
  85. "输入": "f 010304\nf 010304",
  86. "必须包含": ["重复"]
  87. },
  88. {
  89. "案例": "知识库能检索到大贝相关规则",
  90. "工具": "知识库检索",
  91. "输入": "40尺箱写大贝还是小贝",
  92. "必须包含": ["大贝"]
  93. }
  94. ],
  95. "端到端": [
  96. {
  97. "问题": "40 尺箱应该写大贝号还是小贝号?",
  98. "必须包含": ["大贝"],
  99. "分类": "规则问答"
  100. },
  101. {
  102. "问题": "层号 82 的箱子是装在甲板上还是船舱里面?",
  103. "必须包含": ["甲板"],
  104. "分类": "规则问答"
  105. },
  106. {
  107. "问题": "贝位 09 和贝位 11 合成的大贝是几号?",
  108. "必须包含": ["10"],
  109. "分类": "会用工具"
  110. },
  111. {
  112. "问题": "把贝位 1、排位 6、层号 82 拼成六位坐标。",
  113. "必须包含": ["010682"],
  114. "分类": "会用工具"
  115. },
  116. {
  117. "问题": "坐标 020486 代表什么?这个箱子在哪?",
  118. "必须包含": ["甲板"],
  119. "分类": "会用工具"
  120. },
  121. {
  122. "问题": "读 .xls 和 .xlsx 分别要用什么 Python 库?",
  123. "必须包含": ["xlrd", "openpyxl"],
  124. "分类": "规则问答"
  125. },
  126. {
  127. "问题": "坐标如果把前导零弄丢了,会有什么后果?",
  128. "必须包含": ["前导零"],
  129. "分类": "规则问答"
  130. },
  131. {
  132. "问题": "配载图上写着 TB 的那一格,算不算箱位?",
  133. "必须包含": ["锁具"],
  134. "分类": "规则问答"
  135. },
  136. {
  137. "问题": "图上出现一个 X 标记,应该怎么处理?",
  138. "必须包含": ["大贝"],
  139. "分类": "规则问答"
  140. },
  141. {
  142. "问题": "帮我检查一下这两个箱位对不对:HE 010682 和 f 010304",
  143. "必须包含": ["40尺"],
  144. "分类": "会用工具"
  145. },
  146. {
  147. "问题": "宁波到洛杉矶一个 40 尺柜的运费是多少?",
  148. "必须包含": ["没有提到"],
  149. "分类": "边界情况(不该瞎编)"
  150. },
  151. {
  152. "问题": "今天舟山港的风速有几级?",
  153. "必须包含": ["没有提到"],
  154. "分类": "边界情况(不该瞎编)"
  155. }
  156. ]
  157. }