copilotkit

TestCaseAgent

基于 CopilotKit + LangGraph + LangChain 构建的智能测试用例生成 Conversatinaol Agent，自然语言描述需求，自动生成、执行、修复可运行的 基于pytest测试框架的测试用例代码,支持用户通过编辑prompts 自定义测试用例生成规范

一句话定位：输入自然语言（或自然语言 or 代码 or 报错信息），Agent 自动闭环"分析 ->生成 → 执行 → 修复"全流程。

演示视频

---

一、运行环境与快速开始

1.1 环境要求

组件	版本	说明
Python	>= 3.12	Agent 运行时
Node.js	>= 20	前端 UI 运行时
Git	latest	代码管理
LLM API Key	—	DeepSeek / OpenAI / AMD 兼容接口

1.2 一键安装和启动

git clone <repo-url>
cd testcase-agent/workspace
npm install

安装脚本自动完成：

1. Python 虚拟环境创建与依赖安装
2. CopilotKit Runtime 与 LangGraph Agent 集成
3. Next.js 前端 UI 安装

1.3 配置环境变量

cp .env.example .env
# 编辑 .env 填入 LLM API Key

1.4 启动服务

cd testcase-agent/workspace
npm run dev

命令	说明	访问地址
npm run dev	同时启动 UI + Agent	http://localhost:3000
npm run dev:ui	仅启动前端 UI	http://localhost:3000
npm run dev:agent	仅启动 Agent 服务	http://localhost:8123

---

二、商业价值与核心功能

2.1 商业价值

维度	描述
降本	手写一个用例需数小时，Agent 一句话自动闭环，效率提升 10 倍以上
提质	RAG 知识库保障用例贴合官方规范、风格统一、语法可校验
提效	"生成 → 执行 → 修复"全流程自动接管，从天级压缩至分钟级
增值	并行批量生成用例，测试覆盖率随版本快速规模化
垂直整合	带记忆能力，越用越智能，越深度发展智能体的垂直业务能力

2.2 核心功能

功能	描述	状态
生成测试用例	自然语言描述需求，自动生成 pytest 可执行代码	✅
生成并执行	自动调用 AIDevOps Agent 执行用例并返回结果	✅
结果驱动修复	执行失败后自动分析原因并修复（最多 3 轮重试）	✅
用户驱动修复	用户描述问题，Agent 分析并修复	✅
HITL 人工确认	生成测试计划后中断，等待用户确认再继续	✅
意图路由	11 种意图自动识别（GENERATE / APPEND / UPDATE / REFACTOR / DELETE / CHAT 等）	✅
深度融入CICD系统	与DevOpsAgent 通信，自动处理来自DevOpsAgent修复测试用例bug的请求	✅
RAG 知识库	ROCm 官方文档 + vLLM 文档 + 社区 Issue 归档	✅
多轮对话	基于 LangGraph Checkpointer 的状态持久化	✅

2.3 核心流程

用户输入需求
    │
    ▼
┌─────────────────────┐
│  requirement_parser │  需求解析 + 意图识别（规则匹配优先）
└──────────┬──────────┘
           │
    ┌──────┴──────┐
    ▼             ▼
CHAT 意图      其他意图
    │             │
    ▼             ▼
  直接结束      planner 节点
                   │
                   ▼
              ┌──────────┐
              │ HITL 中断 │  用户确认用例生成计划（可选）
              └─────┬────┘
                    │
                    ▼
              generator 节点
                    │
                    ▼
              sandbox_executor
                    │
              ┌─────┴─────┐
              ▼           ▼
            成功 ✅     失败 → planner（修复循环，最多 3 轮）

---

三、成熟度与可扩展性

3.1 技术成熟度

维度	评分	说明
架构稳定性	⭐⭐⭐⭐	LangGraph StateGraph + Checkpointer，生产级状态管理
错误恢复	⭐⭐⭐⭐	多节点重试策略 + 指数退避，单点失败可自愈
可观测性	⭐⭐⭐⭐	Langfuse 全链路 Tracing + Token 用量监控
HITL 支持	⭐⭐⭐⭐	interrupt_after + useCopilotAction 人工确认
前端交互	⭐⭐⭐⭐	CopilotKit 原生 UI + 自定义确认组件
多轮对话	⭐⭐⭐⭐	MemorySaver / PostgreSQL 持久化

3.2 可扩展性

扩展点	说明
新增意图	修改 intent_router.py 即可添加新意图类型
新增工具	在 tools/ 目录添加新工具，自动注册到 Agent
新增节点	在 nodes/ 目录添加新节点，在 graph.py 中注册
RAG 知识库	替换向量库数据源即可适配新领域
前端 UI	CopilotKit 组件化，支持自定义渲染
多 Agent 协作	通过 A2A 协议与 DevOpsAgent 通信

3.3 技术栈

技术	用途
CopilotKit	前端 UI 框架，提供 Chat 组件、工具渲染、HITL 中断
LangGraph	Agent 编排引擎，StateGraph + Checkpointer + 条件路由
LangChain	LLM 调用层，ChatOpenAI 多 Provider 支持
MCP	外部工具接入，HuggingFace MCP Server 动态加载
RAG	Chroma + HuggingFace 向量库，知识库检索
Langfuse	可观测性，全链路 Tracing
Next.js	前端框架，React 19 + Tailwind CSS

---

四、与 DevOpsAgent 的 A2A 通信

TestCaseAgent 与 DevOpsAgent 之间通过 A2A 协议通信，实现"生成 → 执行 → 反馈"闭环：

4.1 通信流程

TestCaseAgent                    DevOpsAgent
     │                                 │
     │  1. 提交用例 + 执行请求          │
     │ ───────────────────────────────> │
     │                                 │
     │  2. 等待执行结果                  │
     │ <────────────────────────────── │
     │                                 │
     │  3. 分析结果，修复用例            │
     │ ───────────────────────────────> │
     │                                 │
     │  4. 重新执行验证                  │
     │ <────────────────────────────── │

4.2 通信场景

场景	TestCaseAgent 行为	DevOpsAgent 行为
用例生成完成	生成 pytest 代码，通过 A2A 提交	接收代码，准备执行环境
执行请求	发送执行指令 + 环境参数	在目标环境执行测试
执行成功	接收 pass 结果，结束流程	返回执行日志 + 性能数据
执行失败	接收 fail 结果 + 日志，分析原因	返回详细错误日志
用例修复	根据错误日志修复代码，重新提交	重新执行修复后的代码
DevOps 主动通知	接收 DevOps 消息，修改用例并回复	发送环境变更 / 需求更新通知

4.3 降级策略