M3-1. 테스트 — 테스트 채팅과 추적 도구
한 줄 요약 — Test your agent 패널은 빌드 중 상시 검증 도구이고, Evaluation(에이전트 평가) 은 반복 가능한 자동 검증 도구입니다. 공식 권고는 둘을 함께 쓰는 것 — 데모 웹사이트는 공유·피드백용입니다.
1. 테스트 채팅 열기
- 에이전트 화면 오른쪽 Test your agent 패널 열기
- 메시지를 입력해 대화 시작
- 수정할 때마다 재게시 없이 최신 콘텐츠로 테스트됩니다
2. 추적 도구
| 도구 | 무엇을 보나 |
|---|---|
| 토픽 추적(Track between topics) | 응답이 어느 토픽·어느 노드를 지나는지 캔버스에 하이라이트 |
| 변수 패널(watch window) | 캔버스 상단 변수 패널에서 대화 중 변수 값 실시간 확인 |
| 활동 지도 | 생성형 오케스트레이션의 계획(토픽·도구·지식 선택) 확인 |
추천 루틴 — 토픽 하나를 고치면: 테스트 채팅 초기화 → 트리거 발화 입력 → 추적 켜고 경로 확인 → 변수 값 확인 → 다듬기 반복.
화면 구성 예시 — 실제 화면·명칭은 버전에 따라 다를 수 있습니다
3. 무엇을 테스트하나 — 체크리스트
- 트리거 — 대표 발화 3~5개로 원하는 토픽이 뜨는지 (유사 표현 포함)
- 슬롯 채우기 — 한 문장에 정보를 몰아넣었을 때 질문을 건너뛰는지
- 분기 — 조건별 경로가 의도대로 갈리는지
- 지식·인용 — 답의 인용이 올바른 소스를 가리키는지
- 도구 — 도구가 호출되고 결과가 대화에 반영되는지 (오류 메시지 포함)
- 폴백 — 엉뚱한 질문에서 폴백 → 에스컬레이션 경로가 동작하는지
4. 에이전트 평가(Evaluation) — 반복 가능한 자동 테스트
테스트 채팅 옆의 Evaluation 은 별도의 정식 기능입니다. 여러 시나리오를 테스트 세트로 묶어 한 번에 실행하고, 같은 세트를 반복해 변경 전후를 객관적으로 비교합니다.
| 항목 | 내용 |
|---|---|
| 테스트 세트 구성 | 지식·토픽에서 자동 생성, CSV 파일 임포트, 직접 작성 |
| 채점(테스트 메서드) | 품질형 — General quality / 유사도형 — Compare meaning · Text similarity / 일치형 — Keyword match · Exact match · Tool use (+ 직접 정의하는 Custom) |
| 실행 조건 | 사용자 프로필을 골라 서로 다른 사용자로 시뮬레이션, 다국어 에이전트는 언어 선택 |
| 결과 | Pass rate(통과율)·응답 시간 집계, 실행 간 결과 비교, 케이스별 트랜스크립트·활동 지도 |
| 자동화 | Power Platform REST API·Power Platform 커넥터로 CI/CD 파이프라인에 연결 |
공식 권고 — 테스트 채팅과 에이전트 평가를 함께 쓰세요. 테스트 채팅은 한 번에 한 질문씩 대화를 자유롭게 몰아가는 데 강하고, 평가는 넓은 범위를 반복·대량으로 검증하는 데 강합니다. 다만 평가는 정확도·성능을 재는 도구이며 AI 윤리·콘텐츠 안전성 검토를 대체하지 않습니다.
5. 테스트 채팅 vs 데모 웹사이트
| 구분 | 테스트 채팅 | 데모 웹사이트 |
|---|---|---|
| 대상 | 메이커 본인 | 팀원·이해관계자 |
| 시점 | 빌드 중 상시 | 게시 후 |
| 반영 | 저장 즉시 | 게시본 기준 |
| 용도 | 흐름 검증·디버깅 | 피드백 수집 — 프로덕션 아님 |
게시 후에는 실제 채널에서 한 번 더 테스트하세요 — 채널마다 카드·서식 지원이 다릅니다.
6. 플로우 테스트
에이전트 플로우는 플로우 디자이너의 테스트와 에이전트 테스트 채팅 양쪽에서 검증합니다 — 디자이너·테스트 채팅에서의 플로우 실행은 용량을 소모하지 않습니다 (M3-5).
핵심 정리
- 테스트 채팅은 저장 즉시 반영 — 짧은 수정·검증 루프를 돌리세요
- 추적 + 변수 패널이 디버깅의 기본 — 감이 아니라 경로를 보세요
- 반복 검증은 에이전트 평가(테스트 세트) 로 — 통과율로 회귀를 잡고 CI/CD에 연결할 수 있습니다
- 게시 후 데모 웹사이트·실채널 재검증까지가 테스트입니다
M3 운영으로 · 다음: M3-2. 게시·채널
출처: Test your agent (MS Learn) · About agent evaluation (MS Learn) · Choose evaluation methods (MS Learn) · Publish and deploy — Test your agent (MS Learn)