이 핸즈온랩은 교육 내용을 보여 드리기 위한 예시입니다. 실제 교육과정에서는 고객사의 산업과 직무를 반영한 실습 시나리오로 구성한 비공개 학습 사이트를 따로 제공합니다.
M3-1. 테스트 — 테스트 채팅과 추적 도구
한 줄 요약 — Test your agent 패널은 빌드하면서 수시로 확인하는 도구이고, Evaluation(에이전트 평가) 은 같은 검증을 반복해서 자동으로 돌리는 도구입니다. 공식 문서는 둘을 함께 쓰라고 권합니다 — 데모 웹사이트는 공유·피드백용입니다.
1. 테스트 채팅 열기
- 에이전트 화면 오른쪽 Test your agent 패널 열기
- 메시지를 입력해 대화 시작
- 수정할 때마다 다시 게시하지 않아도 최신 내용으로 테스트됩니다
2. 추적 도구
| 도구 | 확인하는 내용 |
|---|---|
| 토픽 추적(Track between topics) | 응답이 어느 토픽·어느 노드를 지나는지 캔버스에 강조 표시 |
| 변수 패널(watch window) | 캔버스 상단 변수 패널에서 대화 중 변수 값 실시간 확인 |
| 활동 지도 | 생성형 오케스트레이션의 계획(토픽·도구·지식 선택) 확인 |
추천 루틴 — 토픽 하나를 고치면: 테스트 채팅 초기화 → 트리거 발화 입력 → 추적을 켜고 경로 확인 → 변수 값 확인 → 다듬기를 반복합니다.
화면 구성 예시 — 실제 화면·명칭은 버전에 따라 다를 수 있습니다
3. 무엇을 테스트할까 — 체크리스트
- 트리거 — 대표 발화 3~5개로 원하는 토픽이 실행되는지 (비슷한 표현 포함)
- 슬롯 채우기 — 한 문장에 정보를 모두 넣었을 때 질문을 건너뛰는지
- 분기 — 조건에 따라 의도한 경로로 나뉘는지
- 지식·인용 — 답의 인용이 올바른 소스를 가리키는지
- 도구 — 도구가 호출되고 결과가 대화에 반영되는지 (오류 메시지 포함)
- 폴백 — 엉뚱한 질문에서 폴백 → 에스컬레이션 경로가 동작하는지
4. 에이전트 평가(Evaluation) — 반복 가능한 자동 테스트
테스트 채팅과 별도로 Evaluation 이라는 정식 기능이 있습니다. 여러 시나리오를 테스트 세트로 묶어 한 번에 실행하고, 같은 세트를 반복 실행해 변경 전후를 객관적으로 비교합니다.
| 항목 | 내용 |
|---|---|
| 테스트 세트 구성 | 지식·토픽에서 자동 생성, CSV 파일 가져오기, 직접 작성 |
| 채점(테스트 메서드) | 품질형 — General quality / 유사도형 — Compare meaning · Text similarity / 일치형 — Keyword match · Exact match · Tool use (+ 직접 정의하는 Custom) |
| 실행 조건 | 사용자 프로필을 골라 서로 다른 사용자로 시뮬레이션, 다국어 에이전트는 언어 선택 |
| 결과 | Pass rate(통과율)·응답 시간 집계, 실행 간 결과 비교, 케이스별 트랜스크립트·활동 지도 |
| 자동화 | Power Platform REST API·Power Platform 커넥터로 CI/CD 파이프라인에 연결 |
공식 권고 — 테스트 채팅과 에이전트 평가를 함께 쓰세요. 테스트 채팅은 한 번에 한 질문씩 대화를 자유롭게 이끌어 보기에 좋고, 평가는 넓은 범위를 반복해서 대량으로 검증하기에 좋습니다. 다만 평가는 정확도·성능을 재는 도구이며 AI 윤리·콘텐츠 안전성 검토를 대체하지 않습니다.
5. 테스트 채팅 vs 데모 웹사이트
| 구분 | 테스트 채팅 | 데모 웹사이트 |
|---|---|---|
| 대상 | 메이커 본인 | 팀원·이해관계자 |
| 시점 | 빌드 중 수시로 | 게시 후 |
| 반영 | 저장하면 바로 | 게시한 버전 기준 |
| 용도 | 흐름 검증·디버깅 | 피드백 수집 — 프로덕션 아님 |
게시 후에는 실제 채널에서 한 번 더 테스트하세요 — 채널마다 카드·서식 지원이 다릅니다.
6. 플로우 테스트
에이전트 플로우는 플로우 디자이너의 테스트와 에이전트 테스트 채팅 두 곳에서 검증합니다 — 디자이너나 테스트 채팅에서 플로우를 실행할 때는 용량이 소모되지 않습니다 (M3-5).
핵심 정리
- 테스트 채팅은 저장 즉시 반영 — 짧은 수정·검증 루프를 돌리세요
- 디버깅은 추적 + 변수 패널로 — 감에 의존하지 말고 실제 경로를 확인하세요
- 반복 검증은 에이전트 평가(테스트 세트) 로 — 통과율로 회귀를 잡고 CI/CD에 연결할 수 있습니다
- 게시 후 데모 웹사이트와 실제 채널에서 다시 확인하는 것까지가 테스트입니다
M3 운영으로 · 다음: M3-2. 게시·채널
출처: Test your agent (MS Learn) · About agent evaluation (MS Learn) · Choose evaluation methods (MS Learn) · Publish and deploy — Test your agent (MS Learn)