이 핸즈온랩은 교육 내용을 보여 드리기 위한 예시입니다. 실제 교육과정에서는 고객사의 산업과 직무를 반영한 실습 시나리오로 구성한 비공개 학습 사이트를 따로 제공합니다.
M3-1. 미리보기 Preview — 테스트·활동 추적·기록
한 줄 요약 — Preview 탭은 게시 전에 에이전트와 채팅하며 검증하는 환경입니다. 메이커 뷰의 추론 카드와 활동 추적(activity trace) 으로 동작을 디버깅하고, History로 테스트 대화를 관리합니다. (기능·화면·명칭은 프리뷰 기준 · subject to change)
1. Preview 탭이 제공하는 것
| 기능 | 설명 |
|---|---|
| 대화형 채팅 | 실시간 송수신 — 게시 후 사용자 경험을 그대로 재현 |
| Prompt suggestions | 미리 설정한 대화 시작 문구로 자주 쓰는 시나리오를 빠르게 테스트 |
| Activity trace | CoT(chain-of-thought) 상세 추적 — 처리 단계·지식 소스·도구 호출·추론 |
| Conversation history | 과거 테스트 대화 검토 |
| 응답 피드백 | Thumbs up/down + 의견 작성으로 품질 문제 추적 |
| 기타 | 응답 복사 · New chat(새 대화) |
뷰 옵션 — 기본 Maker view는 채팅에 추론 카드가 포함되는 개발·디버깅용 화면이고, 헤더의 End user preview 토글을 켜면 디버깅 정보 없는 최종 사용자 화면이 됩니다.
2. 테스트 절차 (Test an agent)
- 에이전트 열기 → Preview 탭 → 하단 채팅 입력(chat input) 에 메시지 입력 후 Enter/보내기
- 지식 테스트 — 지식 소스로 답할 수 있는 질문을 하고 인용(citations)·소스 귀속이 올바른지 확인
- 도구 테스트 — 도구가 필요한 작업을 요청하고 활동 추적의 도구 실행 노드에서 호출·반환 결과 확인
- 디버그 모드 — End user preview 토글 OFF(메이커 뷰) → 추론 카드를 펼쳐 CoT 상세 확인
- 피드백 — 응답 아래 Thumbs up/down → 피드백 팝오버에 코멘트 입력 → 제출
- New chat — 현재 대화는 기록에 자동 저장되고, 이전 맥락이 없는 깨끗한 상태로 다시 시작
멀티턴(multi-turn) 대화, 인용 확인, 깨끗한 상태에서의 테스트를 함께 활용해 시나리오별로 검증하세요.
3. 활동 추적(activity trace)으로 디버깅
메시지 처리 과정을 노드 단위로 보여 주는 GitHub Copilot Harness(구 ‘새 경험’) 전용 디버깅 도구입니다. 메이커 뷰(End user preview OFF)에서 채팅 창 옆에 자동으로 나타나고 실시간으로 갱신됩니다.
| 노드 | 표시 내용 |
|---|---|
| User message / Agent response | 사용자 메시지 · 생성된 응답 |
| Knowledge | 근거 지식 소스 — “Searched knowledge” 접이식 카드로 소스·인용 링크 |
| Ran action | 커넥터/도구 호출 — 커넥터 이름·입력 매개변수·소요 시간 |
| Tool / Connector / Flow / Skill | 호출된 도구 · 커넥터 · 트리거된 흐름 · 실행된 스킬 |
| Error | 처리 중 발생한 오류 |
| Complete | 모든 도구 호출 완료 시 추적 하단 녹색 체크 |
- 노드를 펼치면 입력·출력·처리 시간·(실패 시) 오류 상세가 보입니다.
- 흔한 오류 원인: 도구/커넥터 인증 실패, 지식 소스 접근 오류, 장시간 호출의 타임아웃, 콘텐츠 조정 플래그.
- 추적의 소스/도구 필(pill)을 선택하면 Build 탭의 해당 컴포넌트로 바로 이동 → 수정 → Preview 재테스트. 이 순환이 디버깅의 기본 동선입니다.
4. 대화 기록 관리 (History)
미리보기 헤더의 History에서 과거 테스트 대화를 표로 검토합니다.
| 열 | 내용 |
|---|---|
| Date / Description | 발생 시각 · 대화 요약 |
| Status | Completed / In progress / Failed / Auth required / Input required |
| Channels / Processed by | 발생 채널 · 처리한 에이전트 버전 |
| Steps/Turns · Last step · Duration | 처리 단계·턴 수 · 마지막 단계 · 지속 시간 |
- Find by ID로 대화 ID 검색, 상태 필터(All/Failed/In progress/Completed/Auth required/Input required)로 좁히기.
- 대화를 열면 전체 메시지 기록 + (메이커 뷰) 메시지별 활동 추적 + 메트릭 확인.
- 보존 기간·데이터 내보내기는 문서에 나와 있지 않습니다.
Preview vs Evaluate — 언제 무엇을?
| 시나리오 | Preview | Evaluate |
|---|---|---|
| 개발 중 빠른 대화형 테스트 · 응답/도구 호출 디버깅 · 지침 다듬기 반복 | ✓ | |
| 다수 테스트 케이스로 품질 측정 · 반복 가능한 자동 테스트 · 버전 간 비교 | ✓ |
핵심 정리
- 메이커 뷰 = 추론 카드 + 활동 추적, End user preview 토글 = 사용자 화면 — 목적에 따라 전환
- 활동 추적 노드에서 Build 탭으로 바로 점프해 수정 → 재테스트하는 순환이 핵심 디버깅 동선
- Preview는 살펴보고 다듬기, Evaluate는 대규모 검증 — 다음 세션에서 이어집니다
M3 운영으로 → 다음: 평가 Evaluate
출처: Preview and test an agent (MS Learn) · Test an agent (MS Learn) · Use the activity trace to debug your agent (MS Learn) · Manage preview conversations (MS Learn) · Choose a harness (MS Learn)