이 핸즈온랩은 교육 내용을 보여 드리기 위한 예시입니다. 실제 교육과정에서는 고객사의 산업과 직무를 반영한 실습 시나리오로 구성한 비공개 학습 사이트를 따로 제공합니다.
M3-4. 모니터링 Monitor — 분석·활동 검토
한 줄 요약 — Monitor 탭에서는 배포 후 에이전트가 얼마나 잘 동작하는지, 사용자와 어떻게 대화하는지 확인합니다. 단, 게시 전에는 비활성 — Publish를 해야 열립니다. 주요 기능은 분석 대시보드·세션 추적·오류 모니터링 세 가지입니다. (기능·화면·명칭은 프리뷰 기준 · subject to change)
1. 왜 Monitor인가 — 게시 이후의 관찰
Preview·Evaluate가 “게시 전 검증”이라면 Monitor는 게시 후 관찰입니다. 특히 이메일 발송·레코드 업데이트·M365 서비스 연동 같은 자율 작업(autonomous actions) 을 수행하는 에이전트라면, 사람이 채팅 창을 지켜보지 않아도 무슨 일이 있었는지 확인할 방법이 필요합니다. Monitor 탭은 이를 거의 실시간(near-real-time)으로 보여 줍니다.
전제 조건: 에이전트 게시 필수 — Build 탭에서 Publish를 선택하기 전에는 Monitor 탭을 사용할 수 없습니다.
2. 주요 모니터링 기능 3가지 (개요)
① 분석 대시보드(analytics dashboard) — 전체 성능 지표:
| 메트릭 | 내용 |
|---|---|
| Conversation sessions | 처리한 총 대화 수 |
| User engagement | 메시지 수 · 세션 지속 시간 |
| Satisfaction | 좋아요/싫어요 피드백 신호 |
| Response quality | 응답률(answer rates) · 토픽 커버리지 지표 |
| Tool use | 도구 사용 빈도 · 최다 사용 도구 |
시간 범위(time range) 필터로 최근 활동과 장기 추세를 구분해 봅니다.
② 세션 추적(session tracking) — 개별 대화 세션의 Status(성공/실패/진행 중) · Duration · User messages · Tools used를 보고, 상태별 필터(Failed / Complete / In Progress) 후 개별 세션을 열어 전체 트랜스크립트·응답·도구 호출·지식 소스 사용을 검토합니다.
③ 오류 모니터링(error monitoring) — Failed / Rejected 상태 필터 → 트랜스크립트로 근본 원인 분석 → 도구 연결 상태·인증 오류 확인 → 실패한 세션의 패턴에서 구성 문제를 찾아냅니다.
3. Monitor 탭 화면 구성 — Recent tasks와 Files
① Recent tasks 섹션 — 에이전트가 완료했거나 시도했거나 처리 중인 작업을 시간순으로 보여 주는 목록:
| 항목 | 내용 |
|---|---|
| Status | success / failed / in-progress |
| Task description | 요청/완료된 작업 요약 |
| Last updated | 최근 작업 활동 타임스탬프 |
| Location | 작업이 발생한 채널/표면 — 사용자가 에이전트를 호출한 곳 |
작업을 선택하면 자세한 실행 정보가 표시됩니다.
② Files 섹션 — 대화 중에 접근하거나 사용한 파일을 유형별로 정리:
- 파일 유형 필터: Word, Excel, PowerPoint, Notes
- 파일 선택 시 언제, 누가 접근했는지 표시 — 자율 작업 에이전트가 어떤 파일에 접근했는지 감사할 때 유용
4. Monitor vs 분석(analytics) 구분
| 영역 | 성격 |
|---|---|
| Monitor 탭 | 최근 활동을 거의 실시간으로 확인 — 방금 무슨 일이 있었나 |
| Standard Harness(구 클래식) analytics | 장기 분석 — 대화 메트릭 · 성능 추세 |
제약/주의
- 게시 전 Monitor 탭 비활성 — 새로 만든 에이전트에서 탭이 안 열리면 게시 여부부터 확인하세요.
- 구체적인 메트릭 정의·한도(threshold)·오류 처리 절차는 문서에 나와 있지 않습니다(프리릴리스 문서, 변경 가능).
- 프로덕션 준비 미리보기 · GitHub Copilot Harness ↔ Standard Harness 양방향 이전(변환) 불가 등 공통 주의 사항이 적용됩니다.
핵심 정리
- Publish가 스위치 — 게시해야 Monitor 탭이 활성화되고, 이때부터 거의 실시간으로 관찰 가능
- 화면 구성 두 축: Recent tasks(작업 상태·설명·시각·Location) + Files(Word/Excel/PowerPoint/Notes, 언제·누가)
- 실패 분석 동선: 상태 필터(Failed/Rejected) → 트랜스크립트 → 도구 연결·인증 확인 → 패턴 식별 — 근본 원인 수정은 Build/Settings에서
이전: 출판 및 배포 · M3 운영으로 → 다음: 설정 Settings
출처: Monitor an agent overview (MS Learn) · Monitor an agent (MS Learn) · Choose a harness (MS Learn)