API 서비스
중앙 서빙 엔드포인트를 만들고, 상태·성능을 보고, 추론 콘솔로 직접 호출해 보는 화면
필요 권한: 조회
모델 버전의 서빙 이미지를 중앙 클러스터에 띄워 HTTP 추론 API(엔드포인트) 로 제공하는 화면입니다. 엔드포인트는 Kubernetes Deployment 로 뜨고, 플랫폼이 요청을 대신 전달합니다. 보기는 모든 멤버, 엔드포인트 생성·삭제는 deploy, 중단·재기동과 추론 호출은 operate 권한입니다.
엔드포인트를 만들려면 먼저 모델 레지스트리의 버전 화면에서 서빙 이미지를 빌드해 두어야 합니다.
엔드포인트 목록
| 번호 | 영역 | 설명 |
|---|---|---|
| ① | 서빙 생성 | 엔드포인트 생성 대화상자(deploy). |
| ② | 모델 레지스트리로 | 엔드포인트가 하나도 없을 때 보이는 바로가기. |
엔드포인트가 있으면 카드로 나옵니다. 카드에는 이름·상태, RPS·P95(ms)·Error(%)·Ready, 모델 버전, GPU 사용 수가 있고, 검증 KPI 에 못 미치면 KPI 미달 칩이 붙습니다(서비스는 계속 제공됩니다).
엔드포인트 만들기
- 서빙 생성 을 누릅니다.
- 엔드포인트 이름(소문자·숫자·하이픈, 63자 이하. Kubernetes 오브젝트 이름이 됩니다), 이미지(빌드가 끝난 모델 버전만 보임), Replicas, 실행 자원(CPU 또는 GPU 슬롯), Validation 데이터셋(선택. 지정하면 배포 뒤 KPI 스모크 테스트(짧은 동작 점검)를 돌립니다)을 정하고 생성 을 누릅니다.
서빙 엔드포인트 생성: 이름, 빌드된 이미지, Replicas, 실행 자원, Validation 데이터셋 - 엔드포인트 상세로 넘어가 배포 → 연결 → 검증 → 가동 순서로 진행 상황을 보여 줍니다.
엔드포인트 상세와 추론 콘솔
상세 화면에는 상태와 문제 원인, 노출 포트(NodePort)와 준비된 복제 수, 중단과 중단된 뒤의 재기동(operate)과 삭제(deploy, 이름을 한 번 더 입력해야 함), 그리고 추론 콘솔 이 있습니다.
추론 콘솔에서는 모델 입력 형식에 맞는 입력(이미지 업로드, 텍스트·표, 또는 JSON 본문)을 넣고 invocations 로 실제 추론을 호출합니다. ping 은 살아 있는지, version 은 서빙 중인 버전을 확인합니다. 검출 모델이면 결과를 이미지 위에 박스·마스크·라벨로 겹쳐 그리고, 신뢰도 임계 슬라이더로 걸러 봅니다. 요청 이력이 쌓이면 아래에 RPS·지연 차트가 나타나고, 상태코드(2xx·4xx·5xx) 분포도 함께 보입니다.
상태·배지
| 배지 | 값 | 뜻 |
|---|---|---|
| 배포 중 | DEPLOYING | Deployment 를 만들고 파드를 띄우는 중 |
| 연결 중 | CONNECTING | 파드는 떴고 플랫폼이 연결을 확인하는 중 |
| 검증 중 | VALIDATING | Validation 데이터셋으로 KPI 를 점검하는 중 |
| 정상 | AVAILABLE | 요청을 받을 수 있음 |
| 성능 저하 | DEGRADED | 응답은 하지만 헬스 체크가 나빠짐. 회복되면 정상으로 돌아옴 |
| 중단 | STOPPED | 사용자가 중단함. 재기동 으로 되돌림 |
| 실패 | FAILED | 어느 단계에서든 실패 |
실패·성능 저하에는 원인이 함께 나옵니다. 예: "컨테이너가 반복 재시작 중"(CrashLoopBackOff), "이미지를 받지 못하는 중"(ImagePullBackOff), "배포 진행이 멈춤"(ProgressDeadlineExceeded).