GPU 슬롯
GPU 점유·유휴·대기 확인과 공유 풀·전용·미배선 배선 설정
필요 권한: 전역 관리자
GPU 슬롯 화면은 두 가지 질문에 답합니다. 위쪽은 "지금 자리가 있나, 없다면 누가 쥐고 있나", 아래쪽 배선은 "어느 테넌트가 몇 자리를 쓸 수 있나" 입니다. 10초마다 자동으로 새로 읽습니다.
현황 읽기
| 카드 | 뜻 |
|---|---|
| 총 슬롯 | 노드들이 클러스터에 알린 GPU 자원(nvidia.com/gpu)의 합 |
| 사용 중 | 배치된 파드가 쥔 슬롯 |
| 유휴 | 지금 바로 배치할 수 있는 슬롯 |
| 대기 중 | 자리를 못 잡고 기다리는 파드 수. 대기(Pending)는 실패가 아닙니다. 자리가 나면 스케줄러가 알아서 띄웁니다 |
그 아래 device plugin 카드는 GPU 를 클러스터에 알리는 플러그인이 살아 있는지, 시분할(time-slicing)이 켜졌는지 알려 줍니다. 플러그인이 없으면 GPU 가 자원으로 잡히지 않아 GPU 를 요청한 파드가 모두 대기에 머뭅니다. 설치 방법은 설치 장을 보세요.
배선: 세 가지 모드
배선은 테넌트마다 GPU 를 얼마나 약속하는지 정하는 장부입니다. 장부는 DB 에 있지만, 누가 실제로 쥐고 있는지는 항상 클러스터의 실시간 값에서 읽습니다.
| 모드 | 뜻 | 이럴 때 |
|---|---|---|
| 미배선 (기본) | 이 테넌트 몫의 슬롯이 하나도 없습니다. 학습·서빙 화면이 GPU 를 고를 수 없고, 그래도 요청하면 제출이 거부됩니다(CPU 는 그대로 사용) | GPU 가 필요 없는 테넌트 |
| 공유 | 이름 붙인 공유 풀에 묶입니다. 풀에 묶인 테넌트 전체의 점유 합이 풀 슬롯 수를 넘으면 새 제출이 거부됩니다 | 여러 팀이 몇 장을 번갈아 쓸 때 |
| 전용 | 정한 수의 슬롯을 상시 확보합니다. 다른 테넌트는 그만큼을 쓸 수 없습니다 | 항상 돌아야 하는 서빙이 있을 때 |
위 합계 줄의 배선됨(약속한 슬롯), 남는 슬롯, 광고 총량(노드가 알린 GPU 총량)을 보며 나눕니다. 대기 중인 파드와 아직 파드가 뜨지 않은 대기열의 학습도 점유로 셉니다. 그렇지 않으면 같은 자리를 두 번 약속하게 됩니다.
공유 풀 만들기
- 풀 등록 을 누릅니다.
- 풀 이름(소문자·숫자·하이픈, 나중에 못 바꿈)과 슬롯 수, 설명을 적고 등록 합니다.
공유 풀 등록
테넌트에 배선하기
- 테넌트 표에서 테넌트 행의 설정 을 누릅니다.
- 모드를 고릅니다. 공유 면 풀을, 전용 이면 상시 할당 슬롯 수를 정합니다.
테넌트 GPU 배선: 미배선 / 공유 / 전용 (전용을 고른 모습) - 저장 을 누릅니다. 이후 그 테넌트의 학습·서빙 화면이 GPU 자원을 고를 수 있게 됩니다.