자원 or 노드 부족 에러

기존 생성된 pod의 정보가 변경되어 다시 업데이트하려고 했는데, 아래와 같은 에러가 발생했다.

 

0/3 nodes are available: 1 Insufficient cpu, 1 node(s) had untolerated taint {node-role.kubernetes.io/control-plane: }, 2 Insufficient nvidia.com/gpu. preemption: 0/3 nodes are available: 1 Preemption is not helpful for scheduling, 2 No preemption victims found for incoming pod.

 

해당 에러에 대한 원인은 다음과 같다.

1. CPU 부족 (Insufficient cpu)

2. GPU 부족 (Insufficient nvidia.com/gpu)

3. Preemption 실패 (Preemption is not helpful for scheduling)

-> k8s가 기존 POD를 제거(preemption)하여 새 POD를 배치할 수도 있지만, 적절한 대체 노드가 없어 preemption이 실패함.

 

결론은, 내가 만든 인스턴스는 gpu 1개짜리로 만들었는데, 

기존 pod가 사용중이었고,

해당 pod를 업데이트하려 했는데, 여유분의 gpu가 존재하지 않아 발생한 에러였다.

 

자원의 양을 늘리거나, 노드를 하나 더 생성하면 해결된다.