[클러스터 아키텍처] 가비지 수집

가비지 수집

쿠버네티스 공식문서를 확인하며 가비지 수집에 대해서 기억해야 하는 부분을 기록한다.

• 가비지 수집은 쿠버네티스가 클러스터의 자원을 정리하기 위해 사용하는 다양한 방법을 종합한 용어로 아래와 같은 리소스를 정리한다.
  • 실패한 파드
  • 종료된 잡
  • 소유자 참조가 없는 오브젝트
  • 사용되지 않는 컨테이너와 컨테이너 이미지
  • 반환 정책이 삭제인 스토리지클래스에 의해 동적으로 생성된 퍼시스턴트볼륨
  • Stale 또는 만료된 CertificateSigningRequests(CSRs)
  • 노드는 아래와 같은 상황에서 삭제된다.
    • 클러스터가 클라우드 컨트롤러 매니저를 사용하는 클라우드
    • 클러스터가 클라우드 컨트롤러 매니저와 유사한 애드온을 사용하는 온프레미스
  • 노드 리스(Lease) 오브젝트

---

소유자(Owners)와 종속(Dependents)

쿠버네티스의 많은 오브젝트는 owner references를 통해 서로 연결되어 있다.

• 소유자 참조(Owner references)는 컨트롤 플레인에게 어떤 오브젝트가 서로 종속적인지를 알려준다.
• 쿠버네티스는 소유자 참조를 사용하여 컨트롤 플레인과 다른 API 클라이언트에게 오브젝트를 삭제하기 전 관련 리소스를 정리하는 기회를 제공하지만 대부분의 경우, 소유자 참조를 통해 자동으로 관리한다.
• 소유권(Ownership)은 일부 리소스가 사용하는 레이블과 셀렉터 메커니즘과는 다르다. 예를 들어, EndpointSlice 오브젝트를 생성하는 서비스를 보면, 서비스는 레이블을 사용해 컨트롤 플레인이 어떤 EndpointSlice 오브젝트가 해당 서비스에 의해 사용되는지 판단하는 데 도움을 준다.
• 레이블과 더불어, 서비스를 대신해 관리되는 각 EndpointSlice 오브젝트는 소유자 참조를 가진다.
• 소유자 참조는 쿠버네티스의 다른 부분이 제어하지 않는 오브젝트를 방해하는 것을 방지하는 데 도움을 준다.
• 교차 네임스페이스(cross-namespace)의 소유자 참조는 디자인상 허용되지 않으며 네임스페이스 종속 오브젝트는 클러스터 범위 또는 네임스페이스 소유자를 지정할 수 있다.
• 네임스페이스 소유자는 반드시 종속 오브젝트와 동일한 네임스페이스에 존재해야 하고 그렇지 않은 경우, 소유자가 없는 것으로 간주되어 삭제될 수 있다.
• 클러스터 범위의 종속 오브젝트는 클러스터 범위의 소유자만 지정할 수 있다. v1.20 이상에서, 클러스터 범위의 종속 오브젝트가 네임스페이스 종류를 소유자로 지정하면, 확인할 수 없는 소유자 참조가 있는 것으로 간주되어 가비지 수집의 대상이 될 수 있다.
• v1.20 이상에서, 가비지 수집기가 잘못된 교차 네임스페이스 ownerReference 또는 네임스페이스 종류를 참조하는 ownerReference가 있는 클러스터 범위의 종속 항목을 감지하면, OwnerRefInvalidNamespace가 원인인 경고 이벤트와 유효하지 않은 종속 항목의 involvedObject 가 보고된다.

[정리]

쿠버네티스의 많은 오브젝트는 “소유자 참조”를 통해 서로 연결되어 있다. 오브젝트를 삭제할 때 소유자 참조를 통해 사용자에게 삭제의 기회를 제공하지만 일반적으로 가비지 컬렉팅을 통해 자동으로 관리한다.

교차 네임 스페이스의 소유자 참조는 디자인상 허용되지 않으며 네임스페이스 범위의 종속 오브젝트는 반드시 동일한 네임스페이스에 존재해야 한다.

클러스터 범위의 종속 오브젝트는 클러스터 범위의 소유자만 지정해야 한다.

---

캐스케이딩(Cascading) 삭제

• 쿠버네티스는 오브젝트를 삭제할 때 더 이상 소유자 참조가 없는지, 예를 들어 레플리카셋을 삭제할 때 남겨진 파드가 없는지 확인하고 삭제한다.
• 오브젝트를 삭제할 때 쿠버네티스가 오브젝트의 종속 오브젝트들을 자동으로 삭제할 지 여부를 제어할 수 있으며 이러한 과정을 캐스케이딩 삭제라고 한다.
• 캐스케이딩 삭제에는 아래의 두 가지 종류가 있다.
  • 포그라운드 캐스케이딩 삭제(Foreground cascading deletion)
  • 백그라운드 캐스케이딩 삭제(Background cascading deletion)
• 쿠버네티스의 finalizers를 사용하여 가비지 수집이 소유자 참조가 있는 자원을 언제 어떻게 삭제할 것인지 제어할 수 있다.

포그라운드 캐스케이딩 삭제

• 포그라운드 캐스케이딩 삭제에서는 삭제하려는 소유자 오브젝트가 먼저 “삭제 중” 상태가 되고 아래와 같은 일이 일어난다.
  • 쿠버네티스 API 서버가 오브젝트의 metadata.deletionTimestamp 필드를 오브젝트가 삭제 표시된 시간으로 설정한다.
  • 쿠버네티스 API 서버가 metadata.finalizers 필드를 foregroundDeletion로 설정한다.
  • 오브젝트는 삭제 과정이 완료되기 전까지 쿠버네티스 API를 통해 조회할 수 있다.
• 소유자 오브젝트가 “삭제 중” 상태가 된 이후, 컨트롤러는 종속 오브젝트들을 삭제한다. 모든 종속 오브젝트들이 삭제되고 나면, 컨트롤러가 소유자 오브젝트를 삭제하고 이 시점에서 오브젝트는 더 이상 쿠버네티스 API를 통해 조회할 수 없다.
• 포그라운드 캐스케이딩 삭제 중에 소유자 오브젝트의 삭제를 막는 종속 오브젝트는 ownerReference.blockOwnerDeletion=true 필드를 가진 오브젝트다.

백그라운드 캐스케이딩 삭제

• 백그라운드 캐스케이딩 삭제에서는 쿠버네티스 API 서버가 소유자 오브젝트를 즉시 삭제하고 백그라운드에서 컨트롤러가 종속 오브젝트들을 삭제한다.
• 쿠버네티스는 수동으로 포그라운드 삭제를 사용하거나 종속 오브젝트를 분리하지 않는다면, 기본적으로 백그라운드 캐스케이딩 삭제를 사용한다.

분리된 종속(Orphaned dependents)

• 쿠버네티스가 소유자 오브젝트를 삭제할 때, 남은 종속 오브젝트는 “분리된 오브젝트”라고 부르며, 기본적으로 쿠버네티스는 종속 오브젝트를 삭제한다.

[정리]

캐스케이딩은 소유자 오브젝트를 삭제할 때 종속 오브젝트를 같이 삭제하는 것을 의미한다.

포그라운드 캐스케이딩 삭제는 삭제하려는 소유자 오브젝트가 먼저 “삭제 중”으로 변경하고, 종속 오브젝트를 전부 삭자한 다음 마지막으로 소유자 오브젝트를 삭제한다.

백그라운드 캐스케이딩 삭제는 소유자 오브젝트를 즉시 삭제하고, 백그라운드에서 종속 오브젝트를 삭제한다.

소유자가 없는 종속 오브젝트는 기본적으로 쿠버네티스에 의해 정리된다.

---

사용되지 않는 컨테이너와 이미지 가비지 수집

• kubelet은 사용되지 않는 이미지에 대한 가비지 수집을 5분마다, 컨테이너에 대한 가비지 수집을 1분마다 수행한다.
• 외부 가비지 수집도구는 kubelet의 행동을 중단시키고 존재해야만 하는 컨테이너를 삭제할 수 있으므로 사용을 피해야 한다.
• 사용되지 않는 컨테이너와 이미지에 대한 가비지 수집 옵션을 구성하려면, configuration file을 사용하여 kubelet을 수정하거나 KubeletConfiguration 리소스 타입의 가비지 수집과 관련된 파라미터를 수정한다.

컨테이너 이미지 라이프사이클

• 쿠버네티스는 kubelet의 일부인 “이미지 관리자”가 cadvisor와 협동하여 모든 이미지의 라이프사이클을 관리한다. kubelet은 가바지 수집 결정을 내릴 때, 아래의 디스크 사용량 제한을 고려한다.
  • HighThresholdPercent: 설정 값을 초과한 디스크 사용량은 마지막으로 사용된 시간을 기준으로 오래된 이미지 순서대로 삭제하는 가비지 수집을 트리거한다.
  • LowThresholdPercent: 디스크 사용량이 설정 값에 도달할 때까지 이미지를 삭제한다.

컨테이너 이미지 가비지 수집

• kubelet은 사용자가 정의할 수 있는 아래의 변수들을 기반으로 사용되지 않는 컨테이너들을 삭제한다.
  • MinAge: kubelet이 가비지 수집할 수 있는 최소 나이. 0으로 설정하여 비활성화할 수 있다.
  • MaxPerPodContainer: 각 파드 쌍이 가질 수 있는 죽은 컨테이너의 최대 개수. 0으로 설정하여 비활성화할 수 있다.
  • MaxContainers: 클러스터가 가질 수 있는 죽은 컨테이너의 최대 개수. 0으로 설정하여 비활성화할 수 있다.
• 위의 변수와 함께, kubelet은 식별할 수 없고 삭제된 컨테이너들을 오래된 순서대로 가비지 수집한다.
• MaxPerPodContainer와 MaxContainer는 파드의 최대 컨테이너 개수(MaxPerPodContainer)를 유지하는 것이 전체 죽은 컨테이너의 개수 제한(MaxContainers)을 초과하게 될 때, 서로 충돌이 발생할 수 있다.
• 서로 충돌한 상황에서 kubelet은 충돌을 해결하기 위해 MaxPodPerContainer를 조절한다.
• 최악의 시나리오에서 MaxPerPodContainer를 1로 다운그레이드하고 가장 오래된 컨테이너들을 축출한다. 또한, 삭제된 파드가 소유한 컨테이너들은 MinAge보다 오래되었을 때 삭제된다.
• kubelet은 자신이 관리하는 컨테이너에 대한 가비지 수집만을 수행한다.

[정리]

kubelet은 사용되지 않는 이미지는 5분, 컨테이너는 1분간격으로 가비지 수집을 수행한다. 공식문서에 따르면 써드파티 가비지 수집 도구의 사용을 지양하라고 말한다.

쿠버네티스는 kubelet의 “이미지 관리자”를 통해서 가미지 수집 결정을 내리며 수집이 실행되는 트리거는 디스크 사용량이다.

kubelet은 최소 수명, 파드에 속한 최대 죽은 컨테이너의 수, 클러스터가 가질 수 있는 최대 컨테이너의 수와 같은 변수를 통해 오래된 순서대로 가비지 수집을 진행한다.

---

참고 자료

• https://kubernetes.io/ko/docs/concepts/architecture/garbage-collection/