CFS bandwidth control

CFS 대역폭 제어

CFS 대역폭 제어는 CONFIG_FAIR_GROUP_SCHED의 확장 기능으로, 하나의 그룹 또는 계층에 제공할 수 있는 최대 CPU 대역폭을 지정하게 한다.

그룹에 허용되는 대역폭은 quota와 period로 지정한다. 각 period(마이크로초) 안에서 task group에는 최대 quota 마이크로초의 CPU 시간이 할당된다. cgroup의 thread가 runnable 상태가 되면 이 quota를 slice 단위로 per-CPU run queue에 나누어 준다. 모든 quota가 배분된 뒤 추가 quota 요청이 들어오면 해당 thread는 throttling된다. throttling된 thread는 다음 period가 시작되어 quota가 보충될 때까지 다시 실행할 수 없다.

아직 배분되지 않은 그룹 quota는 전역에서 추적하며 period 경계마다 cfs_quota 값으로 갱신한다. thread가 대역폭을 소비하면 필요한 시점에 전역 pool의 실행 시간을 CPU-local silo로 옮긴다. 한 번 갱신할 때 옮기는 양은 조정할 수 있으며 이를 slice라고 부른다.

Burst 기능

Burst 기능은 다른 시스템 사용자에 대한 간섭이 늘어나는 대가로, 앞으로 발생할 underrun을 담보 삼아 현재 실행 시간을 빌린다. 다만 그 양은 명확한 한계 안에 머문다.

전통적인 단일 프로세서 EDF(UP-EDF) 대역폭 제어는 다음 조건으로 표현할 수 있다.

(U = \Sum u_i) <= 1

이 조건은 모든 deadline을 지킬 수 있고 시스템도 안정적이라는 사실을 보장한다. U가 1보다 크면 벽시계 시간 1초마다 1초보다 많은 프로그램 실행 시간을 처리해야 하므로 deadline을 놓친다. 다음 deadline은 더 뒤로 밀리고 이를 따라잡을 시간은 영원히 생기지 않아 실패량이 제한 없이 커진다.

그러나 workload가 항상 quota 전체를 쓰지는 않는다는 점을 이용하면 u_i를 통계 분포로 기술할 수 있다. 예를 들어 u_i = {x,e}_i에서 x를 p(95), x+e를 p(100), 즉 전통적인 WCET로 둘 수 있다. 그러면 u를 더 작게 잡아 한 시스템에 더 많은 task를 배치할 수 있지만, 불리한 경우가 동시에 겹치면 deadline을 놓칠 수 있다. 그래도 x가 평균보다 크다면 모든 overrun에는 underrun이 대응하므로 안정성은 유지된다.

두 task가 모두 p(95)를 지정했다고 하자. 두 task가 모두 quota 안에 들어올 확률은 p(95)×p(95)=90.25%이다. 반대로 두 task가 동시에 quota를 초과할 확률은 p(5)×p(5)=0.25%이며 이 경우 deadline 실패가 확정된다. 한쪽이 초과하고 다른 쪽의 underrun이 이를 충분히 보상하지 못하는 경계는 두 workload의 구체적인 CDF에 따라 달라진다.

x+e가 실제 WCET라는 가정 아래 최악의 deadline 지연은 \Sum e_i로 제한된다. Burst 사용에 따른 간섭은 deadline을 놓칠 가능성과 평균 WCET로 평가한다. 시험 결과 cgroup 수가 많거나 CPU 활용률이 낮을 때에는 간섭이 제한적이었다.

• CFS burst 시험 및 논의https://lore.kernel.org/lkml/[email protected]/

cgroupfs를 통한 관리

Quota, period, burst는 cgroupfs의 cpu subsystem에서 관리한다.

• cpu.cfs_quota_us: 한 period마다 보충되는 실행 시간(마이크로초)
• cpu.cfs_period_us: period의 길이(마이크로초)
• cpu.stat: 아래에서 설명하는 throttling 통계
• cpu.cfs_burst_us: 누적할 수 있는 최대 실행 시간(마이크로초)

기본값은 다음과 같다.

cpu.cfs_period_us=100ms
cpu.cfs_quota_us=-1
cpu.cfs_burst_us=0

cpu.cfs_quota_us가 -1이면 그룹에 대역폭 제한이 없다는 뜻이며 이를 unconstrained bandwidth group이라고 한다. 이것은 CFS의 전통적인 work-conserving 동작을 나타낸다.

cpu.cfs_burst_us 이상인 유효한 양수를 quota와 period에 기록하면 지정한 대역폭 제한이 적용된다. quota와 period에 허용되는 최소값은 1ms이고, period 길이의 상한은 1초이다. 계층적으로 대역폭 제한을 사용할 때에는 아래에 설명하는 제약이 추가된다. cpu.cfs_quota_us에 음수를 기록하면 제한을 제거하여 그룹을 다시 unconstrained 상태로 돌린다.

cpu.cfs_burst_us가 0이면 그룹은 사용하지 않은 대역폭을 축적할 수 없으므로 기존 CFS 대역폭 제어 동작이 그대로 유지된다. cpu.cfs_quota_us 이하인 유효한 양수를 cpu.cfs_burst_us에 기록하면 미사용 대역폭 누적량에 상한을 둔다. 대역폭 명세를 갱신할 때 그룹이 constrained 상태로 throttling되어 있었다면 즉시 unthrottle된다.

시스템 전역 설정

효율을 위해 실행 시간은 전역 pool과 CPU-local silo 사이에서 batch 단위로 이동한다. 대규모 시스템에서 전역 accounting에 가해지는 압력을 크게 낮추며, 한 번 갱신할 때 옮기는 양을 slice라고 한다.

/proc/sys/kernel/sched_cfs_bandwidth_slice_us (default=5ms)

slice 값을 크게 하면 전송 overhead가 줄고, 작게 하면 실행 시간을 더 세밀한 단위로 소비할 수 있다.

통계

그룹의 대역폭 통계는 cpu.stat의 다섯 field로 노출된다.

이 interface는 읽기 전용이다.

계층 구조에서 고려할 사항

Interface는 개별 entity의 대역폭이 언제나 실제로 제공 가능한 값이 되도록 max(c_i) <= C를 강제한다. 반면 계층 안에서 work-conserving 의미를 유지하기 위해 전체 합의 oversubscription은 명시적으로 허용한다.

\Sum (c_i) may exceed C

C: 부모의 대역폭
c_i: 각 자식의 대역폭

그룹이 throttling되는 경우는 두 가지다. 첫째, 한 period 안에서 자신의 quota를 모두 소비한 경우이다. 둘째, 부모가 자신의 period 안에서 quota를 모두 소비한 경우이다. 두 번째 경우에는 자식에게 실행 시간이 남아 있어도 부모 실행 시간이 갱신될 때까지 실행할 수 없다.

CFS bandwidth quota의 주의 사항

한번 CPU에 할당된 slice에는 만료 시간이 없다. 다만 해당 CPU의 모든 thread가 unrunnable 상태가 되면 slice에서 1ms만 남기고 나머지는 전역 pool로 돌려보낼 수 있다. 남겨 두는 값은 compile time 변수 min_cfs_rq_runtime으로 설정한다. 전역 lock의 추가 경합을 막기 위한 성능 조정이다.

CPU 사용량 제한에 계속 걸리는 CPU-bound cgroup application은 매 period마다 quota 전체와 CPU-local slice 전체를 자연스럽게 소비하므로 이 특성이 거의 문제되지 않는다. 이런 workload에서는 nr_periods와 nr_throttled가 대체로 비슷하고, cpuacct.usage도 각 period마다 cfs_quota_us와 비슷한 양만큼 증가할 것으로 예상한다.

thread가 많지만 CPU-bound가 아닌 application에서는 CPU-local slice가 만료되지 않는 특성 때문에 여러 CPU에 남아 있던 미사용 slice만큼 quota를 잠깐 초과할 수 있다. 일반적으로 CPU당 최대 1ms이며 정확한 값은 min_cfs_rq_runtime이 정한다. 이전 period에 특정 CPU로 quota를 옮겼지만 모두 사용하거나 반환하지 않은 경우에만 이 짧은 burst가 가능하다. 남은 양은 core 사이에서 이동하지 않는다.

따라서 단일 period보다 긴 관찰 구간에서는 task group의 평균 사용량이 여전히 quota로 엄격히 제한되고 burst도 CPU당 1ms를 넘지 않는다. Core 수가 많고 quota가 작은 highly-threaded application의 동작을 더 예측 가능하게 하며, CPU 사용량이 quota보다 적은데도 불필요하게 throttling되는 상황을 줄인다. 즉, slice의 미사용 부분을 period 경계 너머에서도 유효하게 두어 전체 slice가 필요하지 않은 CPU-local silo에서 quota가 낭비되며 만료될 가능성을 낮춘다.

CPU-bound application과 CPU-bound가 아닌 interactive application 사이의 상호 작용도 고려해야 하며, 특히 한 core의 사용률이 100%일 때 중요하다. 두 application에 각각 CPU core의 절반을 주고 둘 다 같은 CPU에 배치하면 interactive application이 어떤 period에는 최대 1ms의 quota를 더 쓸 수 있고, 그만큼 CPU-bound application이 자신의 quota를 모두 쓰지 못할 수 있다. 둘 다 runnable이고 quota가 남아 있으므로 어느 쪽을 실행할지는 CFS가 결정한다. 이 실행 시간 차이는 interactive application이 idle 상태가 되는 뒤의 period에서 보상된다.

설정 예

1. CPU 한 개 분량의 실행 시간

period와 quota가 모두 250ms이면 그룹은 250ms마다 CPU 한 개 분량의 실행 시간을 받는다.

# echo 250000 > cpu.cfs_quota_us  /* quota = 250ms */
# echo 250000 > cpu.cfs_period_us /* period = 250ms */

2. 여러 CPU가 있는 시스템에서 CPU 두 개 분량

period가 500ms이고 quota가 1000ms이면 그룹은 500ms마다 CPU 두 개 분량의 실행 시간을 받을 수 있다. period가 더 길기 때문에 burst capacity도 커진다.

# echo 1000000 > cpu.cfs_quota_us /* quota = 1000ms */
# echo 500000 > cpu.cfs_period_us  /* period = 500ms */

3. CPU 한 개의 20%

period 50ms와 quota 10ms는 CPU 한 개의 20%에 해당한다. 짧은 period를 사용하면 burst capacity를 희생하는 대신 latency 응답을 일정하게 유지할 수 있다.

# echo 10000 > cpu.cfs_quota_us /* quota = 10ms */
# echo 50000 > cpu.cfs_period_us /* period = 50ms */

4. CPU 한 개의 40%와 추가 burst 20%

period 50ms와 quota 20ms는 CPU 한 개의 40%에 해당한다. 여기에 burst 10ms를 설정하면 대역폭이 미리 축적된 경우 CPU 한 개의 20%를 추가로 사용할 수 있다.

# echo 20000 > cpu.cfs_quota_us /* quota = 20ms */
# echo 50000 > cpu.cfs_period_us /* period = 50ms */
# echo 10000 > cpu.cfs_burst_us /* burst = 10ms */

quota 이하의 범위에서 buffer 값을 크게 설정할수록 burst capacity가 커진다.