Delay accounting

측정하는 task delay

Task는 runnable이지만 free CPU를 기다리는 것처럼 kernel resource가 available해질 때까지 기다리며 execution delay를 겪습니다. Per-task delay accounting은 CPU 대기, task가 시작한 synchronous block I/O 완료, page swap-in, memory reclaim, thrashing, direct compact, write-protect copy, IRQ/SOFTIRQ에서 경험한 delay를 측정하고 taskstats interface로 userspace에 제공합니다.

이 delay는 task의 CPU priority, I/O priority와 RSS limit을 적절히 설정하는 feedback으로 쓸 수 있습니다. 중요한 task의 긴 delay는 priority를 높이는 trigger가 될 수 있습니다.

Taskstats를 이용하므로 전통적인 Unix process에 해당하는 thread group의 모든 task/thread에 대한 aggregate delay도 제공합니다. 흔히 필요한 aggregation을 kernel이 더 효율적으로 수행합니다. Resource management application은 arbitrary group으로도 aggregate할 수 있습니다. Task lifetime 중과 exit 시점 모두 statistic을 제공해 연속적이고 완전한 monitoring을 보장합니다.

Taskstats interface와 counter 차분

Delay accounting은 같은 directory의 별도 문서에 설명된 taskstats interface를 사용합니다. Taskstats는 per-pid와 per-tgid statistic을 담는 generic data structure를 userspace에 반환하고 delay accounting은 그 structure의 특정 field를 채웁니다. Field 설명은 `include/uapi/linux/taskstats.h`에 있습니다.

일반적으로 CPU, synchronous block I/O, swap-in, memory reclaim, page-cache thrashing, direct compact, write-protect copy, IRQ/SOFTIRQ 등의 cumulative delay counter입니다. 예를 들어 task의 `cpu_delay_total`을 연속해서 두 번 읽은 값의 차이는 그 interval 동안 해당 resource를 기다린 delay입니다.

Task가 exit하면 command 없이 per-task statistic record를 userspace로 보냅니다. Thread group의 마지막 task라면 per-tgid statistic도 보냅니다. `tools/accounting/getdelays.c` utility는 간단한 command를 실행해 해당 delay statistic을 보여 주며 taskstats interface 사용 예이기도 합니다.

Kernel 설정과 getdelays

Kernel은 `CONFIG_TASK_DELAY_ACCT=y`와 `CONFIG_TASKSTATS=y`로 compile해야 합니다. Delay accounting은 boot 때 default로 disable되어 있으므로 kernel boot option에 `delayacct`를 추가합니다. 또는 runtime에 `sysctl kernel.task_delayacct`로 바꿀 수 있지만 enable한 뒤 시작된 task에만 delayacct 정보가 생깁니다.

CONFIG_TASK_DELAY_ACCT=y
CONFIG_TASKSTATS=y

delayacct

sysctl kernel.task_delayacct

Boot 후 `getdelays.c`와 비슷한 utility로 task 또는 task group(tgid)의 delay를 읽고 command를 실행해 그 delay를 볼 수 있습니다. General syntax는 `getdelays [-dilv] [-t tgid] [-p pid]`입니다. `-d -p 10`은 PID 10, `-d -t 242`는 TGID 242에 속한 모든 PID의 boot 이후 delay sum과 peak를 출력합니다.

General format of the getdelays command::

	getdelays [-dilv] [-t tgid] [-p pid]

Get delays, since system boot, for pid 10::

	# ./getdelays -d -p 10
	(output similar to next case)

Get sum and peak of delays, since system boot, for all pids with tgid 242::

	bash-4.4# ./getdelays -d -t 242
	print delayacct stats ON
	TGID    242


	CPU         count     real total  virtual total    delay total  delay average      delay max      delay min
	               39      156000000      156576579        2111069          0.054ms     0.212296ms     0.031307ms
	IO          count    delay total  delay average      delay max      delay min
	                0              0          0.000ms     0.000000ms     0.000000ms
	SWAP        count    delay total  delay average      delay max      delay min
	                0              0          0.000ms     0.000000ms     0.000000ms
	RECLAIM     count    delay total  delay average      delay max      delay min
	                0              0          0.000ms     0.000000ms     0.000000ms
	THRASHING   count    delay total  delay average      delay max      delay min
	                0              0          0.000ms     0.000000ms     0.000000ms
	COMPACT     count    delay total  delay average      delay max      delay min
	                0              0          0.000ms     0.000000ms     0.000000ms
	WPCOPY      count    delay total  delay average      delay max      delay min
	              156       11215873          0.072ms     0.207403ms     0.033913ms
	IRQ         count    delay total  delay average      delay max      delay min
	                0              0          0.000ms     0.000000ms     0.000000ms

출력은 CPU의 count·real total·virtual total·delay total/average/max/min과 IO, SWAP, RECLAIM, THRASHING, COMPACT, WPCOPY, IRQ의 delay statistic을 보여 줍니다. PID 1의 I/O accounting은 `-p`에서만 동작하며 `-i -p 1`로 read, write, cancelled_write를 확인합니다. `-v`를 더하면 debug information을 자세히 표시합니다.

Get IO accounting for pid 1, it works only with -p::

	# ./getdelays -i -p 1
	printing IO accounting
	linuxrc: read=65536, write=0, cancelled_write=0

delaytop system-wide monitoring

System이 시작된 뒤 `delaytop`으로 system-wide delay information을 봅니다. System-wide PSI와 high-latency Top-N task를 포함합니다. PSI 전체 기능에는 `CONFIG_PSI=y`와 `psi=1`이 필요합니다.

`delaytop`은 system pressure와 task delay를 interactive하게 monitor하며 여러 sort option, display mode와 realtime keyboard control을 제공합니다. Default는 CPU delay로 sort하고 상위 task 20개를 2초마다 refresh합니다.

	bash# ./delaytop
	System Pressure Information: (avg10/avg60vg300/total)
	CPU some:       0.0%/   0.0%/   0.0%/  106137(ms)
	CPU full:       0.0%/   0.0%/   0.0%/       0(ms)
	Memory full:    0.0%/   0.0%/   0.0%/       0(ms)
	Memory some:    0.0%/   0.0%/   0.0%/       0(ms)
	IO full:        0.0%/   0.0%/   0.0%/    2240(ms)
	IO some:        0.0%/   0.0%/   0.0%/    2783(ms)
	IRQ full:       0.0%/   0.0%/   0.0%/       0(ms)
	[o]sort [M]memverbose [q]quit
	Top 20 processes (sorted by cpu delay):
		PID      TGID  COMMAND           CPU(ms)   IO(ms)  IRQ(ms)  MEM(ms)
	------------------------------------------------------------------------
		110       110  kworker/15:0H-s   27.91     0.00     0.00     0.00
		57        57  cpuhp/7            3.18     0.00     0.00     0.00
		99        99  cpuhp/14           2.97     0.00     0.00     0.00
		51        51  cpuhp/6            0.90     0.00     0.00     0.00
		44        44  kworker/4:0H-sy    0.80     0.00     0.00     0.00
		60        60  ksoftirqd/7        0.74     0.00     0.00     0.00
		76        76  idle_inject/10     0.31     0.00     0.00     0.00
		100       100  idle_inject/14     0.30     0.00     0.00     0.00
		1309      1309  systemsettings     0.29     0.00     0.00     0.00
		45        45  cpuhp/5            0.22     0.00     0.00     0.00
		63        63  cpuhp/8            0.20     0.00     0.00     0.00
		87        87  cpuhp/12           0.18     0.00     0.00     0.00
		93        93  cpuhp/13           0.17     0.00     0.00     0.00
		1265      1265  acpid              0.17     0.00     0.00     0.00
		1552      1552  sshd               0.17     0.00     0.00     0.00
		2584      2584  sddm-helper        0.16     0.00     0.00     0.00
		1284      1284  rtkit-daemon       0.15     0.00     0.00     0.00
		1326      1326  nde-netfilter      0.14     0.00     0.00     0.00
		27        27  cpuhp/2            0.13     0.00     0.00     0.00
		631       631  kworker/11:2-rc    0.11     0.00     0.00     0.00

Runtime key `o`는 CPU·IO·IRQ·Memory 등 sort field를 선택하고 `M`은 Default/Memory Verbose display mode를 전환하며 `q`는 종료합니다.

Interactive keyboard controls during runtime::

	o - Select sort field (CPU, IO, IRQ, Memory, etc.)
	M - Toggle display mode (Default/Memory Verbose)
	q - Quit

Available sort fields(use -s/--sort or interactive command)::

	cpu(c)       - CPU delay
	blkio(i)     - I/O delay
	irq(q)       - IRQ delay
	mem(m)       - Total memory delay
	swapin(s)    - Swapin delay (memory verbose mode only)
	freepages(r) - Freepages reclaim delay (memory verbose mode only)
	thrashing(t) - Thrashing delay (memory verbose mode only)
	compact(p)   - Compaction delay (memory verbose mode only)
	wpcopy(w)    - Write page copy delay (memory verbose mode only)

Advanced usage examples::

	# ./delaytop -s blkio
	Sorted by IO delay

	# ./delaytop -s mem -M
	Sorted by memory delay in memory verbose mode

	# ./delaytop -p pid
	Print delayacct stats

	# ./delaytop -P num
	Display the top N tasks

	# ./delaytop -n num
	Set delaytop refresh frequency (num times)

	# ./delaytop -d secs
	Specify refresh interval as secs

Advanced example에서 `-s blkio`는 I/O delay로 sort하고 `-s mem -M`은 memory verbose mode에서 memory delay로 sort합니다. `-p pid`는 delayacct statistic을 출력하고 `-P num`은 Top-N task 수, `-n num`은 refresh 횟수, `-d secs`는 refresh interval을 지정합니다.