zram: Compressed RAM-based block devices

소개·관리 방식·오류 처리

`zram` module은 `/dev/zram<id>`(`<id>`는 0, 1, ...)라는 RAM 기반 block device를 만듭니다. 이 disk에 쓴 page는 압축되어 memory 자체에 저장됩니다. 매우 빠른 I/O와 압축에 따른 memory 절약을 제공하므로 `/tmp`, swap disk, `/var` 아래의 여러 cache 등에 사용할 수 있습니다.

각 zram device의 통계는 `/sys/block/zram<id>/` 아래 sysfs node로 내보냅니다. Device는 zram·zram_control sysfs attribute를 직접 사용하거나 util-linux가 제공하는 `zramctl` utility로 구성·관리할 수 있습니다.

이 문서는 zram 및 zram_control sysfs attribute를 사용하는 수동 구성만 설명합니다. `zramctl`은 util-linux 문서, man page 또는 `zramctl --help`를 참고해야 합니다. Zram maintainer는 util-linux나 zramctl을 개발·유지하지 않으므로 관련 질문은 `[email protected]`로 보냅니다.

아래 예제 대부분은 단순화를 위해 error checking을 생략합니다. Error 처리는 전적으로 사용자의 책임입니다. Zram sysfs attribute는 error가 나면 항상 negative value를 반환합니다.

`echo`를 사용하면 shell에서 보이는 return value는 `echo` utility가 설정합니다. 일반적으로 명령의 `$?`를 검사해 error handler를 호출하면 충분합니다.

	echo foo > /sys/block/zram0/comp_algorithm
	if [ $? -ne 0 ]; then
		handle_error
	fi

Module load와 compression algorithm 선택

`num_devices=4`로 module을 load하면 `/dev/zram0`부터 `/dev/zram3`까지 네 device를 만듭니다. Optional `num_devices` parameter는 미리 만들 device 수이며 default는 1입니다.

::

	modprobe zram num_devices=4

This creates 4 devices: /dev/zram{0,1,2,3}

num_devices parameter is optional and tells zram how many devices should be
pre-created. Default: 1.

`comp_algorithm` device attribute를 읽으면 사용 가능한 compression algorithm과 현재 선택된 algorithm을 볼 수 있습니다. 현재 선택 항목은 대괄호로 표시됩니다. Device를 초기화한 뒤에는 compression algorithm을 바꿀 수 없습니다.

Examples::

	#show supported compression algorithms
	cat /sys/block/zram0/comp_algorithm
	lzo [lz4]

	#select lzo compression algorithm
	echo lzo > /sys/block/zram0/comp_algorithm

현재 `comp_algorithm` 내용에는 zram이 지원하는 compression algorithm만 표시됩니다.

Compression algorithm parameter

Compression algorithm은 dataset에 맞게 조정할 고유 parameter를 지원할 수 있습니다. ZRAM의 `algorithm_params` device attribute는 algorithm별 parameter configuration을 제공합니다.

여러 algorithm은 `level`을 지원하며 일부는 pre-trained dictionary도 지원합니다. 외부 dictionary를 쓰려면 다른 parameter와 함께 `dict`의 full path를 넘깁니다. Algorithm 이름 대신 등록 priority로 대상을 지정할 수도 있습니다.

	#pass path to pre-trained zstd dictionary
	echo "algo=zstd dict=/etc/dictionary" > /sys/block/zram0/algorithm_params

	#same, but using algorithm priority
	echo "priority=1 dict=/etc/dictionary" > \
		/sys/block/zram0/algorithm_params

	#pass path to pre-trained zstd dictionary and compression level
	echo "algo=zstd level=8 dict=/etc/dictionary" > \
		/sys/block/zram0/algorithm_params

Parameter는 algorithm마다 다릅니다. 모든 algorithm이 dictionary나 `level`을 지원하는 것은 아닙니다. 어떤 algorithm에서 `level`은 compression level이며 값이 클수록 ratio가 좋아지고 negative value도 허용할 수 있습니다. 다른 algorithm에서는 acceleration level이어서 값이 클수록 compression ratio가 낮아집니다.

Disk size·memory limit·활성화

`disksize` sysfs node에 byte 값이나 memory suffix가 붙은 값을 써서 device disk size를 정합니다.

	# Initialize /dev/zram0 with 50MB disksize
	echo $((50*1024*1024)) > /sys/block/zram0/disksize

	# Using mem suffixes
	echo 256K > /sys/block/zram0/disksize
	echo 512M > /sys/block/zram0/disksize
	echo 1G > /sys/block/zram0/disksize

일반적으로 2:1 compression ratio를 예상하므로 memory의 두 배보다 큰 zram은 이점이 적습니다. 사용하지 않는 상태에서도 disk size의 약 0.1%를 사용하므로 지나치게 큰 zram은 낭비입니다.

Optional `mem_limit` sysfs node는 compressed data 저장에 사용할 physical memory 최대량을 정합니다. Byte나 memory suffix를 사용할 수 있고 runtime에도 바꿀 수 있습니다. 0을 쓰면 제한을 끕니다.

	# limit /dev/zram0 with 50MB memory
	echo $((50*1024*1024)) > /sys/block/zram0/mem_limit

	# Using mem suffixes
	echo 256K > /sys/block/zram0/mem_limit
	echo 512M > /sys/block/zram0/mem_limit
	echo 1G > /sys/block/zram0/mem_limit

	# To disable memory limit
	echo 0 > /sys/block/zram0/mem_limit

Swap으로 활성화하려면 `mkswap`과 `swapon`을 사용합니다. Filesystem storage로 쓰려면 filesystem을 만들고 mount합니다.

::

	mkswap /dev/zram0
	swapon /dev/zram0

	mkfs.ext4 /dev/zram1
	mount /dev/zram1 /tmp

Zram device 동적 추가·제거

Zram control interface는 device를 필요할 때 동적으로 추가·제거할 수 있게 합니다. `hot_add` attribute를 read하면 새 `/dev/zramX`를 추가하고 device ID를 반환합니다. 실패하면 error code를 반환합니다.

Example::

	cat /sys/class/zram-control/hot_add
	1

기존 `/dev/zramX`를 제거하려면 X에 device ID를 넣어 `hot_remove`에 씁니다.

To remove the existing /dev/zramX device (where X is a device id)
execute::

	echo X > /sys/class/zram-control/hot_remove

Device attribute와 access mode

Device별 통계와 control은 `/sys/block/zram<id>/` 아래 node로 제공합니다. 더 자세한 ABI는 `Documentation/ABI/testing/sysfs-block-zram`을 참고합니다.

Block·I/O·memory·backing 통계

User space는 다음 file을 사용해 device 통계를 읽는 것이 권장됩니다. `/sys/block/zram<id>/stat`은 block layer 통계이며 자세한 내용은 `Documentation/block/stat.rst`를 참고합니다.

`io_stat`은 block layer가 집계하지 않아 `zram<id>/stat`에 없는 device I/O 통계를 whitespace로 구분한 한 줄로 제공합니다.

`mm_stat`은 device memory-management 통계를 whitespace로 구분한 한 줄로 제공합니다.

`bd_stat`은 backing device 통계를 whitespace로 구분한 한 줄로 제공합니다.

비활성화와 reset

Swap device는 `swapoff`, mounted filesystem은 `umount`로 먼저 비활성화합니다.

::

	swapoff /dev/zram0
	umount /dev/zram1

`reset` sysfs node에 positive value를 쓰면 해당 device에 할당된 memory를 모두 해제하고 `disksize`를 0으로 되돌립니다. Device를 다시 사용하려면 disk size를 다시 설정해야 합니다.

	Write any positive value to 'reset' sysfs node::

		echo 1 > /sys/block/zram0/reset
		echo 1 > /sys/block/zram1/reset

	This frees all the memory allocated for the given device and
	resets the disksize to zero. You must set the disksize again
	before reusing the device.

Idle page tracking

Zram은 할당되었지만 사용되지 않는 idle page를 추적할 수 있습니다. 이 기능은 writeback과 recompression에 유용합니다. `idle`에 `all`을 쓰면 할당된 모든 zram page를 idle로 표시합니다.

zram has built-in support for idle pages tracking (that is, allocated but
not used pages). This feature is useful for e.g. zram writeback and
recompression. In order to mark pages as idle, execute the following command::

	echo all > /sys/block/zramX/idle

Idle mark는 해당 page(block)에 access해 overwrite하거나 free할 때만 제거됩니다. `CONFIG_ZRAM_TRACK_ENTRY_ACTIME`을 enable하면 마지막 access 뒤 지난 초 수를 기준으로 page를 idle 표시할 수 있습니다.

Additionally, when CONFIG_ZRAM_TRACK_ENTRY_ACTIME is enabled, pages can be
marked as idle based on how many seconds have passed since the last access to
a particular zram page::

	echo 86400 > /sys/block/zramX/idle

In this example, all pages which haven't been accessed in more than 86400
seconds (one day) will be marked idle.

Writeback 대상과 page 선택

`CONFIG_ZRAM_WRITEBACK`을 사용하면 idle 또는 incompressible page를 memory에 유지하지 않고 backing storage에 쓸 수 있습니다. `disksize`를 설정하기 전에 `backing_dev`를 지정해야 하며 현재는 partition만 지원합니다.

With CONFIG_ZRAM_WRITEBACK, zram can write idle/incompressible page
to backing storage rather than keeping it in memory.
To use the feature, admin should set up backing device via::

	echo /dev/sda5 > /sys/block/zramX/backing_dev

before disksize setting. It supports only partitions at this moment.

`writeback`에 type을 써서 대상을 고릅니다. `huge`는 기존 huge-page 분류, `idle`은 idle page, `huge_idle`은 두 조건을 모두 만족하는 page, `incompressible`은 어떤 algorithm도 압축하지 못한 page를 내보냅니다.

If admin wants to use incompressible page writeback, they could do it via::

	echo huge > /sys/block/zramX/writeback

Admin can request writeback of idle pages at right timing via::

	echo idle > /sys/block/zramX/writeback

With the command, zram will writeback idle pages from memory to the storage.

Additionally, if a user choose to writeback only huge and idle pages
this can be accomplished with::

        echo huge_idle > /sys/block/zramX/writeback

If a user chooses to writeback only incompressible pages (pages that none of
algorithms can compress) this can be accomplished with::

	echo incompressible > /sys/block/zramX/writeback

특정 page 하나를 쓰려면 `page_index`를 지정합니다. Linux 6.16부터 모든 parameter가 `key=value` 형식을 지원하고, `page_indexes=LOW-HIGH`로 하나 이상의 범위를 지정할 수 있습니다. 이 방식은 syscall 수를 줄이고 writeback 뒤 처리할 target을 효율적으로 선택하게 합니다.

If an admin wants to write a specific page in zram device to the backing device,
they could write a page index into the interface::

	echo "page_index=1251" > /sys/block/zramX/writeback

In Linux 6.16 this interface underwent some rework.  First, the interface
now supports `key=value` format for all of its parameters (`type=huge_idle`,
etc.)  Second, the support for `page_indexes` was introduced, which specify
`LOW-HIGH` range (or ranges) of pages to be written-back.  This reduces the
number of syscalls, but more importantly this enables optimal post-processing
target selection strategy. Usage example::

	echo "type=idle" > /sys/block/zramX/writeback
	echo "page_indexes=1-100 page_indexes=200-300" > \
		/sys/block/zramX/writeback

We also now permit multiple page_index params per call and a mix of
single pages and page ranges::

	echo page_index=42 page_index=99 page_indexes=100-200 \
		page_indexes=500-700 > /sys/block/zramX/writeback

한 호출에 여러 `page_index`를 넣거나 single page와 `page_indexes` range를 섞을 수도 있습니다.

Writeback budget와 flash 수명 관리

Flash device에 write I/O가 많으면 wearout 문제가 생길 수 있으므로 제품 수명 동안 storage health를 지킬 write 제한을 설계해야 합니다. Zram은 이를 위해 `writeback_limit` 기능을 제공합니다.

`writeback_limit_enable` default는 0이라 제한하지 않습니다. Budget을 적용하려면 먼저 이 기능을 enable합니다. Enable한 뒤에는 `/sys/block/zramX/writeback_limit`에 budget을 설정하기 전까지 writeback을 허용하지 않습니다. 반대로 enable하지 않은 상태에서 쓴 limit 값은 의미가 없습니다.

To overcome the concern, zram supports "writeback_limit" feature.
The "writeback_limit_enable"'s default value is 0 so that it doesn't limit
any writeback. IOW, if admin wants to apply writeback budget, they should
enable writeback_limit_enable via::

	$ echo 1 > /sys/block/zramX/writeback_limit_enable

Once writeback_limit_enable is set, zram doesn't allow any writeback
until admin sets the budget via /sys/block/zramX/writeback_limit.

(If admin doesn't enable writeback_limit_enable, writeback_limit's value
assigned via /sys/block/zramX/writeback_limit is meaningless.)

하루 400 MiB budget 예제는 MiB를 4-KiB unit으로 변환해 limit에 쓰고 기능을 enable합니다.

If admin wants to limit writeback as per-day 400M, they could do it
like below::

	$ MB_SHIFT=20
	$ 4K_SHIFT=12
	$ echo $((400<<MB_SHIFT>>4K_SHIFT)) > \
		/sys/block/zram0/writeback_limit.
	$ echo 1 > /sys/block/zram0/writeback_limit_enable

Budget을 모두 쓴 뒤 다시 허용하려면 새 budget을 limit에 씁니다. 남은 budget은 `writeback_limit`을 읽어 확인하고, 기능을 끄려면 enable node에 0을 씁니다.

If admins want to allow further write again once the budget is exhausted,
they could do it like below::

	$ echo $((400<<MB_SHIFT>>4K_SHIFT)) > \
		/sys/block/zram0/writeback_limit

If an admin wants to see the remaining writeback budget since last set::

	$ cat /sys/block/zramX/writeback_limit

If an admin wants to disable writeback limit, they could do::

	$ echo 0 > /sys/block/zramX/writeback_limit_enable

Zram reset, system reboot 또는 `echo 1 > /sys/block/zramX/reset` 때 writeback-limit count도 reset됩니다. 다음 설정에서 추가 budget을 올바르게 배정하려면 reset 전까지 발생한 writeback 양을 user가 보존해야 합니다. 특정 기간의 writeback 수는 `/sys/block/zram0/bd_stat` 세 번째 column으로 측정할 수 있습니다.

Secondary compressor와 recompression

`CONFIG_ZRAM_MULTI_COMP`를 사용하면 alternative secondary compression algorithm으로 page를 다시 압축할 수 있습니다. Secondary algorithm은 느릴 수 있지만 더 나은 compression ratio를 제공할 수 있습니다. Primary algorithm이 압축하지 못한 huge page나 memory에 오래 머문 cold idle page를 더 효과적으로 압축해 zsmalloc memory 사용량을 줄이는 것이 대표 용도입니다.

Zram은 primary 하나와 secondary 최대 세 개, 합계 최대 네 compression algorithm을 지원합니다. Primary compressor는 앞의 compression-algorithm 선택 절차로 정하고, secondary는 `recomp_algorithm` device attribute로 priority와 함께 구성합니다.

Example:::

	#show supported recompression algorithms
	cat /sys/block/zramX/recomp_algorithm
	#1: lzo lzo-rle lz4 lz4hc [zstd]
	#2: lzo lzo-rle lz4 [lz4hc] zstd

Alternative compression algorithms are sorted by priority. In the example
above, zstd is used as the first alternative algorithm, which has priority
of 1, while lz4hc is configured as a compression algorithm with priority 2.
Alternative compression algorithm's priority is provided during algorithms
configuration:::

	#select zstd recompression algorithm, priority 1
	echo "algo=zstd priority=1" > /sys/block/zramX/recomp_algorithm

	#select deflate recompression algorithm, priority 2
	echo "algo=deflate priority=2" > /sys/block/zramX/recomp_algorithm

`recompress` attribute가 recompression 실행을 제어합니다. `type=idle`, `type=huge`, `type=huge_idle`로 page 집합을 선택합니다.

Another device attribute that CONFIG_ZRAM_MULTI_COMP enables is recompress,
which controls recompression.

Examples:::

	#IDLE pages recompression is activated by `idle` mode
	echo "type=idle" > /sys/block/zramX/recompress

	#HUGE pages recompression is activated by `huge` mode
	echo "type=huge" > /sys/block/zram0/recompress

	#HUGE_IDLE pages recompression is activated by `huge_idle` mode
	echo "type=huge_idle" > /sys/block/zramX/recompress

Idle page 수가 많을 수 있으므로 byte 단위 `threshold`를 주면 object 크기가 그 이상인 page만 다시 압축합니다. `max_pages`는 시도할 page 수를 제한합니다.

The number of idle pages can be significant, so user-space can pass a size
threshold (in bytes) to the recompress knob: zram will recompress only pages
of equal or greater size:::

	#recompress all pages larger than 3000 bytes
	echo "threshold=3000" > /sys/block/zramX/recompress

	#recompress idle pages larger than 2000 bytes
	echo "type=idle threshold=2000" > /sys/block/zramX/recompress

It is also possible to limit the number of pages zram re-compression will
attempt to recompress:::

	echo "type=huge_idle max_pages=42" > /sys/block/zramX/recompress

조건에 맞는 각 page에 대해 ZRAM은 등록된 secondary algorithm을 priority 순서로 시도합니다. 재압축 object가 원래보다 작고 threshold 같은 조건도 만족하면 성공으로 멈춥니다. 모든 secondary를 소진해도 성공하지 못하면 page를 incompressible로 표시하고 앞으로 다시 시도하지 않습니다.

여러 algorithm을 순회하면 특정 page를 압축할 algorithm을 찾을 가능성이 커집니다. 다른 algorithm을 시도하지 않고 하나만 제한해야 할 때는 `algo` 또는 `priority`를 지정합니다.

This can be achieved by providing a `algo` or `priority` parameter:::

	#use zstd algorithm only (if registered)
	echo "type=huge algo=zstd" > /sys/block/zramX/recompress

	#use zstd algorithm only (if zstd was registered under priority 1)
	echo "type=huge priority=1" > /sys/block/zramX/recompress

Block state memory tracking

`CONFIG_ZRAM_MEMORY_TRACKING`을 사용하면 zram block 정보를 확인할 수 있습니다. Process의 cold 또는 incompressible page를 `pagemap`과 함께 찾는 데 유용할 수 있습니다.

기능을 enable하면 `/sys/kernel/debug/zram/zram0/block_state`에서 block state를 볼 수 있습니다. 출력의 첫 column은 zram block index, 두 번째는 system boot 이후 access time, 세 번째는 block state flag입니다.

If you enable the feature, you could see block state via
/sys/kernel/debug/zram/zram0/block_state". The output is as follows::

	  300    75.033841 .wh...
	  301    63.806904 s.....
	  302    63.806919 ..hi..
	  303    62.801919 ....r.
	  304   146.781902 ..hi.n

예제 첫 줄은 300번째 block이 boot 후 75.033841초에 access되었고 huge state이며 backing storage에 writeback되었음을 뜻합니다. 이 인터페이스는 debugging feature이므로 정상 동작을 보장하는 안정적 ABI로 의존해서는 안 됩니다.

원문 저자는 Nitin Gupta이며 연락처는 `[email protected]`입니다.