Ramoops oops/panic logger

소개, memory 구성, ECC

이 문서의 제목은 'Ramoops oops/panic logger'이며 Sergiu Iordache `<[email protected]>`가 작성했고 2021년 2월 10일에 갱신되었습니다.

Ramoops는 system이 crash하기 전에 log를 RAM에 쓰는 oops/panic logger입니다. Oops와 panic을 circular buffer에 기록하며, restart 뒤에도 해당 영역의 content가 살아남는 persistent RAM system이 필요합니다.

Ramoops는 미리 정한 memory area에 dump를 저장합니다. `mem_address`는 시작 주소, `mem_size`는 크기이며 2의 거듭제곱으로 내림합니다. `mem_type`은 memory type을 정하고 기본 mapping은 `pgprot_writecombine`입니다. `mem_name`은 `reserve_mem` command-line parameter로 정의한 memory region을 지정합니다.

일반적으로 `mem_type=0`을 사용해야 합니다. 이 값은 pstore mapping을 `pgprot_writecombine`으로 설정합니다. `mem_type=1`은 `pgprot_noncached`를 시도하지만 일부 platform에서만 동작합니다.

제한의 이유는 pstore가 atomic operation에 의존하기 때문입니다. 적어도 ARM에서 `pgprot_noncached`는 memory를 strongly ordered로 mapping하고, strongly ordered memory의 atomic operation은 implementation-defined라 OMAP을 포함한 많은 ARM에서 동작하지 않습니다.

`mem_type=2`는 memory region을 normal memory로 취급해 full cache를 사용하며 성능을 높일 수 있습니다.

Memory area는 `record_size` chunk로 나뉘며 이 크기도 2의 거듭제곱으로 내림합니다. Kmesg dump 하나는 `record_size`만큼의 정보 chunk 하나를 기록합니다.

저장할 kmsg dump 종류는 `include/linux/kmsg_dump.h`의 `enum kmsg_dump_reason`에 정의된 `max_reason`으로 제한합니다. Oops와 panic을 모두 저장하려면 `max_reason=2`, 즉 `KMSG_DUMP_OOPS`를 사용하고 panic만 저장하려면 `max_reason=1`, 즉 `KMSG_DUMP_PANIC`을 사용합니다.

`max_reason=0`, 즉 `KMSG_DUMP_UNDEF`이면 `printk.always_kmsg_dump` boot parameter가 reason filtering을 제어합니다. Parameter가 설정되지 않으면 `KMSG_DUMP_OOPS`, 설정되면 `KMSG_DUMP_MAX`가 됩니다.

Module은 counter로 여러 dump를 기록하지만 restart 때 counter가 reset되므로 restart 뒤의 새 dump가 이전 dump를 덮어씁니다.

Ramoops는 persistent memory region의 software ECC 보호도 지원합니다. Watchdog trigger 같은 hardware reset으로 machine을 되살렸을 때 RAM이 일부 손상될 수 있지만 대개 복구 가능하므로 유용합니다.

Parameter 설정 방법

Ramoops parameter는 여러 방식으로 설정할 수 있습니다. 첫째, 앞에서 설명한 variable과 같은 이름의 module parameter를 사용합니다. 빠른 debugging에서는 boot 중 memory 일부를 예약하고 그 영역을 ramoops에 쓸 수도 있습니다.

Memory가 128MB보다 큰 machine에서 다음 kernel command line은 kernel이 처음 128MB만 사용하게 하고, 128MB 경계에 ECC로 보호한 ramoops region을 둡니다.

mem=128M ramoops.mem_address=0x8000000 ramoops.ecc=1

둘째, `Documentation/devicetree/bindings/reserved-memory/ramoops.yaml`에 설명된 Device Tree binding을 사용합니다. 다음 예제는 `0x8f000000`에서 1MB를 예약하고 record와 console에 각각 `0x4000` byte를 할당합니다.

reserved-memory {
        #address-cells = <2>;
        #size-cells = <2>;
        ranges;

        ramoops@8f000000 {
                compatible = "ramoops";
                reg = <0 0x8f000000 0 0x100000>;
                record-size = <0x4000>;
                console-size = <0x4000>;
        };
};

셋째, platform device를 만들고 platform data로 parameter를 설정합니다. 다음 C 예제는 `struct ramoops_platform_data`에 memory, record, dump reason, ECC 값을 넣고 `platform_device_register()`로 `ramoops` device를 등록합니다.

#include <linux/pstore_ram.h>
[...]

static struct ramoops_platform_data ramoops_data = {
      .mem_size               = <...>,
      .mem_address            = <...>,
      .mem_type               = <...>,
      .record_size            = <...>,
      .max_reason             = <...>,
      .ecc                    = <...>,
};

static struct platform_device ramoops_dev = {
      .name = "ramoops",
      .dev = {
              .platform_data = &ramoops_data,
      },
};

[... inside a function ...]
int ret;

ret = platform_device_register(&ramoops_dev);
if (ret) {
      printk(KERN_ERR "unable to register platform device\n");
      return ret;
}

넷째, `reserve_mem` command-line parameter로 예약한 memory region을 사용합니다. Address와 size는 `reserve_mem`이 정합니다. 다만 이 옵션은 항상 같은 위치에 memory를 할당하지 않아 신뢰할 수 없고 machine이나 kernel에 따라 동작하지 않을 수 있으므로 test가 필요합니다. Best-effort 방식으로 취급해야 합니다.

`reserve_mem` option은 size, alignment, name을 argument로 받습니다. Name은 memory를 ramoops가 가져올 수 있는 label에 mapping합니다.

reserve_mem=2M:4096:oops  ramoops.mem_name=oops

RAM memory와 peripheral device memory를 모두 지정할 수 있습니다. RAM을 지정한다면 architecture code의 매우 이른 시점에 `memblock_reserve()`를 호출해 반드시 그 memory를 예약해야 합니다.

#include <linux/memblock.h>

memblock_reserve(ramoops_data.mem_address, ramoops_data.mem_size);

Dump 형식, 읽기, 삭제

Data dump는 현재 `====`로 정의된 header로 시작하고 그 뒤에 timestamp와 newline이 옵니다. 이어서 실제 data가 기록됩니다.

Dump data는 pstore filesystem에서 읽습니다. File 형식은 `dmesg-ramoops-N`이며 `N`은 memory의 record number입니다. RAM에 저장된 record를 삭제하려면 해당 pstore file을 unlink하면 됩니다.

Persistent function tracing

Persistent function tracing은 software 또는 hardware 관련 hang을 debug할 때 유용할 수 있습니다. Function call chain log는 `ftrace-ramoops` file에 저장됩니다. 다음은 사용 예제와 실제 trace 일부입니다.

# mount -t debugfs debugfs /sys/kernel/debug/
# echo 1 > /sys/kernel/debug/pstore/record_ftrace
# reboot -f
[...]
# mount -t pstore pstore /mnt/
# tail /mnt/ftrace-ramoops
0 ffffffff8101ea64  ffffffff8101bcda  native_apic_mem_read <- disconnect_bsp_APIC+0x6a/0xc0
0 ffffffff8101ea44  ffffffff8101bcf6  native_apic_mem_write <- disconnect_bsp_APIC+0x86/0xc0
0 ffffffff81020084  ffffffff8101a4b5  hpet_disable <- native_machine_shutdown+0x75/0x90
0 ffffffff81005f94  ffffffff8101a4bb  iommu_shutdown_noop <- native_machine_shutdown+0x7b/0x90
0 ffffffff8101a6a1  ffffffff8101a437  native_machine_emergency_restart <- native_machine_restart+0x37/0x40
0 ffffffff811f9876  ffffffff8101a73a  acpi_reboot <- native_machine_emergency_restart+0xaa/0x1e0
0 ffffffff8101a514  ffffffff8101a772  mach_reboot_fixups <- native_machine_emergency_restart+0xe2/0x1e0
0 ffffffff811d9c54  ffffffff8101a7a0  __const_udelay <- native_machine_emergency_restart+0x110/0x1e0
0 ffffffff811d9c34  ffffffff811d9c80  __delay <- __const_udelay+0x30/0x40
0 ffffffff811d9d14  ffffffff811d9c3f  delay_tsc <- __delay+0xf/0x20