AMD P-State CPU Performance Scaling Driver

소개

이 문서는 `SPDX-License-Identifier: GPL-2.0`을 따르며 Advanced Micro Devices, Inc.의 2021년 저작물입니다. 작성자는 Huang Rui `<[email protected]>`입니다.

`amd-pstate`는 최신 AMD APU와 CPU 계열에 새로운 CPU frequency 제어 방식을 도입한 Linux kernel 성능 scaling driver입니다. Collaborative Processor Performance Control(CPPC)에 기반하여, 3개 P-state만 전환하던 기존 ACPI hardware P-State보다 훨씬 세밀하게 frequency를 관리합니다.

CPPC는 kernel이 performance hint를 hardware에 직접 전달할 수 있는 유연하고 지연이 낮은 interface입니다. `amd-pstate`는 `schedutil`, `ondemand` 같은 Linux governor가 만든 hint를 사용하고, hardware는 AMD64 Architecture Programmer's Manual Volume 2의 사양에 따라 이를 처리합니다.

현재 문서 기준으로 일부 Zen2와 Zen3 processor에서 governor 기반 기본 frequency 제어를 지원하며, hardware와 SBIOS 검증 후 AMD 전용 기능을 계속 확장할 예정입니다.

AMD CPPC 개요와 성능 눈금

CPPC interface는 특정 frequency나 performance state에 묶이지 않은 연속적이고 추상적이며 단위 없는 성능값을 열거합니다. Software는 ACPI 표준을 통해 platform 한계에 대한 상대 목표와 hint를 지정할 수 있습니다.

AMD processor는 performance 조정을 위해 AML interpreter 대신 지연이 낮은 MSR register model을 제공합니다. `amd-pstate`는 각 performance update 동작을 관리하는 callback과 함께 `struct cpufreq_driver` instance인 `amd_pstate_driver`를 초기화합니다.

CPPC performance capability

`Highest Performance`는 이상적 조건에서 개별 processor가 도달할 수 있는 절대 최대 성능입니다. 다른 processor의 idle 같은 platform 상태가 필요할 수 있어 오래 지속되지 않을 수 있으며, processor가 지원하는 최고 frequency에 해당합니다.

`Nominal (Guaranteed) Performance`는 외부 전력·열 제약이 없을 때 지속 가능한 최대 성능입니다. 모든 core/processor가 nominal 상태를 동시에 유지할 수 있어야 합니다.

`Lowest non-linear Performance`는 전압과 frequency scaling의 결합 효과로 비선형 절전이 생기는 최저 성능입니다. 이 값 위에서는 낮은 성능이 일반적으로 더 효율적이며, `amd-pstate`에 가장 효율적인 지점을 알려 줍니다.

`Lowest Performance`는 processor의 절대 최저 성능입니다. Lowest nonlinear 아래를 선택하면 효율 손실이 생길 수 있지만 순간 전력 소비는 줄어듭니다.

CPPC performance control

`amd-pstate`는 CPPC register를 통해 performance 목표를 전달합니다. Minimum requested performance는 허용 성능 하한, Maximum requested performance는 hardware가 제공할 성능 상한입니다.

Desired performance target은 CPPC scale의 상대값이며 nominal performance의 백분율로 표현할 수 있습니다. Nominal 아래에서는 hardware 조건을 따르는 평균 성능을 뜻하고, nominal 위에서는 최소 nominal을 제공하면서 운용 조건이 허용하면 더 높여야 합니다.

Energy Performance Preference(EPP)는 software가 performance 쪽(`0x0`)과 energy efficiency 쪽(`0xff`) 중 어디에 무게를 두는지 hardware에 알려 주는 hint입니다.

Scaling governor 지원

`amd-pstate`는 sysfs policy attribute `scaling_available_governors`에 열거되는 모든 generic scaling governor와 함께 사용할 수 있습니다. CPU별 policy object를 구성하고 hardware의 최소·최대 frequency 정보를 CPUFreq core와 연결된 governor에 정확히 제공합니다. `scaling_cur_freq` 값은 CPUFreq core에서 옵니다.

동적 frequency 제어의 주 대상은 `schedutil`과 `ondemand`입니다. `schedutil`과 CFS scheduler에 맞춰 `adjust_perf` callback을 등록하며, `sugov_start`가 CPU의 `update_util_data`에 `sugov_update_single_perf`를 utilization update callback으로 설정합니다.

CPU scheduler는 `cpufreq_update_util`을 호출하고 해당 utilization의 `struct sugov_cpu`에 따라 목표 performance를 지정합니다. `amd-pstate`는 이 scheduler 결정을 desired performance에 반영합니다.

Processor와 hardware 구현 지원

감지한 processor의 ACPI SBIOS에 `_CPC` entry가 없으면 `amd-pstate` 초기화가 실패합니다. `acpi_cpc_valid`로 이를 검사하며, 모든 Zen processor가 legacy ACPI hardware P-State를 지원하므로 실패 시 kernel은 `acpi-cpufreq`로 fallback합니다.

Hardware 구현은 Full MSR Support와 Shared Memory Support 두 종류입니다. :c:macro:`X86_FEATURE_CPPC` feature flag로 구분하고 구현별 `static_call` instance를 등록합니다. 문서 시점에는 일부 Zen2/Zen3를 지원하며 범위를 확대할 예정입니다.

Cezanne 같은 일부 Zen3는 :c:macro:`X86_FEATURE_CPPC`가 설정된 상태에서 MSR register를 직접 제공합니다. `amd-pstate`는 MSR을 이용해 interrupt context에서 frequency 제어 지연을 줄이는 CPUFreq fast switch를 구현하며, 관련 함수는 `pstate_xxx` prefix를 사용합니다.

`X86_FEATURE_CPPC`가 없으면 shared-memory 해법을 지원합니다. 이때 `cppc_acpi` helper가 `static_call` callback을 구현하고 함수는 `cppc_xxx` prefix를 사용합니다.

한 processor가 AMD P-States와 ACPI hardware P-States를 모두 지원할 수 있지만 AMD P-States가 우선합니다. :c:macro:`MSR_AMD_CPPC_ENABLE` 또는 `cppc_set_enable`로 활성화하면 AMD P-States 요청에 응답합니다.

Policy별 sysfs interface

Policy별 attribute는 `/sys/devices/system/cpu/cpufreq/policyX/`에 있으며 해당 policy의 모든 CPU에 영향을 줍니다. 다음 출력은 policy0의 AMD 전용 파일을 보여 줍니다.

root@hr-test1:/home/ray# ls /sys/devices/system/cpu/cpufreq/policy0/*amd*
/sys/devices/system/cpu/cpufreq/policy0/amd_pstate_highest_perf
/sys/devices/system/cpu/cpufreq/policy0/amd_pstate_lowest_nonlinear_freq
/sys/devices/system/cpu/cpufreq/policy0/amd_pstate_max_freq

`amd_pstate_highest_perf`와 `amd_pstate_max_freq`는 driver가 설정할 수 있는 최대 CPPC performance와 CPU frequency입니다. 일부 ASIC은 `_CPC` 표의 highest 값과 실제 값이 달라 sysfs 노출이 필요합니다. Boost가 비활성이지만 지원되는 경우 최대 frequency가 `cpuinfo`보다 클 수 있습니다.

`amd_pstate_lowest_nonlinear_freq`는 허용되는 최저 nonlinear CPPC CPU frequency입니다. `amd_pstate_hw_prefcore`는 preferred core 기능의 지원·활성 상태, `amd_pstate_prefcore_ranking`은 단위 없는 core 성능 순위이며 platform 조건에 따라 runtime에 바뀔 수 있습니다.

`energy_performance_available_preferences`는 지원 EPP profile 목록입니다. Profile은 firmware에 원하는 energy/efficiency 절충을 전달하며 `default`는 platform firmware 값을 뜻합니다. `energy_performance_preference`는 현재 값을 읽고 지원 profile 또는 0-255로 변경합니다. Firmware가 EPP를 끄면 쓰기 값은 무시됩니다.

CPU별 `boost`는 `/sys/devices/system/cpu/cpuX/cpufreq/boost`에 `0` 또는 `1`을 써서 끄거나 켭니다. 활성화하면 base frequency를 넘어 동적으로 상승하고, 비활성화하면 전력·온도 관리를 위해 base frequency로 제한합니다. 다른 값은 `/sys/devices/system/cpu/cpuX/acpi_cppc/`에서 읽습니다.

acpi-cpufreq 비교와 세 운용 mode

대부분의 `acpi-cpufreq` 지원 AMD platform은 firmware ACPI table의 3개 P-state만 사용합니다. 최신 AMD APU/CPU의 CPPC는 세밀하고 연속적인 frequency 범위를 제공하며, `amd-pstate`는 향후 AMD platform을 위한 더 높은 성능·energy efficiency의 관리 방식입니다.

CPPC에는 autonomous(active), non-autonomous(passive), guided autonomous(guided) 세 mode가 있고 kernel parameter로 선택합니다. Active에서는 desired request를 무시하고 min/max/EPP만 고려합니다. Passive에서는 OS가 Desired Performance Register로 목표를 직접 줍니다. Guided에서는 OS가 min/max를 주고 platform이 workload에 맞춰 자율 선택합니다.

`amd_pstate=active`는 `amd_pstate_epp`가 구현하는 firmware control mode입니다. EPP hint를 받은 CPPC power algorithm이 workload, 전력 공급, 열, core 전압 등 hardware 조건에 따라 실시간 frequency를 조정합니다.

`amd_pstate=passive`에서는 software가 CPPC scale의 상대 QoS 목표를 지정합니다. Nominal 아래의 desired 값은 Performance Reduction Tolerance를 따르는 평균 성능이고, 위에서는 최소 nominal을 보장하며 조건이 허용하면 더 올라갑니다.

`amd_pstate=guided`에서는 driver가 최소·최대 성능을 요청하고 platform이 그 범위 안에서 현재 workload에 적절한 값을 자율 선택합니다.

Preferred core와 switch

반도체 공정 편차 때문에 모든 core가 platform 한계를 지키면서 같은 최대 frequency에 도달하지는 않습니다. AMD는 일부 core만 최대에 도달할 수 있다는 의미로 최대 frequency 개념을 재정의했고, OS는 CPPC highest performance capability register가 알리는 core 순서를 알아야 적절히 scheduling할 수 있습니다.

`amd-pstate` preferred core는 더 낮은 전압으로 더 높은 frequency를 낼 수 있는 core를 scheduler가 우선하도록 합니다. 순위는 workload, platform 조건, 열, 노화에 따라 동적으로 바뀔 수 있습니다.

Driver가 priority metric과 지원 여부를 초기화하고 boot 때 초기 core 순서를 제공합니다. Platform은 CPPC interface로 순위를 OS와 scheduler에 전달하며, highest performance 변경 메시지를 받으면 driver가 순위와 CPU priority를 갱신합니다.

Preferred core는 기본 활성입니다. 지원 system에서도 OS가 순위를 무시하게 하려면 kernel parameter `amd_prefcore=disable`을 사용합니다.

전역 sysfs attribute

전역 attribute는 `/sys/devices/system/cpu/amd_pstate/`에 있고 모든 CPU에 영향을 줍니다. `status`는 `active`, `passive`, `guided`, `disable` 중 하나입니다.

`status`에 유효한 문자열을 쓰면 해당 mode로 전환하고 `disable`이면 driver를 unregister합니다. `prefcore`는 `enabled` 또는 `disabled`이며 kernel parameter가 정한 preferred core 상태를 확인하는 read-only attribute입니다.

cpupower 정보 출력

`cpupower`는 `amd-pstate`를 지원하며 frequency 정보를 dump할 수 있습니다. 더 많은 module operation 지원은 개발 중입니다. 예시는 driver, coordination, transition latency, hardware limit, governor, policy, 현재 frequency, boost와 네 CPPC capability/frequency를 보여 줍니다.

root@hr-test1:/home/ray# cpupower frequency-info
analyzing CPU 0:
  driver: amd-pstate
  CPUs which run at the same hardware frequency: 0
  CPUs which need to have their frequency coordinated by software: 0
  maximum transition latency: 131 us
  hardware limits: 400 MHz - 4.68 GHz
  available cpufreq governors: ondemand conservative powersave userspace performance schedutil
  current policy: frequency should be within 400 MHz and 4.68 GHz.
                  The governor "schedutil" may decide which speed to use
                  within this range.
  current CPU frequency: Unable to call hardware
  current CPU frequency: 4.02 GHz (asserted by call to kernel)
  boost state support:
    Supported: yes
    Active: yes
    AMD PSTATE Highest Performance: 166. Maximum Frequency: 4.68 GHz.
    AMD PSTATE Nominal Performance: 117. Nominal Frequency: 3.30 GHz.
    AMD PSTATE Lowest Non-linear Performance: 39. Lowest Non-linear Frequency: 1.10 GHz.
    AMD PSTATE Lowest Performance: 15. Lowest Frequency: 400 MHz.

Trace event 진단

진단에는 CPUFreq 공통 `cpu_frequency`와 AMD 전용 `amd_pstate_perf` 두 static trace event를 사용합니다. Event tracing을 켠 kernel에서 다음 명령으로 AMD CPU event를 활성화하고 trace를 읽습니다.

root@hr-test1:/home/ray# cd /sys/kernel/tracing/
root@hr-test1:/sys/kernel/tracing# echo 1 > events/amd_cpu/enable
root@hr-test1:/sys/kernel/tracing# cat trace
# tracer: nop
#
# entries-in-buffer/entries-written: 47827/42233061   #P:2
#
#                                _-----=> irqs-off
#                               / _----=> need-resched
#                              | / _---=> hardirq/softirq
#                              || / _--=> preempt-depth
#                              ||| /     delay
#           TASK-PID     CPU#  ||||   TIMESTAMP  FUNCTION
#              | |         |   ||||      |         |
         <idle>-0       [015] dN...  4995.979886: amd_pstate_perf: amd_min_perf=85 amd_des_perf=85 amd_max_perf=166 cpu_id=15 changed=false fast_switch=true
         <idle>-0       [007] d.h..  4995.979893: amd_pstate_perf: amd_min_perf=85 amd_des_perf=85 amd_max_perf=166 cpu_id=7 changed=false fast_switch=true
            cat-2161    [000] d....  4995.980841: amd_pstate_perf: amd_min_perf=85 amd_des_perf=85 amd_max_perf=166 cpu_id=0 changed=false fast_switch=true
           sshd-2125    [004] d.s..  4995.980968: amd_pstate_perf: amd_min_perf=85 amd_des_perf=85 amd_max_perf=166 cpu_id=4 changed=false fast_switch=true
         <idle>-0       [007] d.s..  4995.980968: amd_pstate_perf: amd_min_perf=85 amd_des_perf=85 amd_max_perf=166 cpu_id=7 changed=false fast_switch=true
         <idle>-0       [003] d.s..  4995.980971: amd_pstate_perf: amd_min_perf=85 amd_des_perf=85 amd_max_perf=166 cpu_id=3 changed=false fast_switch=true
         <idle>-0       [011] d.s..  4995.980996: amd_pstate_perf: amd_min_perf=85 amd_des_perf=85 amd_max_perf=166 cpu_id=11 changed=false fast_switch=true

`amd_pstate_perf` 행은 min/desired/max performance, CPU ID, 변경 여부와 fast switch 상태를 기록합니다. `cpu_frequency` event는 연결된 policy가 `schedutil`이면 governor가, 다른 governor이면 CPUFreq core가 발생시킵니다.

amd_pstate_tracer.py

`amd_pstate_tracer.py`는 trace log를 기록·분석하고 performance plot을 만들어 driver를 debug하고 tune합니다. Intel pstate tracer를 import하며 위치는 `linux/tools/power/x86/amd_pstate_tracer`입니다.

기존 trace file을 분석하는 명령입니다.

./amd_pstate_trace.py [-c cpus] -t <trace_file> -n <test_name>

Root 권한으로 trace를 만들고 분석·plot까지 수행하는 명령입니다.

sudo ./amd_pstate_trace.py [-c cpus] -n <test_name> -i <interval> [-m kbytes]

결과는 `results/test_name`에 저장됩니다. 예시 행에는 CPU, timestamp, min/des/max performance, frequency, `mperf`, `apef`, `tsc`, load, duration, sample 수, elapsed time과 task 이름이 들어 있습니다.

common_cpu  common_secs  common_usecs  min_perf  des_perf  max_perf  freq    mperf   apef    tsc       load   duration_ms  sample_num  elapsed_time  common_comm
CPU_005     712          116384        39        49        166       0.7565  9645075 2214891 38431470  25.1   11.646       469         2.496         kworker/5:0-40
CPU_006     712          116408        39        49        166       0.6769  8950227 1839034 37192089  24.06  11.272       470         2.496         kworker/6:0-1264

Unit test 목적과 test case

`amd-pstate-ut`는 processor의 SBIOS/firmware/hardware 지원을 사용자가 확인하고, kernel update의 기본 기능 regression을 막으며, 향후 기능·성능 test 결과를 맞춰 power/performance scaling을 최적화하기 위한 module입니다.

Basic test는 `_CPC` 존재, driver 활성화, performance 값 순서, frequency 값과 boost 최대값을 검사합니다.

Tbench test는 `ondemand` 또는 `schedutil`에서 benchmark를 실행하며 desired performance, frequency, load, performance와 energy 변화를 감시합니다. 비교를 위해 `acpi-cpufreq`에서도 실행할 수 있습니다.

Gitsource test도 두 governor에서 source benchmark의 desired performance, frequency, load, time과 energy를 측정하고 `acpi-cpufreq`와 비교할 수 있습니다.

Kselftest build와 실행

Test는 kselftest framework의 `amd-pstate-ut` module로 구현됩니다. :c:macro:`CONFIG_X86_AMD_PSTATE`를 켜고 :c:macro:`CONFIG_X86_AMD_PSTATE_UT`를 `M`으로 설정한 뒤 project와 selftest, perf를 build합니다.

$ cd linux
$ make -C tools/testing/selftests

$ cd tools/perf/
$ make

Selftest를 `~/kselftest`에 설치하고 perf binary를 배치한 뒤 amd-pstate collection을 실행합니다. 이어지는 명령은 basic, tbench, gitsource와 `acpi-cpufreq` 비교 mode를 선택하고 help의 option 의미를 보여 줍니다.

    $ make -C tools/testing/selftests install INSTALL_PATH=~/kselftest
    $ cp tools/perf/perf /usr/bin/perf
    $ sudo ./kselftest/run_kselftest.sh -c amd-pstate

3). Specified test case ::

    $ cd ~/kselftest/amd-pstate
    $ sudo ./run.sh -t basic
    $ sudo ./run.sh -t tbench
    $ sudo ./run.sh -t tbench -m acpi-cpufreq
    $ sudo ./run.sh -t gitsource
    $ sudo ./run.sh -t gitsource -m acpi-cpufreq
    $ ./run.sh --help
    ./run.sh: illegal option -- -
    Usage: ./run.sh [OPTION...]
            [-h <help>]
            [-o <output-file-for-dump>]
            [-c <all: All testing,
                 basic: Basic testing,
                 tbench: Tbench testing,
                 gitsource: Gitsource testing.>]
            [-t <tbench time limit>]
            [-p <tbench process number>]
            [-l <loop times for tbench>]
            [-i <amd tracer interval>]
            [-m <comparative test: acpi-cpufreq>]

Basic, tbench와 gitsource 결과

Basic test가 끝나면 `dmesg`에서 네 검사 함수의 `success!` 결과를 확인합니다.

$ dmesg | grep "amd_pstate_ut" | tee log.txt
[12977.570663] amd_pstate_ut: 1    amd_pstate_ut_acpi_cpc_valid  success!
[12977.570673] amd_pstate_ut: 2    amd_pstate_ut_check_enabled   success!
[12977.571207] amd_pstate_ut: 3    amd_pstate_ut_check_perf      success!
[12977.571212] amd_pstate_ut: 4    amd_pstate_ut_check_freq      success!

Tbench는 `selftest.tbench.csv`와 PNG를 만듭니다. CSV에는 raw data와 비교 test의 차이가, PNG에는 각 test의 performance, energy, performance per watt가 들어 있습니다. 다음 원문 표는 세 round, average와 driver/governor 조합별 comparison을 보존합니다.

+-------------------------------------------------+--------------+----------+---------+----------+-------------+---------+----------------------+
+ Governor                                        | Round        | Des-perf | Freq    | Load     | Performance | Energy  | Performance Per Watt |
+-------------------------------------------------+--------------+----------+---------+----------+-------------+---------+----------------------+
+ Unit                                            |              |          | GHz     |          | MB/s        | J       | MB/J                 |
+=================================================+==============+==========+=========+==========+=============+=========+======================+
+ amd-pstate-ondemand                             | 1            |          |         |          | 2504.05     | 1563.67 | 158.5378             |
+-------------------------------------------------+--------------+----------+---------+----------+-------------+---------+----------------------+
+ amd-pstate-ondemand                             | 2            |          |         |          | 2243.64     | 1430.32 | 155.2941             |
+-------------------------------------------------+--------------+----------+---------+----------+-------------+---------+----------------------+
+ amd-pstate-ondemand                             | 3            |          |         |          | 2183.88     | 1401.32 | 154.2860             |
+-------------------------------------------------+--------------+----------+---------+----------+-------------+---------+----------------------+
+ amd-pstate-ondemand                             | Average      |          |         |          | 2310.52     | 1465.1  | 156.1268             |
+-------------------------------------------------+--------------+----------+---------+----------+-------------+---------+----------------------+
+ amd-pstate-schedutil                            | 1            | 165.329  | 1.62257 | 99.798   | 2136.54     | 1395.26 | 151.5971             |
+-------------------------------------------------+--------------+----------+---------+----------+-------------+---------+----------------------+
+ amd-pstate-schedutil                            | 2            | 166      | 1.49761 | 99.9993  | 2100.56     | 1380.5  | 150.6377             |
+-------------------------------------------------+--------------+----------+---------+----------+-------------+---------+----------------------+
+ amd-pstate-schedutil                            | 3            | 166      | 1.47806 | 99.9993  | 2084.12     | 1375.76 | 149.9737             |
+-------------------------------------------------+--------------+----------+---------+----------+-------------+---------+----------------------+
+ amd-pstate-schedutil                            | Average      | 165.776  | 1.53275 | 99.9322  | 2107.07     | 1383.84 | 150.7399             |
+-------------------------------------------------+--------------+----------+---------+----------+-------------+---------+----------------------+
+ acpi-cpufreq-ondemand                           | 1            |          |         |          | 2529.9      | 1564.4  | 160.0997             |
+-------------------------------------------------+--------------+----------+---------+----------+-------------+---------+----------------------+
+ acpi-cpufreq-ondemand                           | 2            |          |         |          | 2249.76     | 1432.97 | 155.4297             |
+-------------------------------------------------+--------------+----------+---------+----------+-------------+---------+----------------------+
+ acpi-cpufreq-ondemand                           | 3            |          |         |          | 2181.46     | 1406.88 | 153.5060             |
+-------------------------------------------------+--------------+----------+---------+----------+-------------+---------+----------------------+
+ acpi-cpufreq-ondemand                           | Average      |          |         |          | 2320.37     | 1468.08 | 156.4741             |
+-------------------------------------------------+--------------+----------+---------+----------+-------------+---------+----------------------+
+ acpi-cpufreq-schedutil                          | 1            |          |         |          | 2137.64     | 1385.24 | 152.7723             |
+-------------------------------------------------+--------------+----------+---------+----------+-------------+---------+----------------------+
+ acpi-cpufreq-schedutil                          | 2            |          |         |          | 2107.05     | 1372.23 | 152.0138             |
+-------------------------------------------------+--------------+----------+---------+----------+-------------+---------+----------------------+
+ acpi-cpufreq-schedutil                          | 3            |          |         |          | 2085.86     | 1365.35 | 151.2433             |
+-------------------------------------------------+--------------+----------+---------+----------+-------------+---------+----------------------+
+ acpi-cpufreq-schedutil                          | Average      |          |         |          | 2110.18     | 1374.27 | 152.0136             |
+-------------------------------------------------+--------------+----------+---------+----------+-------------+---------+----------------------+
+ acpi-cpufreq-ondemand VS acpi-cpufreq-schedutil | Comprison(%) |          |         |          | -9.0584     | -6.3899 | -2.8506              |
+-------------------------------------------------+--------------+----------+---------+----------+-------------+---------+----------------------+
+ amd-pstate-ondemand VS amd-pstate-schedutil     | Comprison(%) |          |         |          | 8.8053      | -5.5463 | -3.4503              |
+-------------------------------------------------+--------------+----------+---------+----------+-------------+---------+----------------------+
+ acpi-cpufreq-ondemand VS amd-pstate-ondemand    | Comprison(%) |          |         |          | -0.4245     | -0.2029 | -0.2219              |
+-------------------------------------------------+--------------+----------+---------+----------+-------------+---------+----------------------+
+ acpi-cpufreq-schedutil VS amd-pstate-schedutil  | Comprison(%) |          |         |          | -0.1473     | 0.6963  | -0.8378              |
+-------------------------------------------------+--------------+----------+---------+----------+-------------+---------+----------------------+

Gitsource도 `selftest.gitsource.csv`와 PNG를 만들며 같은 방식으로 raw data, 비교 차이, performance·energy·performance per watt를 기록합니다. 이 workload에서는 performance 열 대신 실행 시간(s)을 사용합니다.

+-------------------------------------------------+--------------+----------+----------+----------+-------------+---------+----------------------+
+ Governor                                        | Round        | Des-perf | Freq     | Load     | Time        | Energy  | Performance Per Watt |
+-------------------------------------------------+--------------+----------+----------+----------+-------------+---------+----------------------+
+ Unit                                            |              |          | GHz      |          | s           | J       | 1/J                  |
+=================================================+==============+==========+==========+==========+=============+=========+======================+
+ amd-pstate-ondemand                             | 1            | 50.119   | 2.10509  | 23.3076  | 475.69      | 865.78  | 0.001155027          |
+-------------------------------------------------+--------------+----------+----------+----------+-------------+---------+----------------------+
+ amd-pstate-ondemand                             | 2            | 94.8006  | 1.98771  | 56.6533  | 467.1       | 839.67  | 0.001190944          |
+-------------------------------------------------+--------------+----------+----------+----------+-------------+---------+----------------------+
+ amd-pstate-ondemand                             | 3            | 76.6091  | 2.53251  | 43.7791  | 467.69      | 855.85  | 0.001168429          |
+-------------------------------------------------+--------------+----------+----------+----------+-------------+---------+----------------------+
+ amd-pstate-ondemand                             | Average      | 73.8429  | 2.20844  | 41.2467  | 470.16      | 853.767 | 0.001171279          |
+-------------------------------------------------+--------------+----------+----------+----------+-------------+---------+----------------------+
+ amd-pstate-schedutil                            | 1            | 165.919  | 1.62319  | 98.3868  | 464.17      | 866.8   | 0.001153668          |
+-------------------------------------------------+--------------+----------+----------+----------+-------------+---------+----------------------+
+ amd-pstate-schedutil                            | 2            | 165.97   | 1.31309  | 99.5712  | 480.15      | 880.4   | 0.001135847          |
+-------------------------------------------------+--------------+----------+----------+----------+-------------+---------+----------------------+
+ amd-pstate-schedutil                            | 3            | 165.973  | 1.28448  | 99.9252  | 481.79      | 867.02  | 0.001153375          |
+-------------------------------------------------+--------------+----------+----------+----------+-------------+---------+----------------------+
+ amd-pstate-schedutil                            | Average      | 165.954  | 1.40692  | 99.2944  | 475.37      | 871.407 | 0.001147569          |
+-------------------------------------------------+--------------+----------+----------+----------+-------------+---------+----------------------+
+ acpi-cpufreq-ondemand                           | 1            |          |          |          | 2379.62     | 742.96  | 0.001345967          |
+-------------------------------------------------+--------------+----------+----------+----------+-------------+---------+----------------------+
+ acpi-cpufreq-ondemand                           | 2            |          |          |          | 441.74      | 817.49  | 0.001223256          |
+-------------------------------------------------+--------------+----------+----------+----------+-------------+---------+----------------------+
+ acpi-cpufreq-ondemand                           | 3            |          |          |          | 455.48      | 820.01  | 0.001219497          |
+-------------------------------------------------+--------------+----------+----------+----------+-------------+---------+----------------------+
+ acpi-cpufreq-ondemand                           | Average      |          |          |          | 425.613     | 793.487 | 0.001260260          |
+-------------------------------------------------+--------------+----------+----------+----------+-------------+---------+----------------------+
+ acpi-cpufreq-schedutil                          | 1            |          |          |          | 459.69      | 838.54  | 0.001192548          |
+-------------------------------------------------+--------------+----------+----------+----------+-------------+---------+----------------------+
+ acpi-cpufreq-schedutil                          | 2            |          |          |          | 466.55      | 830.89  | 0.001203528          |
+-------------------------------------------------+--------------+----------+----------+----------+-------------+---------+----------------------+
+ acpi-cpufreq-schedutil                          | 3            |          |          |          | 470.38      | 837.32  | 0.001194286          |
+-------------------------------------------------+--------------+----------+----------+----------+-------------+---------+----------------------+
+ acpi-cpufreq-schedutil                          | Average      |          |          |          | 465.54      | 835.583 | 0.001196769          |
+-------------------------------------------------+--------------+----------+----------+----------+-------------+---------+----------------------+
+ acpi-cpufreq-ondemand VS acpi-cpufreq-schedutil | Comprison(%) |          |          |          | 9.3810      | 5.3051  | -5.0379              |
+-------------------------------------------------+--------------+----------+----------+----------+-------------+---------+----------------------+
+ amd-pstate-ondemand VS amd-pstate-schedutil     | Comprison(%) | 124.7392 | -36.2934 | 140.7329 | 1.1081      | 2.0661  | -2.0242              |
+-------------------------------------------------+--------------+----------+----------+----------+-------------+---------+----------------------+
+ acpi-cpufreq-ondemand VS amd-pstate-ondemand    | Comprison(%) |          |          |          | 10.4665     | 7.5968  | -7.0605              |
+-------------------------------------------------+--------------+----------+----------+----------+-------------+---------+----------------------+
+ acpi-cpufreq-schedutil VS amd-pstate-schedutil  | Comprison(%) |          |          |          | 2.1115      | 4.2873  | -4.1110              |
+-------------------------------------------------+--------------+----------+----------+----------+-------------+---------+----------------------+

참고 문헌

[1] `AMD64 Architecture Programmer's Manual Volume 2: System Programming`은 AMD64 system programming 사양입니다: `https://www.amd.com/system/files/TechDocs/24593.pdf`.

[2] `Advanced Configuration and Power Interface Specification`은 ACPI 6.4 사양입니다: `https://uefi.org/sites/default/files/resources/ACPI_Spec_6_4_Jan22.pdf`.

[3] `Processor Programming Reference (PPR) for AMD Family 19h Model 51h, Revision A1 Processors`: `https://www.amd.com/system/files/TechDocs/56569-A1-PUB.zip`.

[4] `Linux Kernel Selftests`: `https://www.kernel.org/doc/html/latest/dev-tools/kselftest.html`.