HiSilicon SoC Uncore Performance Monitoring Unit

독립 uncore PMU와 SoC topology

HiSilicon SoC chip에는 L3 cache (L3C), Hydra Home Agent (HHA), DDRC처럼 서로 독립적인 system device PMU가 있습니다. 각 PMU는 통계와 성능 정보를 수집하는 자체 hardware logic을 갖습니다.

SoC는 여러 CPU die와 IO die를 포함합니다. 각 CPU cluster (CCL)는 L3 cache 하나를 공유하는 CPU core 4개로 구성되고, Super CPU cluster (SCCL)라고 부르는 CPU die 하나는 CCL 6개로 구성됩니다.

Perf PMU 등록, CPU affinity, 사용법

각 device PMU에는 event counting, control, interrupt용 register가 따로 있습니다. Driver는 L3C, HHA, DDRC 등을 각각 독립 perf PMU로 등록하고 sysfs에 사용 가능한 event와 configuration option을 설명합니다.

/sys/bus/event_source/devices/hisi_sccl{X}_<l3c{Y}/hha{Y}/ddrc{Y}>

`perf list`는 sysfs에서 event를 읽어 나열합니다. PMU 이름은 `hisi_sccl<sccl-id>_module<index-id>` 형식이며 `sccl-id`는 SCCL 식별자, `index-id`는 module index입니다.

`hisi_sccl3_l3c0/rd_hit_cpipe`는 SCCL ID 3의 L3C index 0에 있는 `READ_HIT_CPIPE` event이고, `hisi_sccl1_hha0/rx_operations`는 SCCL ID 1의 HHA index 0에 있는 `RX_OPERATIONS` event입니다.

`cpumask`는 userspace 도구인 perf가 event를 열 CPU를 고르는 hint이며, `associated_cpus` 중 CPU 하나만 포함합니다.

$# perf list
hisi_sccl3_l3c0/rd_hit_cpipe/ [kernel PMU event]
------------------------------------------
hisi_sccl3_l3c0/wr_hit_cpipe/ [kernel PMU event]
------------------------------------------
hisi_sccl1_l3c0/rd_hit_cpipe/ [kernel PMU event]
------------------------------------------
hisi_sccl1_l3c0/wr_hit_cpipe/ [kernel PMU event]
------------------------------------------

$# perf stat -a -e hisi_sccl3_l3c0/rd_hit_cpipe/ sleep 5
$# perf stat -a -e hisi_sccl3_l3c0/config=0x02/ sleep 5

PMU v2 core, tracetag, data source filter

`identifier`가 `0x30`인 HiSilicon uncore PMU v2는 PMU v1과 topology는 같지만 hardware 기능이 추가되었습니다.

L3C PMU의 `tt_core` bitmap으로 cluster 안의 core/thread를 고를 수 있습니다. 다음 예제의 `tt_core=0x3`은 core/thread 0과 1에서 온 operation만 셉니다.

$# perf stat -a -e hisi_sccl3_l3c0/config=0x02,tt_core=0x3/ sleep 5

Tracetag의 `tt_req`는 3bits이며 read, write, atomic operation 중 셀 요청 종류를 고릅니다. 기본값은 모든 operation을 셉니다.

$# perf stat -a -e hisi_sccl3_l3c0/config=0x02,tt_req=0x4/ sleep 5

`datasrc`는 5 bits로 데이터 출처를 구분하여 CPU core에 가장 가까운 data source를 찾는 데 도움을 줍니다.

Multi-chip에서 `datasrc_cfg`를 사용하려면 perf command에 `datasrc_skt`도 설정해야 합니다.

$# perf stat -a -e hisi_sccl3_l3c0/config=0xb9,datasrc_cfg=0xE/,
hisi_sccl3_l3c0/config=0xb9,datasrc_cfg=0xF/ sleep 5

CCL/ICL ID와 channel filter

일부 HiSilicon SoC에는 여러 CPU die와 IO die가 있습니다. CPU die에는 여러 Compute Cluster (CCL)가 있고, Super I/O cluster (SICL)라고 부르는 I/O die에는 여러 I/O cluster (ICL)가 있습니다.

각 CCL/ICL은 6-bit SCCL-ID와 5-bit CCL/ICL-ID를 합친 고유한 11bits ID를 갖습니다. I/O die의 ICL-ID는 다음과 같습니다.

`uring_channel`은 UC PMU event `0x47~0x59`가 전송된 tx request uring channel을 2 bits 값으로 거릅니다.

NoC PMU의 `ch` option은 특정 transaction channel의 event count만 선택합니다.

`tt_en`을 설정하면 NoC PMU는 tracetag가 설정된 transaction만 셉니다. Tracetag의 요청 종류는 앞의 두 번째 v2 기능인 `tt_req` 설명을 따릅니다.

Sub-ID, ext, source/target ID filter

`identifier`가 `0x40`인 HiSilicon uncore PMU v3에서는 더 세밀한 tracing을 위해 일부 uncore PMU를 여러 hardware part로 나눕니다. 각 part는 전용 PMU를 가지며, 이 PMU들을 합쳐 특정 uncore device의 event 전체를 감시합니다.

/sys/bus/event_source/devices/hisi_sccl{X}_<l3c{Y}_{Z}/ddrc{Y}_{Z}/noc{Y}_{Z}>

`Z`는 hardware device의 서로 다른 part를 나타내는 sub-ID입니다. 대부분 sub-ID별 PMU 사용법은 같지만 L3C PMU는 더 세밀한 통계를 탐색하도록 `ext` option을 제공합니다.

Event name을 사용하는 기본 part 예제입니다.

$# perf stat -a -e hisi_sccl0_l3c1_0/rd_spipe/ sleep 5

다른 part에 event code를 전달하는 예제입니다.

$# perf stat -a -e hisi_sccl0_l3c1_0/event=0x1,ext=1/ sleep 5

`hisi_sccl0_l3c1_0`은 Super CPU CLuster 0, L3 cache 1, pipe 0의 PMU를 가리킵니다. 첫 command는 기본 `ext=0`이므로 L3C의 첫 part를 선택하고, 두 번째 command는 `event=0x1,ext=1`로 다른 part에서 event `0x1`을 셉니다.

특정 CCL/ICL에서 온 data는 source ID pair로, 특정 CCL/ICL을 향하는 data는 target ID pair로 거릅니다.

`srcid_msk` 또는 `tgtid_msk`에서 bit를 1로 설정하면 PMU는 각각 `srcid_cmd` 또는 `tgtid_cmd`와 비교할 때 그 bit를 검사하지 않습니다. 모든 option을 끄면 filter condition과 ID를 구분하지 않는 기본값으로 동작하여 PMU counter의 total counter values를 반환합니다.

Uncore 제약과 event 목록

SoC의 PMU device가 지원하는 완전한 event 목록과 추가 정보가 필요하면 maintainer에게 문의해야 합니다.