PSCI CPU_ON과 suspend 상태

Linux CPU_ON 요청부터 새 CPU의 online까지

Linux v6.18.37 ARM64의 CPU_ON 호출에서 x1은 cpu_logical_map(cpu), x2는 secondary_entry의 물리 주소, x3은 context_id 0입니다. idle 태스크 포인터는 x3가 아니라 secondary_data.task에 따로 저장합니다. 펌웨어의 성공 반환 뒤에도 Linux는 새 CPU의 완료 통지와 online 상태를 확인합니다.

TF-A LTS 2.14.3은 대상 CPU의 잠금을 사용해 상태 검사와 ON_PENDING 전이를 보호합니다. warm boot에서는 CPU_ON과 suspend 복귀를 나누고, cm_init_my_context로 비보안 context를 준비합니다. HVC 경로는 EL2의 구현·중계를 구별해야 하며 HVC가 TF-A EL3에 직접 들어가는 명령은 아닙니다.

양쪽 코드를 이어서 읽기

QUESTION

PSCI CPU_ON과 suspend 상태 단계에서 실제로 바뀌는 상태는 무엇인가?

STRUCTURE

객체와 주소가 놓이는 구조

CALL PATH

실행 흐름

STATE LEDGER

단계별 입력과 출력

각 단계의 입력과 처리 후 바뀌는 상태를 정리한 표다. 사용 중인 소스 버전에서 다른 필드를 변경한다면 그에 맞춰 표도 수정한다.

분석 범위의 전제와 비교해, 다음 단계에 잘못된 입력을 넘긴 부분부터 조사한다.

VISUAL WALKTHROUGH

주소와 객체의 이동을 그림으로 읽기

아래 그림은 주소, 객체를 사용하는 기간, 제어권을 넘기는 시점을 중심으로 정리했다. 실제 주소와 크기는 사용 중인 보드의 bdinfo, 맵 파일과 링커 심벌로 확인한다.

UPSTREAM SOURCE

원본 코드

아래 코드는 Trusted Firmware-A LTS 2.14.3의 lib/psci/psci_main.c에서 402-490줄을 그대로 가져온 것이다. 설명을 위해 실제 코드를 가짜 의사 코드로 바꾸지 않았다.

402	}
403
404	if (mode == OS_INIT) {
405		/*
406		 * Check if all CPUs in the system are ON or if the current
407		 * CPU is the last ON CPU in the system.
408		 */
409		if (!(psci_are_all_cpus_on_safe(this_core) ||
410		      psci_is_last_on_cpu_safe(this_core))) {
411			return PSCI_E_DENIED;
412		}
413	}
414
415	psci_suspend_mode = mode;
416	psci_flush_dcache_range((uintptr_t)&psci_suspend_mode,
417				sizeof(psci_suspend_mode));
418
419	return PSCI_E_SUCCESS;
420}
421#endif
422
423/*******************************************************************************
424 * PSCI top level handler for servicing SMCs.
425 ******************************************************************************/
426u_register_t psci_smc_handler(uint32_t smc_fid,
427			  u_register_t x1,
428			  u_register_t x2,
429			  u_register_t x3,
430			  u_register_t x4,
431			  void *cookie,
432			  void *handle,
433			  u_register_t flags)
434{
435	(void)x4;
436	(void)cookie;
437	(void)handle;
438	u_register_t ret;
439
440	if (!is_caller_non_secure(flags)) {
441		return (u_register_t)SMC_UNK;
442	}
443
444	/* Check the fid against the capabilities */
445	if ((psci_caps & define_psci_cap(smc_fid)) == 0U) {
446		return (u_register_t)SMC_UNK;
447	}
448
449	if (((smc_fid >> FUNCID_CC_SHIFT) & FUNCID_CC_MASK) == SMC_32) {
450		/* 32-bit PSCI function, clear top parameter bits */
451
452		uint32_t r1 = (uint32_t)x1;
453		uint32_t r2 = (uint32_t)x2;
454		uint32_t r3 = (uint32_t)x3;
455
456		switch (smc_fid) {
457		case PSCI_VERSION:
458			ret = (u_register_t)psci_version();
459			break;
460
461		case PSCI_CPU_OFF:
462			ret = (u_register_t)psci_cpu_off();
463			break;
464
465		case PSCI_CPU_SUSPEND_AARCH32:
466			ret = (u_register_t)psci_cpu_suspend(r1, r2, r3);
467			break;
468
469		case PSCI_CPU_ON_AARCH32:
470			ret = (u_register_t)psci_cpu_on(r1, r2, r3);
471			break;
472
473		case PSCI_AFFINITY_INFO_AARCH32:
474			ret = (u_register_t)psci_affinity_info(r1, r2);
475			break;
476
477		case PSCI_MIG_AARCH32:
478			ret = (u_register_t)psci_migrate(r1);
479			break;
480
481		case PSCI_MIG_INFO_TYPE:
482			ret = (u_register_t)psci_migrate_info_type();
483			break;
484
485		case PSCI_MIG_INFO_UP_CPU_AARCH32:
486			ret = psci_migrate_info_up_cpu();
487			break;
488
489		case PSCI_NODE_HW_STATE_AARCH32:
490			ret = (u_register_t)psci_node_hw_state(r1, r2);

READING CONTRACT

발췌 범위와 읽기 기준

원문 402-490줄에는 앞뒤 문맥이 포함됩니다. 기준 구문 u_register_t psci_smc_handler(uint32_t smc_fid은 L426에 있습니다. 발췌 첫 줄을 함수 정의의 시작으로 해석하지 않습니다.

PSCI 반환값과 실제 hardware 전원 상태는 같은 시점에 바뀌지 않는다. pending, on, off state와 cache/coherency 경계를 따로 기록한다.

RELATED SOURCE

함께 읽어야 하는 원본 코드

첫 코드 조각만으로 동작이 완성되지 않는 경우 호출 매크로, 객체 정의와 실제 실행 목록을 같은 페이지에 묶었다. 각 조각은 같은 기준 commit에서 가져왔다.

15#include <lib/runtime_instr.h>
16#include <lib/smccc.h>
17#include <plat/common/platform.h>
18#include <services/arm_arch_svc.h>
19
20#include "psci_private.h"
21
22/*******************************************************************************
23 * PSCI frontend api for servicing SMCs. Described in the PSCI spec.
24 ******************************************************************************/
25int psci_cpu_on(u_register_t target_cpu,
26		uintptr_t entrypoint,
27		u_register_t context_id)
28
29{
30	int rc;
31	entry_point_info_t *ep = NULL;
32	unsigned int target_idx = (unsigned int)plat_core_pos_by_mpidr(target_cpu);
33
34	/* Validate the target CPU */
35	if (!is_valid_mpidr(target_cpu)) {
36		return PSCI_E_INVALID_PARAMS;
37	}
38
39	ep = get_cpu_data_by_index(target_idx, warmboot_ep_info);
40	/* Validate the lower EL entry point and put it in the entry_point_info */
41	rc = psci_validate_entry_point(ep, entrypoint, context_id);
42	if (rc != PSCI_E_SUCCESS) {
43		return rc;
44	}
45
46	/*
47	 * To turn this cpu on, specify which power
48	 * levels need to be turned on
49	 */
50	return psci_cpu_on_start(target_cpu, ep);
51}
52
53unsigned int psci_version(void)
54{
55	return PSCI_MAJOR_VER | PSCI_MINOR_VER;
56}
57
58int psci_cpu_suspend(unsigned int power_state,
59		     uintptr_t entrypoint,
60		     u_register_t context_id)
61{
62	int rc;
63	unsigned int target_pwrlvl, is_power_down_state;
64	psci_power_state_t state_info = { {PSCI_LOCAL_STATE_RUN} };
65	plat_local_state_t cpu_pd_state;
66	unsigned int cpu_idx = plat_my_core_pos();
67
68	/* Validate the power_state parameter */
69	rc = psci_validate_power_state(power_state, &state_info);
70	if (rc != PSCI_E_SUCCESS) {
71		assert(rc == PSCI_E_INVALID_PARAMS);
72		return rc;
73	}
74
75	/*
76	 * Get the value of the state type bit from the power state parameter.
77	 */
78	is_power_down_state = psci_get_pstate_type(power_state);
79
80	/* Sanity check the requested suspend levels */
81	assert(psci_validate_suspend_req(&state_info, is_power_down_state)
82			== PSCI_E_SUCCESS);
83
84	target_pwrlvl = psci_find_target_suspend_lvl(&state_info);
85	if (target_pwrlvl == PSCI_INVALID_PWR_LVL) {
86		ERROR("Invalid target power level for suspend operation\n");
87		panic();
88	}
89
90	/* Fast path for local CPU standby, won't interact with higher power levels. */
91	if (is_cpu_standby_req(is_power_down_state, target_pwrlvl)) {
92		if  (psci_plat_pm_ops->cpu_standby == NULL) {
93			return PSCI_E_INVALID_PARAMS;
94		}
95
96		/*
97		 * Set the state of the CPU power domain to the platform
98		 * specific retention state and enter the standby state.
99		 */
100		cpu_pd_state = state_info.pwr_domain_state[PSCI_CPU_PWR_LVL];
101		psci_set_cpu_local_state(cpu_pd_state);
102
103#if ENABLE_PSCI_STAT
104		plat_psci_stat_accounting_start(&state_info);
105#endif

48	 * levels need to be turned on
49	 */
50	return psci_cpu_on_start(target_cpu, ep);
51}
52
53unsigned int psci_version(void)
54{
55	return PSCI_MAJOR_VER | PSCI_MINOR_VER;
56}
57
58int psci_cpu_suspend(unsigned int power_state,
59		     uintptr_t entrypoint,
60		     u_register_t context_id)
61{
62	int rc;
63	unsigned int target_pwrlvl, is_power_down_state;
64	psci_power_state_t state_info = { {PSCI_LOCAL_STATE_RUN} };
65	plat_local_state_t cpu_pd_state;
66	unsigned int cpu_idx = plat_my_core_pos();
67
68	/* Validate the power_state parameter */
69	rc = psci_validate_power_state(power_state, &state_info);
70	if (rc != PSCI_E_SUCCESS) {
71		assert(rc == PSCI_E_INVALID_PARAMS);
72		return rc;
73	}
74
75	/*
76	 * Get the value of the state type bit from the power state parameter.
77	 */
78	is_power_down_state = psci_get_pstate_type(power_state);
79
80	/* Sanity check the requested suspend levels */
81	assert(psci_validate_suspend_req(&state_info, is_power_down_state)
82			== PSCI_E_SUCCESS);
83
84	target_pwrlvl = psci_find_target_suspend_lvl(&state_info);
85	if (target_pwrlvl == PSCI_INVALID_PWR_LVL) {
86		ERROR("Invalid target power level for suspend operation\n");
87		panic();
88	}
89
90	/* Fast path for local CPU standby, won't interact with higher power levels. */
91	if (is_cpu_standby_req(is_power_down_state, target_pwrlvl)) {
92		if  (psci_plat_pm_ops->cpu_standby == NULL) {
93			return PSCI_E_INVALID_PARAMS;
94		}
95
96		/*
97		 * Set the state of the CPU power domain to the platform
98		 * specific retention state and enter the standby state.
99		 */
100		cpu_pd_state = state_info.pwr_domain_state[PSCI_CPU_PWR_LVL];
101		psci_set_cpu_local_state(cpu_pd_state);
102
103#if ENABLE_PSCI_STAT
104		plat_psci_stat_accounting_start(&state_info);
105#endif
106
107#if ENABLE_RUNTIME_INSTRUMENTATION
108		PMF_CAPTURE_TIMESTAMP(rt_instr_svc,
109		    RT_INSTR_ENTER_HW_LOW_PWR,
110		    PMF_NO_CACHE_MAINT);
111#endif
112
113		psci_plat_pm_ops->cpu_standby(cpu_pd_state);
114
115		/* Upon exit from standby, set the state back to RUN. */
116		psci_set_cpu_local_state(PSCI_LOCAL_STATE_RUN);
117
118#if ENABLE_RUNTIME_INSTRUMENTATION
119		PMF_CAPTURE_TIMESTAMP(rt_instr_svc,
120		    RT_INSTR_EXIT_HW_LOW_PWR,
121		    PMF_NO_CACHE_MAINT);
122#endif
123
124#if ENABLE_PSCI_STAT
125		plat_psci_stat_accounting_stop(&state_info);
126
127		/* Update PSCI stats */
128		psci_stats_update_pwr_up(cpu_idx, PSCI_CPU_PWR_LVL, &state_info);
129#endif
130
131		return PSCI_E_SUCCESS;
132	}
133
134	/*
135	 * If a power down state has been requested, we need to verify entry
136	 * point and program entry information.
137	 */
138	if (is_power_down_state != 0U) {
139		entry_point_info_t *ep = get_cpu_data_by_index(cpu_idx, warmboot_ep_info);
140
141		rc = psci_validate_entry_point(ep, entrypoint, context_id);
142		if (rc != PSCI_E_SUCCESS) {
143			return rc;
144		}
145	}
146
147	/*
148	 * Do what is needed to enter the power down state. Upon success,
149	 * enter the final wfi which will power down this CPU. This function
150	 * might return if the power down was abandoned for any reason, e.g.
151	 * arrival of an interrupt
152	 */
153	rc = psci_cpu_suspend_start(cpu_idx,
154				    target_pwrlvl,
155				    &state_info,
156				    is_power_down_state);
157
158	return rc;

DETAILS

내부 동작을 더 깊게 읽기

IMPLEMENTATION NOTES

구현을 읽을 때 놓치기 쉬운 부분

OBJECT LIFETIME

객체와 수명

FAILURE PATH

실패 지점과 증상

로그가 끊긴 함수뿐 아니라 그 함수에 주소, 크기, 플래그를 전달한 앞 단계도 조사한다. 오류 처리 후 등록된 객체나 하드웨어 설정이 그대로 남아 있는지도 확인한다.

EVIDENCE

소스 밖에서 확인할 증거

소스에서 파악한 동작을 실제 빌드 결과와 대상 보드의 로그로 확인한다. 아래 명령의 보드 이름과 툴체인 접두사는 사용 중인 빌드 환경에 맞게 바꾼다.

LAB

직접 확인할 실험

1. 01
   동일 CPU에 동시 CPU_ON 요청

   validate function/args 진입 전후에 psci_power_state_t의 주소·크기·반환값과 timestamp를 함께 남긴다.

2. 02
   affinity_info 변화 시간 측정

   lock affinity state 진입 전후에 affinity_info_state의 주소·크기·반환값과 timestamp를 함께 남긴다.

3. 03
   warm entry에서 context_id와 entrypoint 기록

   platform power op 진입 전후에 per-CPU data의 주소·크기·반환값과 timestamp를 함께 남긴다.

PRIMARY REFERENCES

원문과 다음 글