GICv3 Group 0/1 interrupt routing

QUESTION

GICv3 Group 0/1 interrupt routing 단계에서 실제로 바뀌는 상태는 무엇인가?

STRUCTURE

객체와 주소가 놓이는 구조

CALL PATH

실행 흐름

STATE LEDGER

단계별 입력과 출력

각 단계의 입력과 처리 후 바뀌는 상태를 정리한 표다. 사용 중인 소스 버전에서 다른 필드를 변경한다면 그에 맞춰 표도 수정한다.

분석 범위의 전제와 비교해, 다음 단계에 잘못된 입력을 넘긴 부분부터 조사한다.

VISUAL WALKTHROUGH

주소와 객체의 이동을 그림으로 읽기

아래 그림은 주소, 객체를 사용하는 기간, 제어권을 넘기는 시점을 중심으로 정리했다. 실제 주소와 크기는 사용 중인 보드의 bdinfo, 맵 파일과 링커 심벌로 확인한다.

UPSTREAM SOURCE

원본 코드

아래 코드는 Trusted Firmware-A LTS 2.14.3의 drivers/arm/gic/v3/gicv3_main.c에서 76-164줄을 그대로 가져온 것이다. 설명을 위해 실제 코드를 가짜 의사 코드로 바꾸지 않았다.

76			(ctx)->gicd_##reg[(int_id - (MIN_ESPI_ID -	\
77			round_up(TOTAL_SPI_INTR_NUM, 1U << REG##R_SHIFT)))\
78						>> REG##R_SHIFT]);	\
79		}							\
80	} while (false)
81
82#define SAVE_GICD_EREGS(base, ctx, intr_num, reg, REG)			\
83	do {								\
84		for (unsigned int int_id = MIN_ESPI_ID; int_id < (intr_num);\
85				int_id += (1U << REG##R_SHIFT)) {	\
86			(ctx)->gicd_##reg[(int_id - (MIN_ESPI_ID -	\
87			round_up(TOTAL_SPI_INTR_NUM, 1U << REG##R_SHIFT)))\
88			>> REG##R_SHIFT] = gicd_read_##reg((base), int_id);\
89		}							\
90	} while (false)
91#else
92#define SAVE_GICD_EREGS(base, ctx, intr_num, reg, REG)
93#define RESTORE_GICD_EREGS(base, ctx, intr_num, reg, REG)
94#endif /* GIC_EXT_INTID */
95
96/*******************************************************************************
97 * This function initialises the ARM GICv3 driver in EL3 with provided platform
98 * inputs.
99 ******************************************************************************/
100void __init gicv3_driver_init(const gicv3_driver_data_t *plat_driver_data)
101{
102	unsigned int gic_version;
103	unsigned int gicv2_compat;
104
105	assert(plat_driver_data != NULL);
106	assert(plat_driver_data->gicd_base != 0U);
107	assert(plat_driver_data->rdistif_num != 0U);
108	assert(plat_driver_data->rdistif_base_addrs != NULL);
109
110	assert(IS_IN_EL3());
111
112	assert((plat_driver_data->interrupt_props_num == 0U) ||
113			(plat_driver_data->interrupt_props != NULL));
114
115	/* Check for system register support */
116#ifndef __aarch64__
117	assert((read_id_pfr1() &
118			(ID_PFR1_GIC_MASK << ID_PFR1_GIC_SHIFT)) != 0U);
119#else
120	assert((read_id_aa64pfr0_el1() &
121			(ID_AA64PFR0_GIC_MASK << ID_AA64PFR0_GIC_SHIFT)) != 0U);
122#endif /* !__aarch64__ */
123
124	gic_version = gicd_read_pidr2(plat_driver_data->gicd_base);
125	gic_version >>= PIDR2_ARCH_REV_SHIFT;
126	gic_version &= PIDR2_ARCH_REV_MASK;
127
128	/* Check GIC version */
129#if !GIC_ENABLE_V4_EXTN
130	assert(gic_version == ARCH_REV_GICV3);
131#endif
132	/*
133	 * Find out whether the GIC supports the GICv2 compatibility mode.
134	 * The ARE_S bit resets to 0 if supported
135	 */
136	gicv2_compat = gicd_read_ctlr(plat_driver_data->gicd_base);
137	gicv2_compat >>= CTLR_ARE_S_SHIFT;
138	gicv2_compat = gicv2_compat & CTLR_ARE_S_MASK;
139
140	if (plat_driver_data->gicr_base != 0U) {
141		/*
142		 * Find the base address of each implemented Redistributor interface.
143		 * The number of interfaces should be equal to the number of CPUs in the
144		 * system. The memory for saving these addresses has to be allocated by
145		 * the platform port
146		 */
147		gicv3_rdistif_base_addrs_probe(plat_driver_data->rdistif_base_addrs,
148						   plat_driver_data->rdistif_num,
149						   plat_driver_data->gicr_base,
150						   plat_driver_data->mpidr_to_core_pos);
151#if !HW_ASSISTED_COHERENCY
152		/*
153		 * Flush the rdistif_base_addrs[] contents linked to the GICv3 driver.
154		 */
155		flush_dcache_range((uintptr_t)(plat_driver_data->rdistif_base_addrs),
156			plat_driver_data->rdistif_num *
157			sizeof(*(plat_driver_data->rdistif_base_addrs)));
158#endif
159	}
160	gicv3_driver_data = plat_driver_data;
161
162	/*
163	 * The GIC driver data is initialized by the primary CPU with caches
164	 * enabled. When the secondary CPU boots up, it initializes the

READING CONTRACT

발췌 범위와 읽기 기준

원문 76-164줄에는 앞뒤 문맥이 포함됩니다. 기준 구문 void __init gicv3_driver_init(은 L100에 있습니다. 발췌 첫 줄을 함수 정의의 시작으로 해석하지 않습니다.

interrupt ID만 보지 말고 group, priority, security state, route target과 EOI/deactivate 책임을 함께 본다.

RELATED SOURCE

함께 읽어야 하는 원본 코드

첫 코드 조각만으로 동작이 완성되지 않는 경우 호출 매크로, 객체 정의와 실제 실행 목록을 같은 페이지에 묶었다. 각 조각은 같은 기준 commit에서 가져왔다.

265void gicv3_rdistif_off(unsigned int proc_num)
266{
267}
268
269void gicv3_rdistif_on(unsigned int proc_num)
270{
271}
272
273/*******************************************************************************
274 * This function enables the GIC CPU interface of the calling CPU using only
275 * system register accesses.
276 ******************************************************************************/
277void gicv3_cpuif_enable(unsigned int proc_num)
278{
279	uintptr_t gicr_base;
280	u_register_t scr_el3;
281	unsigned int icc_sre_el3;
282
283	assert(gicv3_driver_data != NULL);
284	assert(proc_num < gicv3_driver_data->rdistif_num);
285	assert(gicv3_driver_data->rdistif_base_addrs != NULL);
286	assert(IS_IN_EL3());
287
288	/* Mark the connected core as awake */
289	gicr_base = gicv3_driver_data->rdistif_base_addrs[proc_num];
290	gicv3_rdistif_mark_core_awake(gicr_base);
291
292	/* Disable the legacy interrupt bypass */
293	icc_sre_el3 = ICC_SRE_DIB_BIT | ICC_SRE_DFB_BIT;
294
295	/*
296	 * Enable system register access for EL3 and allow lower exception
297	 * levels to configure the same for themselves. If the legacy mode is
298	 * not supported, the SRE bit is RAO/WI
299	 */
300	icc_sre_el3 |= (ICC_SRE_EN_BIT | ICC_SRE_SRE_BIT);
301	write_icc_sre_el3(read_icc_sre_el3() | icc_sre_el3);
302
303	scr_el3 = read_scr_el3();
304
305	/*
306	 * Switch to NS state to write Non secure ICC_SRE_EL1 and
307	 * ICC_SRE_EL2 registers.
308	 */
309	write_scr_el3(scr_el3 | SCR_NS_BIT);
310	isb();
311
312	write_icc_sre_el2(read_icc_sre_el2() | icc_sre_el3);
313	write_icc_sre_el1(ICC_SRE_SRE_BIT);
314	isb();
315
316	/* Switch to secure state. */
317	write_scr_el3(scr_el3 & (~SCR_NS_BIT));
318	isb();
319
320	/* Write the secure ICC_SRE_EL1 register */
321	write_icc_sre_el1(ICC_SRE_SRE_BIT);
322	isb();
323
324	/* Program the idle priority in the PMR */
325	write_icc_pmr_el1(GIC_PRI_MASK);
326
327	/* Enable Group0 interrupts */
328	write_icc_igrpen0_el1(IGRPEN1_EL1_ENABLE_G0_BIT);
329
330	/* Enable Group1 Secure interrupts */
331	write_icc_igrpen1_el3(read_icc_igrpen1_el3() |
332				IGRPEN1_EL3_ENABLE_G1S_BIT);
333	/* and restore the original */
334	write_scr_el3(scr_el3);
335	isb();
336	/* Add DSB to ensure visibility of System register writes */
337	dsb();
338}
339
340/*******************************************************************************
341 * This function disables the GIC CPU interface of the calling CPU using
342 * only system register accesses.
343 ******************************************************************************/
344void gicv3_cpuif_disable(unsigned int proc_num)
345{
346	uintptr_t gicr_base;
347
348	assert(gicv3_driver_data != NULL);
349	assert(proc_num < gicv3_driver_data->rdistif_num);
350	assert(gicv3_driver_data->rdistif_base_addrs != NULL);
351
352	assert(IS_IN_EL3());
353
354	/* Disable legacy interrupt bypass */
355	write_icc_sre_el3(read_icc_sre_el3() |

217
218	/* Enable the secure (E)SPIs now that they have been configured */
219	gicd_set_ctlr(gicv3_driver_data->gicd_base, bitmap, RWP_TRUE);
220}
221
222/*******************************************************************************
223 * This function initialises the GIC Redistributor interface of the calling CPU
224 * (identified by the 'proc_num' parameter) based upon the data provided by the
225 * platform while initialising the driver.
226 ******************************************************************************/
227void gicv3_rdistif_init(unsigned int proc_num)
228{
229	uintptr_t gicr_base;
230	unsigned int bitmap;
231	uint32_t ctlr;
232
233	assert(gicv3_driver_data != NULL);
234	assert(proc_num < gicv3_driver_data->rdistif_num);
235	assert(gicv3_driver_data->rdistif_base_addrs != NULL);
236	assert(gicv3_driver_data->gicd_base != 0U);
237
238	ctlr = gicd_read_ctlr(gicv3_driver_data->gicd_base);
239	assert((ctlr & CTLR_ARE_S_BIT) != 0U);
240
241	assert(IS_IN_EL3());
242
243	/* Power on redistributor */
244	gicv3_rdistif_on(proc_num);
245
246	gicr_base = gicv3_driver_data->rdistif_base_addrs[proc_num];
247	assert(gicr_base != 0U);
248
249	/* Set the default attribute of all SGIs and (E)PPIs */
250	gicv3_ppi_sgi_config_defaults(gicr_base);
251
252	bitmap = gicv3_secure_ppi_sgi_config_props(gicr_base,
253			gicv3_driver_data->interrupt_props,
254			gicv3_driver_data->interrupt_props_num);
255
256	/* Enable interrupt groups as required, if not already */
257	if ((ctlr & bitmap) != bitmap) {
258		gicd_set_ctlr(gicv3_driver_data->gicd_base, bitmap, RWP_TRUE);
259	}
260}
261
262/*******************************************************************************
263 * Functions to perform power operations on GIC Redistributor
264 ******************************************************************************/
265void gicv3_rdistif_off(unsigned int proc_num)
266{
267}
268
269void gicv3_rdistif_on(unsigned int proc_num)
270{
271}
272
273/*******************************************************************************
274 * This function enables the GIC CPU interface of the calling CPU using only
275 * system register accesses.
276 ******************************************************************************/
277void gicv3_cpuif_enable(unsigned int proc_num)
278{
279	uintptr_t gicr_base;
280	u_register_t scr_el3;
281	unsigned int icc_sre_el3;
282
283	assert(gicv3_driver_data != NULL);
284	assert(proc_num < gicv3_driver_data->rdistif_num);
285	assert(gicv3_driver_data->rdistif_base_addrs != NULL);
286	assert(IS_IN_EL3());
287
288	/* Mark the connected core as awake */
289	gicr_base = gicv3_driver_data->rdistif_base_addrs[proc_num];
290	gicv3_rdistif_mark_core_awake(gicr_base);
291
292	/* Disable the legacy interrupt bypass */
293	icc_sre_el3 = ICC_SRE_DIB_BIT | ICC_SRE_DFB_BIT;
294
295	/*
296	 * Enable system register access for EL3 and allow lower exception
297	 * levels to configure the same for themselves. If the legacy mode is
298	 * not supported, the SRE bit is RAO/WI
299	 */
300	icc_sre_el3 |= (ICC_SRE_EN_BIT | ICC_SRE_SRE_BIT);
301	write_icc_sre_el3(read_icc_sre_el3() | icc_sre_el3);
302
303	scr_el3 = read_scr_el3();

DETAILS

내부 동작을 더 깊게 읽기

IMPLEMENTATION NOTES

구현을 읽을 때 놓치기 쉬운 부분

OBJECT LIFETIME

객체와 수명

FAILURE PATH

실패 지점과 증상

로그가 끊긴 함수뿐 아니라 그 함수에 주소, 크기, 플래그를 전달한 앞 단계도 조사한다. 오류 처리 후 등록된 객체나 하드웨어 설정이 그대로 남아 있는지도 확인한다.

EVIDENCE

소스 밖에서 확인할 증거

소스에서 파악한 동작을 실제 빌드 결과와 대상 보드의 로그로 확인한다. 아래 명령의 보드 이름과 툴체인 접두사는 사용 중인 빌드 환경에 맞게 바꾼다.

LAB

직접 확인할 실험

1. 01
   GICD IGROUPR/IGRPMODR dump

   Distributor init 진입 전후에 gicv3_driver_data_t의 주소·크기·반환값과 timestamp를 함께 남긴다.

2. 02
   secure timer interrupt route 변경

   Redistributor discover 진입 전후에 GICD/GICR frames의 주소·크기·반환값과 timestamp를 함께 남긴다.

3. 03
   secondary CPU의 GICR base와 MPIDR 대조

   CPU interface 진입 전후에 interrupt group의 주소·크기·반환값과 timestamp를 함께 남긴다.

PRIMARY REFERENCES

원문과 다음 글