ARM64 start.S와 초기 실행 환경 | LK

QUESTION

ARM64 start.S와 초기 실행 환경 단계에서 실제로 바뀌는 상태는 무엇인가?

C 함수 호출 전의 stack 정렬과 zero-init 영역을 확인한다. primary CPU와 secondary CPU가 같은 label을 지나더라도 다음 경로는 달라질 수 있다.

lk_main 진입 시 C ABI, writable memory, BSS, current CPU의 stack이 모두 유효해야 한다. 이 문장을 기준으로 코드를 위에서 아래로 읽으면, 함수 이름을 외우는 대신 어느 시점에 어떤 상태를 신뢰할 수 있는지 판단할 수 있다.

STRUCTURE

객체와 주소가 놓이는 구조

그림 1. ARM64 start.S와 초기 실행 환경에서 입력, 내부 상태, 출력의 경계

입력과 전제내부 상태외부로 공개되는 결과

01reset registers

02EL transition

03bootstrap stack

04C runtime

CONTRACT

이 흐름의 전제와 실패 조건

bootstrap stack / exception-level state를 중심에 놓고 왼쪽의 입력이 어떤 검사를 거쳐 오른쪽 결과로 공개되는지 표시했다. 실제 디버깅에서는 각 블록의 주소와 크기를 로그에 대입한다.

CALL PATH

실행 흐름

그림 2. 정상 경로의 주요 호출과 상태 전달

firmware

_start

EL setup

stack and BSS

lk_main

화살표는 단순 호출 순서만 뜻하지 않는다. 각 단계가 성공을 반환할 때 다음 단계가 읽을 수 있는 상태가 무엇인지 함께 확인한다. 오류 반환이 발생하면 바로 다음 화살표로 진행하지 않고 해당 단계의 정리 경로를 따라간다.

STATE LEDGER

단계별 입력과 출력

각 단계의 입력과 처리 후 바뀌는 상태를 정리한 표다. 사용 중인 소스 버전에서 다른 필드를 변경한다면 그에 맞춰 표도 수정한다.

#	단계	진입 시 신뢰할 상태	성공 뒤 남아야 할 상태	다음 소비자
01	`firmware`	reset 직후 어셈블리 문맥	reset registers	_start
02	`_start`	firmware 완료 상태	EL transition	EL setup
03	`EL setup`	_start 완료 상태	bootstrap stack	stack and BSS
04	`stack and BSS`	EL setup 완료 상태	C runtime	lk_main
05	`lk_main`	stack and BSS 완료 상태	C runtime	이 단계의 처리 결과를 사용하는 코드

분석 범위의 전제와 비교해, 다음 단계에 잘못된 입력을 넘긴 부분부터 조사한다.

VISUAL WALKTHROUGH

주소와 객체의 이동을 그림으로 읽기

아래 그림은 주소, 객체를 사용하는 기간, 제어권을 넘기는 시점을 중심으로 정리했다. 실제 주소와 크기는 사용 중인 보드의 bdinfo, 맵 파일과 링커 심벌로 확인한다.

그림 3. reset PC에서 lk_main까지의 저수준 전환

호출 이름만 나열하지 않고, 각 단계가 다음 단계에 넘기는 상태를 기준으로 실행 순서를 표시한다.

01_start 진입

02CurrentEL 판정

03VBAR·예외 상태 준비

04bootstrap stack 선택

05BSS와 boot args 정리

06lk_main 분기

그림 4. 첫 C 함수 전후에 신뢰할 수 있는 상태

두 열의 객체는 이름이 비슷해도 생성 시점, 사용 가능한 API와 해제 책임이 다르다.

_start / assembly

01ROM register

02물리 PC

03임시 stack

04MMU/cache 미확정

05boot CPU 단독 경로

lk_main / C runtime

01AAPCS stack

02정리된 BSS

03보존된 boot args

04초기화 가능한 globals

05early platform API

UPSTREAM SOURCE

원본 코드

아래 코드는 LK upstream 1eb9917의 arch/arm64/start.S에서 8-96줄을 그대로 가져온 것이다. 설명을 위해 실제 코드를 가짜 의사 코드로 바꾸지 않았다.

commit1eb99171efae98867d4be4a5bd6479ea03f43ac9anchor · L32FUNCTION(_start)

8 *  x0-x3   Arguments
9 *  x9-x15  Scratch
10 *  x19-x28 Globals
11 */
12tmp                     .req x9
13tmp2                    .req x10
14wtmp2                   .req w10
15idx                     .req x11
16idx_shift               .req x12
17page_table              .req x13
18new_page_table          .req x14
19phys_offset             .req x15
20
21cpuid                   .req x19
22page_table1             .req x21
23mmu_initial_mapping     .req x22
24vaddr                   .req x23
25paddr                   .req x24
26mapping_size            .req x25
27size                    .req x26
28attr                    .req x27
29boot_el                 .req x28
30
31.section .text.boot
32FUNCTION(_start)
33.globl arm_reset
34arm_reset:
35    /* keep track of the boot EL */
36    mrs     boot_el, currentel
37
38    /* if we came in at higher than EL1, drop down to EL1 */
39    bl      arm64_elX_to_el1
40
41    /* disable EL1 FPU traps */
42    mov     tmp, #(0b11<<20)
43    msr     cpacr_el1, tmp
44
45#if WITH_KERNEL_VM
46    /* enable caches so atomics and spinlocks work */
47    mrs     tmp, sctlr_el1
48    orr     tmp, tmp, #(1<<12) /* Enable icache */
49    orr     tmp, tmp, #(1<<2)  /* Enable dcache/ucache */
50    orr     tmp, tmp, #(1<<3)  /* Enable Stack Alignment Check EL1 */
51    orr     tmp, tmp, #(1<<4)  /* Enable Stack Alignment Check EL0 */
52    bic     tmp, tmp, #(1<<1)  /* Disable Alignment Checking for EL1 EL0 */
53    msr     sctlr_el1, tmp
54
55    /* set up the mmu according to mmu_initial_mappings */
56
57    /* load the base of the translation table and clear the table */
58    adrp    page_table1, arm64_kernel_translation_table
59    add     page_table1, page_table1, #:lo12:arm64_kernel_translation_table
60
61#if WITH_SMP
62    /* if the cpu id is != 0 it's a secondary cpu */
63    mrs     cpuid, mpidr_el1
64    ubfx    cpuid, cpuid, #0, #SMP_CPU_ID_BITS
65    cbnz    cpuid, .Lmmu_enable_secondary
66
67    /* this path forward until .Lmmu_enable_secondary is the primary cpu only */
68
69#endif /* WITH_SMP */
70#endif /* WITH_KERNEL_VM */
71
72    /* save a copy of the boot args so x0-x3 are available for use */
73    adrp    tmp, arm64_boot_args
74    add     tmp, tmp, :lo12:arm64_boot_args
75    stp     x0, x1, [tmp], #16
76    stp     x2, x3, [tmp]
77
78    /* save the boot EL */
79    adrp    tmp, arm64_boot_el
80    str     boot_el, [tmp, #:lo12:arm64_boot_el]
81
82#if WITH_KERNEL_VM
83    /* walk through all the entries in the translation table, setting them up */
84    mov     tmp, #0
85.Lclear_top_page_table_loop:
86    str     xzr, [page_table1, tmp, lsl #3]
87    add     tmp, tmp, #1
88    cmp     tmp, #MMU_KERNEL_PAGE_TABLE_ENTRIES_TOP
89    bne     .Lclear_top_page_table_loop
90
91    /* load the address of the mmu_initial_mappings table and start processing */
92    adrp    mmu_initial_mapping, mmu_initial_mappings
93    add     mmu_initial_mapping, mmu_initial_mapping, #:lo12:mmu_initial_mappings
94
95.Linitial_mapping_loop:
96/* Read entry of mmu_initial_mappings (likely defined in platform.c) */

READING CONTRACT

발췌 범위와 읽기 기준

원문 8-96줄에는 앞뒤 문맥이 포함됩니다. 기준 구문 FUNCTION(_start)은 L32에 있습니다. 발췌 첫 줄을 함수 정의의 시작으로 해석하지 않습니다.

C 함수 호출 전의 stack 정렬과 zero-init 영역을 확인한다. primary CPU와 secondary CPU가 같은 label을 지나더라도 다음 경로는 달라질 수 있다.

RELATED SOURCE

함께 읽어야 하는 원본 코드

첫 코드 조각만으로 동작이 완성되지 않는 경우 호출 매크로, 객체 정의와 실제 실행 목록을 같은 페이지에 묶었다. 각 조각은 같은 기준 commit에서 가져왔다.

01. 예외 벡터를 임시 주소에서 연결하는 trampoline

arch/arm64/start.S 412-482줄이다.

filearch/arm64/start.Sanchor · L424LOCAL_FUNCTION(trampoline_vbar)

412    wfe
413    b       .Lunsupported_cpu_trap
414#endif
415
416.ltorg
417
418#if WITH_KERNEL_VM
419.section .text.boot.vectab
420/*
421 * The only type of exception that we expect with the trampoline VBAR active is
422 * sync to current EL. All other exceptions result in infinite loops.
423 */
424LOCAL_FUNCTION(trampoline_vbar)
425.p2align 11
426.org 0x00
427    wfe
428    b       .-4
429
430.org 0x80
431    wfe
432    b       .-4
433
434.org 0x100
435    wfe
436    b       .-4
437
438.org 0x180
439    wfe
440    b       .-4
441
442    /* exception vector for synchronous exceptions from current EL -> current EL */
443.org 0x200
444    b       .Lmmu_on_pc
445
446.org 0x280
447    wfe
448    b       .-4
449
450.org 0x300
451    wfe
452    b       .-4
453
454.org 0x380
455    wfe
456    b       .-4
457
458.org 0x400
459    wfe
460    b       .-4
461
462.org 0x480
463    wfe
464    b       .-4
465
466.org 0x500
467    wfe
468    b       .-4
469
470.org 0x580
471    wfe
472    b       .-4
473
474.org 0x600
475    wfe
476    b       .-4
477
478.org 0x680
479    wfe
480    b       .-4
481
482.org 0x700

DETAILS

내부 동작을 더 깊게 읽기

진입 조건을 먼저 고정한다

firmware에서 들어온 실행은 reset 직후 어셈블리 문맥에 놓여 있다. 이때 interrupt, MMU/cache, stack, heap 중 무엇이 이미 준비되었는지 소스의 호출자까지 올라가 확인한다. 같은 함수라도 SPL, relocation 전후, app thread처럼 호출 문맥이 달라지면 허용되는 API와 지연 시간이 달라진다.

C 함수 호출 전의 stack 정렬과 zero-init 영역을 확인한다. primary CPU와 secondary CPU가 같은 label을 지나더라도 다음 경로는 달라질 수 있다.

중심 객체의 생성과 공개를 나눈다

이 글의 중심 객체는 bootstrap stack / exception-level state다. 메모리를 확보한 시점, 필드를 채운 시점, 전역 list나 다른 subsystem에 공개한 시점을 구분한다. 공개 뒤 오류가 발생한다면 목록에서 제거하고 child, buffer, reference를 역순으로 정리하는지 확인한다.

빌드 산출물 관점에서는 최종 부트로더 이미지 안에 해당 symbol과 section이 실제로 포함되었는지도 map과 objdump로 검증한다.

주소, 크기와 정렬을 계산한다

부트 코드에서는 주소 계산 오류를 주의해야 한다. 원본과 목적지의 주소 범위, 헤더에 기록된 데이터 크기, 블록·페이지 단위를 표로 정리하고 각 구간의 끝 주소를 계산한다. 끝 주소가 start + size - 1처럼 마지막 바이트를 가리키는지, 구간 바로 다음 주소를 가리키는지는 API 규약에서 확인한다.

성공 flag와 실제 완료 시점을 맞춘다

_start → EL setup → stack and BSS 구간에서는 부분 초기화 상태가 생길 수 있다. flag, list insertion, callback 등록, storage write 완료 중 무엇이 성공의 기준인지 찾는다. hardware write나 DMA가 포함되면 함수 반환과 장치 완료가 같은 시점인지도 확인한다.

다른 CPU, 인터럽트 처리기, USB 완료 콜백, 셸 명령에서도 이 상태를 읽는다면 메모리 접근 순서와 잠금 범위를 함께 확인한다.

제어권을 넘기기 전에 확인할 조건을 정리한다

정상 경로는 lk_main에서 끝난다. 이 단계가 함수 반환인지, scheduler 전환인지, 다른 image로의 비복귀 분기인지 구분한다. 비복귀 handoff라면 cache clean/invalidate, interrupt disable, 장치 quiesce, argument register와 FDT 또는 image address가 최종 점검 항목이다.

호출한 함수로 돌아오는 경로라면 오류와 일부 처리만 완료된 상태를 구분하는지 확인한다. 이어서 다음 후보를 시도할지, 복구 절차를 실행할지 살펴본다.

IMPLEMENTATION NOTES

구현을 읽을 때 놓치기 쉬운 부분

첫 assembly는 boot CPU와 secondary CPU의 경로를 갈라 놓는다

reset entry는 현재 CPU id와 platform handoff를 보존한 뒤 stack, exception vector와 초기 translation 조건을 만든다. SMP system에서 모든 CPU가 같은 stack과 BSS clear 경로로 들어가면 즉시 memory corruption이 발생한다.

boot CPU만 수행해야 하는 BSS 초기화와 global constructor 이전에 secondary가 공유 전역을 읽지 않도록 release protocol을 확인한다.

C 진입 전 stack과 exception level을 수치로 확인한다

SP 정렬, stack range, CurrentEL과 SPSR/DAIF를 첫 C 함수 직전에 기록한다. EL2에서 시작해 EL1로 내려가는 platform과 EL1에서 바로 시작하는 platform은 system register 설정이 다르다.

MMU와 cache가 켜져 들어오는 firmware handoff를 지원한다면 기존 mapping을 신뢰하는지 명시적으로 끄는지 확인한다.

early fault는 vector가 아니라 저장 frame까지 검증한다

vector branch가 맞아도 register save frame 크기와 stack pointer가 틀리면 C handler가 잘못된 ESR과 PC를 읽는다. exception entry 전후 SP, saved ELR, SPSR, ESR을 raw memory와 구조체 field 양쪽으로 대조한다.

UART보다 먼저 난 fault는 scratch register나 per-CPU buffer에 syndrome을 남기도록 계측한다.

OBJECT LIFETIME

객체와 수명

대상	만들어지는 시점	유효 범위	확인할 조건
`bootstrap stack / exception-level state`	_start	lk_main 또는 오류 정리 완료까지	진입 전제와 상태 계약
입력 buffer / metadata	firmware	parse와 검증이 끝날 때까지	길이, 정렬, 소유권, 변조 가능성
등록된 list / descriptor	EL setup	하위 시스템을 종료하거나 다음 이미지에 제어권을 넘길 때까지	중복 등록, 해제된 객체를 가리키는 포인터, 오류 후 자원 정리
hardware 또는 persistent state	실제 write/probe가 완료된 뒤	reset 또는 명시적 해제·갱신까지	쓰기 완료, 시간 초과, 전원 차단, 이전 상태 복원
`최종 부트로더 이미지`	link/image 생성 시점	다음 stage가 새 image로 교체할 때까지	적재 주소, 진입점, 섹션, 헤더의 일치 여부

FAILURE PATH

실패 지점과 증상

#	조건	관찰되는 증상	먼저 볼 단계
01	잘못된 EL 전환	system register fault	_start
02	BSS 미초기화	list head 오염	EL setup
03	secondary 경로 혼동	전역 init 중복	stack and BSS

로그가 끊긴 함수뿐 아니라 그 함수에 주소, 크기, 플래그를 전달한 앞 단계도 조사한다. 오류 처리 후 등록된 객체나 하드웨어 설정이 그대로 남아 있는지도 확인한다.

EVIDENCE

소스 밖에서 확인할 증거

소스에서 파악한 동작을 실제 빌드 결과와 대상 보드의 로그로 확인한다. 아래 명령의 보드 이름과 툴체인 접두사는 사용 중인 빌드 환경에 맞게 바꾼다.

#	목적	명령 또는 계측	판정 기준
01	빌드 구성	`make <project> -j1`	platform, target, app 선택과 linker 입력을 로그로 남긴다.
02	symbol과 주소	`nm -n build-*/lk.elf \| grep 'FUNCTION'`	init hook, app descriptor와 함수가 어느 주소에 놓였는지 확인한다.
03	어셈블리 대조	`objdump -drS build-*/lk.elf`	thread 전환과 interrupt disable 구간의 실제 명령을 확인한다.
04	초기화 순서	`init level 전후에 current_time_hires()와 함수 이름 기록`	level 내부 순서와 지연을 serial log로 남긴다.
05	문맥 확인	`current_thread, interrupt state, stack pointer 기록`	함수가 bootstrap thread인지 scheduler 이후 thread인지 구분한다.

LAB

직접 확인할 실험

01
QEMU에서 _start부터 lk_main까지 single-step
_start 진입 전후에 reset registers의 주소·크기·반환값과 timestamp를 함께 남긴다.
02
SP와 BSS 경계 심볼 기록
EL setup 진입 전후에 EL transition의 주소·크기·반환값과 timestamp를 함께 남긴다.
03
secondary CPU 활성화 시 진입 label 비교
stack and BSS 진입 전후에 bootstrap stack의 주소·크기·반환값과 timestamp를 함께 남긴다.

PRIMARY REFERENCES

원문과 다음 글

arch/arm64/start.Supstream 1eb9917 원본 파일 LK source tree기준 commit 1eb99171efae