bootstrap2와 init hook 단계

QUESTION

bootstrap2와 init hook 단계 단계에서 실제로 바뀌는 상태는 무엇인가?

STRUCTURE

객체와 주소가 놓이는 구조

CALL PATH

실행 흐름

STATE LEDGER

단계별 입력과 출력

각 단계의 입력과 처리 후 바뀌는 상태를 정리한 표다. 사용 중인 소스 버전에서 다른 필드를 변경한다면 그에 맞춰 표도 수정한다.

분석 범위의 전제와 비교해, 다음 단계에 잘못된 입력을 넘긴 부분부터 조사한다.

VISUAL WALKTHROUGH

주소와 객체의 이동을 그림으로 읽기

아래 그림은 주소, 객체를 사용하는 기간, 제어권을 넘기는 시점을 중심으로 정리했다. 실제 주소와 크기는 사용 중인 보드의 bdinfo, 맵 파일과 링커 심벌로 확인한다.

UPSTREAM SOURCE

원본 코드

아래 코드는 LK upstream 1eb9917의 top/main.c에서 18-106줄을 그대로 가져온 것이다. 설명을 위해 실제 코드를 가짜 의사 코드로 바꾸지 않았다.

18#include <kernel/mutex.h>
19#include <kernel/novm.h>
20#include <kernel/thread.h>
21#include <lib/heap.h>
22#include <lk/compiler.h>
23#include <lk/debug.h>
24#include <lk/init.h>
25#include <platform.h>
26#include <string.h>
27#include <target.h>
28
29/* saved boot arguments from whoever loaded the system */
30ulong lk_boot_args[4];
31
32extern void (*__ctor_list[])(void);
33extern void (*__ctor_end[])(void);
34extern int __bss_start;
35extern int _end;
36
37#if WITH_SMP
38static thread_t *secondary_bootstrap_threads[SMP_MAX_CPUS - 1];
39static uint secondary_bootstrap_thread_count;
40#endif
41
42static int bootstrap2(void *arg);
43
44static void call_constructors(void) {
45    void (**ctor)(void);
46
47    ctor = __ctor_list;
48    while (ctor != __ctor_end) {
49        void (*func)(void);
50
51        func = *ctor;
52
53        func();
54        ctor++;
55    }
56}
57
58/* called from arch code */
59void lk_main(ulong arg0, ulong arg1, ulong arg2, ulong arg3) {
60    // save the boot args
61    lk_boot_args[0] = arg0;
62    lk_boot_args[1] = arg1;
63    lk_boot_args[2] = arg2;
64    lk_boot_args[3] = arg3;
65
66    // get us into some sort of thread context
67    thread_init_early();
68
69    // early arch stuff
70    lk_primary_cpu_init_level(LK_INIT_LEVEL_EARLIEST, LK_INIT_LEVEL_ARCH_EARLY - 1);
71    arch_early_init();
72
73    // do any super early platform initialization
74    lk_primary_cpu_init_level(LK_INIT_LEVEL_ARCH_EARLY, LK_INIT_LEVEL_PLATFORM_EARLY - 1);
75    platform_early_init();
76
77    // do any super early target initialization
78    lk_primary_cpu_init_level(LK_INIT_LEVEL_PLATFORM_EARLY, LK_INIT_LEVEL_TARGET_EARLY - 1);
79    target_early_init();
80
81#if WITH_SMP
82    dprintf(INFO, "\nwelcome to lk/MP\n\n");
83#else
84    dprintf(INFO, "\nwelcome to lk\n\n");
85#endif
86    dprintf(INFO, "boot args 0x%lx 0x%lx 0x%lx 0x%lx\n",
87            lk_boot_args[0], lk_boot_args[1], lk_boot_args[2], lk_boot_args[3]);
88
89    // bring up the kernel heap
90    lk_primary_cpu_init_level(LK_INIT_LEVEL_TARGET_EARLY, LK_INIT_LEVEL_HEAP - 1);
91    dprintf(SPEW, "initializing heap\n");
92    heap_init();
93
94    // deal with any static constructors
95    dprintf(SPEW, "calling constructors\n");
96    call_constructors();
97
98    // initialize the kernel
99    lk_primary_cpu_init_level(LK_INIT_LEVEL_HEAP, LK_INIT_LEVEL_KERNEL - 1);
100    kernel_init();
101
102    lk_primary_cpu_init_level(LK_INIT_LEVEL_KERNEL, LK_INIT_LEVEL_THREADING - 1);
103
104    // create a thread to complete system initialization
105    dprintf(SPEW, "creating bootstrap completion thread\n");
106    thread_t *t = thread_create("bootstrap2", &bootstrap2, NULL, DEFAULT_PRIORITY, DEFAULT_STACK_SIZE);

READING CONTRACT

발췌 범위와 읽기 기준

원문 18-106줄에는 앞뒤 문맥이 포함됩니다. 기준 구문 static int bootstrap2(void *arg)은 L42에 있습니다. 발췌 첫 줄을 함수 정의의 시작으로 해석하지 않습니다.

초기 hook과 thread 단계 hook을 구분한다. blocking이나 heap 사용이 허용되는 level인지 모르고 hook을 옮기면 부팅 지연이나 deadlock이 생긴다.

RELATED SOURCE

함께 읽어야 하는 원본 코드

첫 코드 조각만으로 동작이 완성되지 않는 경우 호출 매크로, 객체 정의와 실제 실행 목록을 같은 페이지에 묶었다. 각 조각은 같은 기준 commit에서 가져왔다.

156
157static int secondary_cpu_bootstrap2(void *arg) {
158    /* secondary cpu initialize from threading level up. 0 to threading was handled in arch */
159    lk_init_level(LK_INIT_FLAG_SECONDARY_CPUS, LK_INIT_LEVEL_THREADING, LK_INIT_LEVEL_LAST);
160
161    return 0;
162}
163
164void lk_init_secondary_cpus(uint secondary_cpu_count) {
165    if (secondary_cpu_count >= SMP_MAX_CPUS) {
166        dprintf(CRITICAL, "Invalid secondary_cpu_count %d, SMP_MAX_CPUS %d\n",
167                secondary_cpu_count, SMP_MAX_CPUS);
168        secondary_cpu_count = SMP_MAX_CPUS - 1;
169    }
170    for (uint i = 0; i < secondary_cpu_count; i++) {
171        dprintf(SPEW, "creating bootstrap completion thread for cpu %d\n", i + 1);
172        thread_t *t = thread_create("secondarybootstrap2",
173                                    &secondary_cpu_bootstrap2, NULL,
174                                    DEFAULT_PRIORITY, DEFAULT_STACK_SIZE);
175        t->pinned_cpu = i + 1;
176        thread_detach(t);
177        secondary_bootstrap_threads[i] = t;
178    }
179    secondary_bootstrap_thread_count = secondary_cpu_count;
180}
181#endif

DETAILS

내부 동작을 더 깊게 읽기

IMPLEMENTATION NOTES

구현을 읽을 때 놓치기 쉬운 부분

OBJECT LIFETIME

객체와 수명

FAILURE PATH

실패 지점과 증상

로그가 끊긴 함수뿐 아니라 그 함수에 주소, 크기, 플래그를 전달한 앞 단계도 조사한다. 오류 처리 후 등록된 객체나 하드웨어 설정이 그대로 남아 있는지도 확인한다.

EVIDENCE

소스 밖에서 확인할 증거

소스에서 파악한 동작을 실제 빌드 결과와 대상 보드의 로그로 확인한다. 아래 명령의 보드 이름과 툴체인 접두사는 사용 중인 빌드 환경에 맞게 바꾼다.

LAB

직접 확인할 실험

1. 01
   init hook마다 timestamp 출력

   LK_INIT_LEVEL 진입 전후에 init hook sections의 주소·크기·반환값과 timestamp를 함께 남긴다.

2. 02
   link map에서 hook section 순서 확인

   platform_init 진입 전후에 platform devices의 주소·크기·반환값과 timestamp를 함께 남긴다.

3. 03
   provider hook level을 늦춰 dependency 실패 재현

   target_init 진입 전후에 target policy의 주소·크기·반환값과 timestamp를 함께 남긴다.

PRIMARY REFERENCES

원문과 다음 글