LK · source analysis

LK의 project와 module 빌드 그래프

project 설정이 platform, target, arch, kernel, lib, app module을 모아 하나의 LK image로 연결되는 구조를 읽습니다.

표의 버전은 소스 분석 기준이며 최신 보안 버전 권고가 아닙니다. TF-A LTS 2.14.3 이후에는 보안 수정이 있습니다. 제품 적용 시 공식 변경 기록과 사용 플랫폼의 errata를 확인하세요.

Series
01 / 20
Baseline
upstream 1eb9917
Commit
1eb99171efae
Source
make/module.mk:7-95 (발췌 범위)

LK의 project와 module 빌드 그래프 단계에서 실제로 바뀌는 상태는 무엇인가?

LK 빌드는 디렉터리를 자동으로 전부 모으지 않는다. MODULE_DEPS와 MODULE_SRCS가 실제 포함 경계를 결정하며 app descriptor도 linker section으로 들어간다.

선택된 project의 architecture, platform, target과 linker script가 같은 메모리 지도를 전제해야 한다. 이 문장을 기준으로 코드를 위에서 아래로 읽으면, 함수 이름을 외우는 대신 어느 시점에 어떤 상태를 신뢰할 수 있는지 판단할 수 있다.

객체와 주소가 놓이는 구조

그림 1. LK의 project와 module 빌드 그래프에서 입력, 내부 상태, 출력의 경계
입력과 전제내부 상태외부로 공개되는 결과
01project variables
02module graph
03linker script
04ELF and binary

MODULE_SRCS :=를 중심에 놓고 왼쪽의 입력이 어떤 검사를 거쳐 오른쪽 결과로 공개되는지 표시했다. 실제 디버깅에서는 각 블록의 주소와 크기를 로그에 대입한다.

실행 흐름

그림 2. 정상 경로의 주요 호출과 상태 전달
project.mk
module dependencies
source lists
lk ELF
lk.bin

화살표는 단순 호출 순서만 뜻하지 않는다. 각 단계가 성공을 반환할 때 다음 단계가 읽을 수 있는 상태가 무엇인지 함께 확인한다. 오류 반환이 발생하면 바로 다음 화살표로 진행하지 않고 해당 단계의 정리 경로를 따라간다.

단계별 입력과 출력

각 단계의 입력과 처리 후 바뀌는 상태를 정리한 표다. 사용 중인 소스 버전에서 다른 필드를 변경한다면 그에 맞춰 표도 수정한다.

#단계진입 시 신뢰할 상태성공 뒤 남아야 할 상태다음 소비자
01project.mk빌드 시점project variablesmodule dependencies
02module dependenciesproject.mk 완료 상태module graphsource lists
03source listsmodule dependencies 완료 상태linker scriptlk ELF
04lk ELFsource lists 완료 상태ELF and binarylk.bin
05lk.binlk ELF 완료 상태ELF and binary최종 lk.elf / lk.bin 또는 다음 stage

분석 범위의 전제와 비교해, 다음 단계에 잘못된 입력을 넘긴 부분부터 조사한다.

주소와 객체의 이동을 그림으로 읽기

아래 그림은 주소, 객체를 사용하는 기간, 제어권을 넘기는 시점을 중심으로 정리했다. 실제 주소와 크기는 사용 중인 보드의 bdinfo, 맵 파일과 링커 심벌로 확인한다.

그림 3. project 선택에서 lk.bin까지 만들어지는 경로

호출 이름만 나열하지 않고, 각 단계가 다음 단계에 넘기는 상태를 기준으로 실행 순서를 표시한다.

01PROJECT 설정
02MODULE_DEPS 폐쇄
03MODULE_SRCS 수집
04architecture linker script
05lk.elf link
06objcopy와 lk.bin
그림 4. 빌드 변수가 최종 section으로 연결되는 관계

왼쪽 생산자가 가운데 상태를 완성하고, 오른쪽 소비자가 그 상태를 처음 사용하는 관계다.

01project.mkMODULESmodule.mk 순회
02MODULE_DEPSdependency closureobject list
03MODULE_SRCS*.obuilt-in.a
04linker scriptsection VMA/LMAlk.elf
05app descriptor.apps sectionapps_init

원본 코드

아래 코드는 LK upstream 1eb9917의 make/module.mk에서 7-95줄을 그대로 가져온 것이다. 설명을 위해 실제 코드를 가짜 의사 코드로 바꾸지 않았다.

commit1eb99171efae98867d4be4a5bd6479ea03f43ac9anchor · L31MODULE_SRCS :=
7# MODULE_FLOAT_SRCS : list of source files compiled with floating point support (if available)
8# MODULE_DEPS : other modules that this one depends on
9# MODULE_DEFINES : #defines local to this module
10# MODULE_OPTFLAGS : OPTFLAGS local to this module
11# MODULE_COMPILEFLAGS : COMPILEFLAGS local to this module
12# MODULE_CFLAGS : CFLAGS local to this module
13# MODULE_CPPFLAGS : CPPFLAGS local to this module
14# MODULE_ASMFLAGS : ASMFLAGS local to this module
15# MODULE_INCLUDES : include directories local to this module
16# MODULE_SRCDEPS : extra dependencies that all of this module's files depend on
17# MODULE_EXTRA_OBJS : extra .o files that should be linked with the module
18
19# MODULE_ARM_OVERRIDE_SRCS : list of source files, local path that should be force compiled with ARM (if applicable)
20
21# MODULE_OPTIONS : space delimited list of options
22# currently defined options:
23#   extra_warnings - add additional warnings to the front of the module deps
24#   float - module uses floating point instructions/code
25
26# the minimum module rules.mk file is as follows:
27#
28# LOCAL_DIR := $(GET_LOCAL_DIR)
29# MODULE := $(LOCAL_DIR)
30#
31# MODULE_SRCS := $(LOCAL_DIR)/at_least_one_source_file.c
32#
33# include make/module.mk
34
35# test for old style rules.mk
36ifneq ($(flavor MODULE_OBJS),undefined)
37ifneq ($(MODULE_OBJS),)
38$(warning MODULE_OBJS = $(MODULE_OBJS))
39$(error MODULE $(MODULE) is setting MODULE_OBJS, change to MODULE_SRCS)
40endif
41endif
42ifneq ($(flavor OBJS),undefined)
43ifneq ($(OBJS),)
44$(warning OBJS = $(OBJS))
45$(error MODULE $(MODULE) is probably setting OBJS, change to MODULE_SRCS)
46endif
47endif
48
49MODULE_SRCDIR := $(MODULE)
50MODULE_BUILDDIR := $(call TOBUILDDIR,$(MODULE_SRCDIR))
51
52# add a local include dir to the global include path
53GLOBAL_INCLUDES += $(MODULE_SRCDIR)/include
54
55# add the listed module deps to the global list
56MODULES += $(MODULE_DEPS)
57
58# parse options
59MODULE_OPTIONS_COPY := $(sort $(MODULE_OPTIONS))
60ifneq (,$(findstring float,$(MODULE_OPTIONS)))
61# floating point option just forces all files in the module to be
62# compiled with floating point compiler flags.
63#$(info MODULE $(MODULE) has float option)
64MODULE_FLOAT_SRCS := $(sort $(MODULE_FLOAT_SRCS) $(MODULE_SRCS))
65MODULE_SRCS :=
66MODULE_OPTIONS_COPY := $(filter-out float,$(MODULE_OPTIONS_COPY))
67endif
68ifneq (,$(findstring extra_warnings,$(MODULE_OPTIONS)))
69# add some extra warnings to the various module compiler switches.
70# add these extra switches first so it's possible for the rules.mk file
71# that invoked us to override with a -Wno-...
72MODULE_COMPILEFLAGS := $(EXTRA_MODULE_COMPILEFLAGS) $(MODULE_COMPILEFLAGS)
73MODULE_CFLAGS := $(EXTRA_MODULE_CFLAGS) $(MODULE_CFLAGS)
74MODULE_CPPFLAGS := $(EXTRA_MODULE_CPPFLAGS) $(MODULE_CPPFLAGS)
75MODULE_ASMFLAGS := $(EXTRA_MODULE_ASMFLAGS) $(MODULE_ASMFLAGS)
76MODULE_OPTIONS_COPY := $(filter-out extra_warnings,$(MODULE_OPTIONS_COPY))
77endif
78
79ifneq ($(MODULE_OPTIONS_COPY),)
80$(error MODULE $(MODULE) has unrecognized option(s) $(MODULE_OPTIONS_COPY))
81endif
82
83
84#$(info module $(MODULE))
85#$(info MODULE_COMPILEFLAGS = $(MODULE_COMPILEFLAGS))
86#$(info MODULE_SRCDIR $(MODULE_SRCDIR))
87#$(info MODULE_BUILDDIR $(MODULE_BUILDDIR))
88#$(info MODULE_DEPS $(MODULE_DEPS))
89#$(info MODULE_SRCS $(MODULE_SRCS))
90#$(info MODULE_FLOAT_SRCS $(MODULE_SRCS))
91#$(info MODULE_OPTIONS $(MODULE_OPTIONS))
92
93MODULE_DEFINES += MODULE_NAME=\"$(subst $(SPACE),_,$(MODULE))\"
94MODULE_DEFINES += MODULE_OPTIONS=\"$(subst $(SPACE),_,$(MODULE_OPTIONS))\"
95MODULE_DEFINES += MODULE_COMPILEFLAGS=\"$(subst $(SPACE),_,$(MODULE_COMPILEFLAGS))\"

발췌 범위와 읽기 기준

원문 7-95줄에는 앞뒤 문맥이 포함됩니다. 기준 구문 MODULE_SRCS :=은 L31에 있습니다. 발췌 첫 줄을 함수 정의의 시작으로 해석하지 않습니다.

LK 빌드는 디렉터리를 자동으로 전부 모으지 않는다. MODULE_DEPS와 MODULE_SRCS가 실제 포함 경계를 결정하며 app descriptor도 linker section으로 들어간다.

함께 읽어야 하는 원본 코드

첫 코드 조각만으로 동작이 완성되지 않는 경우 호출 매크로, 객체 정의와 실제 실행 목록을 같은 페이지에 묶었다. 각 조각은 같은 기준 commit에서 가져왔다.

01. 의존 모듈을 재귀적으로 모으는 지점

make/module.mk 138-166줄이다.

filemake/module.mkanchor · L150MODULE_DEPS :=
138ALLOBJS += $(MODULE_OBJS)
139
140# track the module object for make clean
141GENERATED += $(MODULE_OBJECT)
142
143# make the rest of the build depend on our output
144ALLMODULE_OBJS := $(ALLMODULE_OBJS) $(MODULE_OBJECT)
145
146# empty out any vars set here
147MODULE :=
148MODULE_SRCDIR :=
149MODULE_BUILDDIR :=
150MODULE_DEPS :=
151MODULE_SRCS :=
152MODULE_FLOAT_SRCS :=
153MODULE_OBJS :=
154MODULE_DEFINES :=
155MODULE_OPTFLAGS :=
156MODULE_COMPILEFLAGS :=
157MODULE_CFLAGS :=
158MODULE_CPPFLAGS :=
159MODULE_ASMFLAGS :=
160MODULE_SRCDEPS :=
161MODULE_INCLUDES :=
162MODULE_EXTRA_OBJS :=
163MODULE_CONFIG :=
164MODULE_OBJECT :=
165MODULE_ARM_OVERRIDE_SRCS :=
166MODULE_OPTIONS :=

내부 동작을 더 깊게 읽기

01

진입 조건을 먼저 고정한다

project.mk에서 들어온 실행은 빌드 시점에 놓여 있다. 이때 interrupt, MMU/cache, stack, heap 중 무엇이 이미 준비되었는지 소스의 호출자까지 올라가 확인한다. 같은 함수라도 SPL, relocation 전후, app thread처럼 호출 문맥이 달라지면 허용되는 API와 지연 시간이 달라진다.

LK 빌드는 디렉터리를 자동으로 전부 모으지 않는다. MODULE_DEPS와 MODULE_SRCS가 실제 포함 경계를 결정하며 app descriptor도 linker section으로 들어간다.

02

중심 객체의 생성과 공개를 나눈다

이 글의 중심 객체는 MODULE_SRCS :=다. 메모리를 확보한 시점, 필드를 채운 시점, 전역 list나 다른 subsystem에 공개한 시점을 구분한다. 공개 뒤 오류가 발생한다면 목록에서 제거하고 child, buffer, reference를 역순으로 정리하는지 확인한다.

빌드 산출물 관점에서는 lk.elf / lk.bin 안에 해당 symbol과 section이 실제로 포함되었는지도 map과 objdump로 검증한다.

03

주소, 크기와 정렬을 계산한다

부트 코드에서는 주소 계산 오류를 주의해야 한다. 원본과 목적지의 주소 범위, 헤더에 기록된 데이터 크기, 블록·페이지 단위를 표로 정리하고 각 구간의 끝 주소를 계산한다. 끝 주소가 start + size - 1처럼 마지막 바이트를 가리키는지, 구간 바로 다음 주소를 가리키는지는 API 규약에서 확인한다.

04

성공 flag와 실제 완료 시점을 맞춘다

module dependencies → source lists → lk ELF 구간에서는 부분 초기화 상태가 생길 수 있다. flag, list insertion, callback 등록, storage write 완료 중 무엇이 성공의 기준인지 찾는다. hardware write나 DMA가 포함되면 함수 반환과 장치 완료가 같은 시점인지도 확인한다.

다른 CPU, 인터럽트 처리기, USB 완료 콜백, 셸 명령에서도 이 상태를 읽는다면 메모리 접근 순서와 잠금 범위를 함께 확인한다.

05

제어권을 넘기기 전에 확인할 조건을 정리한다

정상 경로는 lk.bin에서 끝난다. 이 단계가 함수 반환인지, scheduler 전환인지, 다른 image로의 비복귀 분기인지 구분한다. 비복귀 handoff라면 cache clean/invalidate, interrupt disable, 장치 quiesce, argument register와 FDT 또는 image address가 최종 점검 항목이다.

호출한 함수로 돌아오는 경로라면 오류와 일부 처리만 완료된 상태를 구분하는지 확인한다. 이어서 다음 후보를 시도할지, 복구 절차를 실행할지 살펴본다.

구현을 읽을 때 놓치기 쉬운 부분

01

project, target, platform과 module은 서로 다른 선택 층이다

LK build는 project 파일이 target을 고르고 target이 platform과 board 구성을 끌어오며 각 module이 source와 dependency를 추가하는 식으로 확장된다. 같은 C 파일이 tree에 존재해도 MODULES와 dependency closure에 들어오지 않으면 compile되지 않는다.

project 이름만 기록하지 말고 최종 module 목록, 각 module의 MODULE_SRCS, include path와 define을 build log에서 추출해야 다른 target과 결과를 비교할 수 있다.

02

module dependency는 compile 순서가 아니라 link 입력을 결정한다

MODULE_DEPS는 필요한 header path와 object 집합을 재귀적으로 포함한다. 순환 dependency나 optional module의 암묵적 symbol 의존은 clean build와 incremental build에서 다르게 드러날 수 있다.

map의 undefined/defined symbol을 module 단위로 추적하고 archive extraction 순서 때문에 빠진 object가 없는지 link 명령을 확인한다.

03

lk.elf와 배포 image 사이의 변환을 닫아 본다

linker script가 정한 text, rodata, data, bss, init hook와 app descriptor section이 ELF에 놓인 뒤 target tool이 raw image나 ROM header를 만들 수 있다. ELF entry와 실제 ROM jump address, header offset을 대조한다.

size 회귀는 전체 파일 크기보다 section과 module별 delta로 기록한다. debug symbol 제거가 runtime RAM 사용량을 줄였다고 오해하지 않는다.

객체와 수명

대상만들어지는 시점유효 범위확인할 조건
MODULE_SRCS :=module dependencieslk.bin 또는 오류 정리 완료까지진입 전제와 상태 계약
입력 buffer / metadataproject.mkparse와 검증이 끝날 때까지길이, 정렬, 소유권, 변조 가능성
등록된 list / descriptorsource lists하위 시스템을 종료하거나 다음 이미지에 제어권을 넘길 때까지중복 등록, 해제된 객체를 가리키는 포인터, 오류 후 자원 정리
hardware 또는 persistent state실제 write/probe가 완료된 뒤reset 또는 명시적 해제·갱신까지쓰기 완료, 시간 초과, 전원 차단, 이전 상태 복원
lk.elf / lk.binlink/image 생성 시점다음 stage가 새 image로 교체할 때까지적재 주소, 진입점, 섹션, 헤더의 일치 여부

실패 지점과 증상

#조건관찰되는 증상먼저 볼 단계
01module dependency 누락undefined symbolmodule dependencies
02중복 moduledescriptor 중복source lists
03link address 오류reset 후 실행 불가lk ELF

로그가 끊긴 함수뿐 아니라 그 함수에 주소, 크기, 플래그를 전달한 앞 단계도 조사한다. 오류 처리 후 등록된 객체나 하드웨어 설정이 그대로 남아 있는지도 확인한다.

소스 밖에서 확인할 증거

소스에서 파악한 동작을 실제 빌드 결과와 대상 보드의 로그로 확인한다. 아래 명령의 보드 이름과 툴체인 접두사는 사용 중인 빌드 환경에 맞게 바꾼다.

#목적명령 또는 계측판정 기준
01빌드 구성make <project> -j1platform, target, app 선택과 linker 입력을 로그로 남긴다.
02symbol과 주소nm -n build-*/lk.elf | grep 'MODULE_SRCS'init hook, app descriptor와 함수가 어느 주소에 놓였는지 확인한다.
03어셈블리 대조objdump -drS build-*/lk.elfthread 전환과 interrupt disable 구간의 실제 명령을 확인한다.
04초기화 순서init level 전후에 current_time_hires()와 함수 이름 기록level 내부 순서와 지연을 serial log로 남긴다.
05문맥 확인current_thread, interrupt state, stack pointer 기록함수가 bootstrap thread인지 scheduler 이후 thread인지 구분한다.

직접 확인할 실험

  1. 01
    make PROJECT=qemu-virt-arm64 V=1 기록

    module dependencies 진입 전후에 project variables의 주소·크기·반환값과 timestamp를 함께 남긴다.

  2. 02
    map 파일에서 app descriptor section 확인

    source lists 진입 전후에 module graph의 주소·크기·반환값과 timestamp를 함께 남긴다.

  3. 03
    MODULE_DEPS 하나를 제거해 링크 오류 경계 확인

    lk ELF 진입 전후에 linker script의 주소·크기·반환값과 timestamp를 함께 남긴다.

원문과 다음 글