LK · source analysis

PMM과 VMM의 page 소유권

physical page를 arena에서 꺼내 virtual address space에 mapping하고 해제하는 두 계층을 분리해 읽습니다.

표의 버전은 소스 분석 기준이며 최신 보안 버전 권고가 아닙니다. TF-A LTS 2.14.3 이후에는 보안 수정이 있습니다. 제품 적용 시 공식 변경 기록과 사용 플랫폼의 errata를 확인하세요.

Series
10 / 20
Baseline
upstream 1eb9917
Commit
1eb99171efae
Source
kernel/vm/pmm.c:38-126 (발췌 범위)

PMM과 VMM의 page 소유권 단계에서 실제로 바뀌는 상태는 무엇인가?

PMM page의 owner와 VMM mapping의 owner는 같지 않을 수 있다. mapping 제거와 physical page 반환이 어느 API에서 결합되는지 확인한다.

할당된 physical page와 page-table mapping의 reference 관계가 해제 완료까지 일관되어야 한다. 이 문장을 기준으로 코드를 위에서 아래로 읽으면, 함수 이름을 외우는 대신 어느 시점에 어떤 상태를 신뢰할 수 있는지 판단할 수 있다.

객체와 주소가 놓이는 구조

그림 1. PMM과 VMM의 page 소유권에서 입력, 내부 상태, 출력의 경계
입력과 전제내부 상태외부로 공개되는 결과
01physical pages
02pmm arena lists
03arch page tables
04virtual regions

vm_page / pmm_arena / arch_aspace를 중심에 놓고 왼쪽의 입력이 어떤 검사를 거쳐 오른쪽 결과로 공개되는지 표시했다. 실제 디버깅에서는 각 블록의 주소와 크기를 로그에 대입한다.

실행 흐름

그림 2. 정상 경로의 주요 호출과 상태 전달
memory arenas
pmm_add_arena
page allocation
vmm mapping
address space

화살표는 단순 호출 순서만 뜻하지 않는다. 각 단계가 성공을 반환할 때 다음 단계가 읽을 수 있는 상태가 무엇인지 함께 확인한다. 오류 반환이 발생하면 바로 다음 화살표로 진행하지 않고 해당 단계의 정리 경로를 따라간다.

단계별 입력과 출력

각 단계의 입력과 처리 후 바뀌는 상태를 정리한 표다. 사용 중인 소스 버전에서 다른 필드를 변경한다면 그에 맞춰 표도 수정한다.

#단계진입 시 신뢰할 상태성공 뒤 남아야 할 상태다음 소비자
01memory arenas부트 CPU의 동기 실행 문맥physical pagespmm_add_arena
02pmm_add_arenamemory arenas 완료 상태pmm arena listspage allocation
03page allocationpmm_add_arena 완료 상태arch page tablesvmm mapping
04vmm mappingpage allocation 완료 상태virtual regionsaddress space
05address spacevmm mapping 완료 상태virtual regions이 단계의 처리 결과를 사용하는 코드

분석 범위의 전제와 비교해, 다음 단계에 잘못된 입력을 넘긴 부분부터 조사한다.

주소와 객체의 이동을 그림으로 읽기

아래 그림은 주소, 객체를 사용하는 기간, 제어권을 넘기는 시점을 중심으로 정리했다. 실제 주소와 크기는 사용 중인 보드의 bdinfo, 맵 파일과 링커 심벌로 확인한다.

그림 3. PMM arena에서 virtual mapping이 만들어지는 경로

호출 이름만 나열하지 않고, 각 단계가 다음 단계에 넘기는 상태를 기준으로 실행 순서를 표시한다.

01pmm arena 등록
02free page range 생성
03physical pages 할당
04virtual range 선택
05page table 작성
06TLB maintenance
07mapped pointer 공개
그림 4. physical address와 kernel virtual address

두 열의 객체는 이름이 비슷해도 생성 시점, 사용 가능한 API와 해제 책임이 다르다.

Physical

01PMM arena 소속

02page 단위 소유권

03DMA·MMU 입력

04직접 역참조 불가 가능

05cache attribute 원천

Virtual

01aspace 소속

02page table 결과

03CPU가 역참조

04alias 가능

05unmap 뒤 사용 금지

원본 코드

아래 코드는 LK upstream 1eb9917의 kernel/vm/pmm.c에서 38-126줄을 그대로 가져온 것이다. 설명을 위해 실제 코드를 가짜 의사 코드로 바꾸지 않았다.

commit1eb99171efae98867d4be4a5bd6479ea03f43ac9anchor · L62status_t pmm_add_arena(pmm_arena_t *arena)
38    return !(page->flags & VM_PAGE_FLAG_NONFREE);
39}
40
41paddr_t vm_page_to_paddr(const vm_page_t *page) {
42    pmm_arena_t *a;
43    list_for_every_entry(&arena_list, a, pmm_arena_t, node) {
44        if (PAGE_BELONGS_TO_ARENA(page, a)) {
45            return PAGE_ADDRESS_FROM_ARENA(page, a);
46        }
47    }
48    return -1;
49}
50
51vm_page_t *paddr_to_vm_page(paddr_t addr) {
52    pmm_arena_t *a;
53    list_for_every_entry(&arena_list, a, pmm_arena_t, node) {
54        if (addr >= a->base && addr <= a->base + a->size - 1) {
55            size_t index = (addr - a->base) / PAGE_SIZE;
56            return &a->page_array[index];
57        }
58    }
59    return NULL;
60}
61
62status_t pmm_add_arena(pmm_arena_t *arena) {
63    LTRACEF("arena %p name '%s' base 0x%lx size 0x%zx\n", arena, arena->name, arena->base, arena->size);
64
65    DEBUG_ASSERT(IS_PAGE_ALIGNED(arena->base));
66    DEBUG_ASSERT(IS_PAGE_ALIGNED(arena->size));
67    DEBUG_ASSERT(arena->size > 0);
68
69    /* walk the arena list and add arena based on priority order */
70    pmm_arena_t *a;
71    list_for_every_entry(&arena_list, a, pmm_arena_t, node) {
72        if (a->priority > arena->priority) {
73            list_add_before(&a->node, &arena->node);
74            goto done_add;
75        }
76    }
77
78    /* walked off the end, add it to the end of the list */
79    list_add_tail(&arena_list, &arena->node);
80
81done_add:
82
83    /* zero out some of the structure */
84    arena->free_count = 0;
85    list_initialize(&arena->free_list);
86
87    /* allocate an array of pages to back this one */
88    size_t page_count = arena->size / PAGE_SIZE;
89    arena->page_array = boot_alloc_mem(page_count * sizeof(vm_page_t));
90
91    /* initialize all of the pages */
92    memset(arena->page_array, 0, page_count * sizeof(vm_page_t));
93
94    /* add them to the free list */
95    for (size_t i = 0; i < page_count; i++) {
96        vm_page_t *p = &arena->page_array[i];
97
98        list_add_tail(&arena->free_list, &p->node);
99
100        arena->free_count++;
101    }
102
103    return NO_ERROR;
104}
105
106size_t pmm_alloc_pages(uint count, struct list_node *list) {
107    LTRACEF("count %u\n", count);
108
109    /* list must be initialized prior to calling this */
110    DEBUG_ASSERT(list);
111
112    uint allocated = 0;
113    if (count == 0)
114        return 0;
115
116    mutex_acquire(&lock);
117
118    /* walk the arenas in order, allocating as many pages as we can from each */
119    pmm_arena_t *a;
120    list_for_every_entry(&arena_list, a, pmm_arena_t, node) {
121        while (allocated < count && a->free_count > 0) {
122            vm_page_t *page = list_remove_head_type(&a->free_list, vm_page_t, node);
123            if (!page)
124                goto done;
125
126            a->free_count--;

발췌 범위와 읽기 기준

원문 38-126줄에는 앞뒤 문맥이 포함됩니다. 기준 구문 status_t pmm_add_arena(pmm_arena_t *arena)은 L62에 있습니다. 발췌 첫 줄을 함수 정의의 시작으로 해석하지 않습니다.

PMM page의 owner와 VMM mapping의 owner는 같지 않을 수 있다. mapping 제거와 physical page 반환이 어느 API에서 결합되는지 확인한다.

함께 읽어야 하는 원본 코드

첫 코드 조각만으로 동작이 완성되지 않는 경우 호출 매크로, 객체 정의와 실제 실행 목록을 같은 페이지에 묶었다. 각 조각은 같은 기준 commit에서 가져왔다.

01. free list에서 여러 physical page를 꺼내는 pmm_alloc_pages

kernel/vm/pmm.c 96-176줄이다.

filekernel/vm/pmm.canchor · L106size_t pmm_alloc_pages(uint count
96        vm_page_t *p = &arena->page_array[i];
97
98        list_add_tail(&arena->free_list, &p->node);
99
100        arena->free_count++;
101    }
102
103    return NO_ERROR;
104}
105
106size_t pmm_alloc_pages(uint count, struct list_node *list) {
107    LTRACEF("count %u\n", count);
108
109    /* list must be initialized prior to calling this */
110    DEBUG_ASSERT(list);
111
112    uint allocated = 0;
113    if (count == 0)
114        return 0;
115
116    mutex_acquire(&lock);
117
118    /* walk the arenas in order, allocating as many pages as we can from each */
119    pmm_arena_t *a;
120    list_for_every_entry(&arena_list, a, pmm_arena_t, node) {
121        while (allocated < count && a->free_count > 0) {
122            vm_page_t *page = list_remove_head_type(&a->free_list, vm_page_t, node);
123            if (!page)
124                goto done;
125
126            a->free_count--;
127
128            page->flags |= VM_PAGE_FLAG_NONFREE;
129            list_add_tail(list, &page->node);
130
131            allocated++;
132        }
133    }
134
135done:
136    mutex_release(&lock);
137    return allocated;
138}
139
140vm_page_t *pmm_alloc_page(void) {
141    struct list_node list = LIST_INITIAL_VALUE(list);
142
143    size_t ret = pmm_alloc_pages(1, &list);
144    if (ret == 0) {
145        return NULL;
146    }
147
148    DEBUG_ASSERT(ret == 1);
149
150    return list_peek_head_type(&list, vm_page_t, node);
151}
152
153size_t pmm_alloc_range(paddr_t address, uint count, struct list_node *list) {
154    LTRACEF("address 0x%lx, count %u\n", address, count);
155
156    DEBUG_ASSERT(list);
157
158    uint allocated = 0;
159    if (count == 0)
160        return 0;
161
162    address = ROUNDDOWN(address, PAGE_SIZE);
163
164    mutex_acquire(&lock);
165
166    /* walk through the arenas, looking to see if the physical page belongs to it */
167    pmm_arena_t *a;
168    list_for_every_entry(&arena_list, a, pmm_arena_t, node) {
169        while (allocated < count && ADDRESS_IN_ARENA(address, a)) {
170            size_t index = (address - a->base) / PAGE_SIZE;
171
172            DEBUG_ASSERT(index < a->size / PAGE_SIZE);
173
174            vm_page_t *page = &a->page_array[index];
175            if (page->flags & VM_PAGE_FLAG_NONFREE) {
176                /* we hit an allocated page */

내부 동작을 더 깊게 읽기

01

진입 조건을 먼저 고정한다

memory arenas에서 들어온 실행은 부트 CPU의 동기 실행 문맥에 놓여 있다. 이때 interrupt, MMU/cache, stack, heap 중 무엇이 이미 준비되었는지 소스의 호출자까지 올라가 확인한다. 같은 함수라도 SPL, relocation 전후, app thread처럼 호출 문맥이 달라지면 허용되는 API와 지연 시간이 달라진다.

PMM page의 owner와 VMM mapping의 owner는 같지 않을 수 있다. mapping 제거와 physical page 반환이 어느 API에서 결합되는지 확인한다.

02

중심 객체의 생성과 공개를 나눈다

이 글의 중심 객체는 vm_page / pmm_arena / arch_aspace다. 메모리를 확보한 시점, 필드를 채운 시점, 전역 list나 다른 subsystem에 공개한 시점을 구분한다. 공개 뒤 오류가 발생한다면 목록에서 제거하고 child, buffer, reference를 역순으로 정리하는지 확인한다.

빌드 산출물 관점에서는 최종 부트로더 이미지 안에 해당 symbol과 section이 실제로 포함되었는지도 map과 objdump로 검증한다.

03

주소, 크기와 정렬을 계산한다

부트 코드에서는 주소 계산 오류를 주의해야 한다. 원본과 목적지의 주소 범위, 헤더에 기록된 데이터 크기, 블록·페이지 단위를 표로 정리하고 각 구간의 끝 주소를 계산한다. 끝 주소가 start + size - 1처럼 마지막 바이트를 가리키는지, 구간 바로 다음 주소를 가리키는지는 API 규약에서 확인한다.

04

성공 flag와 실제 완료 시점을 맞춘다

pmm_add_arena → page allocation → vmm mapping 구간에서는 부분 초기화 상태가 생길 수 있다. flag, list insertion, callback 등록, storage write 완료 중 무엇이 성공의 기준인지 찾는다. hardware write나 DMA가 포함되면 함수 반환과 장치 완료가 같은 시점인지도 확인한다.

다른 CPU, 인터럽트 처리기, USB 완료 콜백, 셸 명령에서도 이 상태를 읽는다면 메모리 접근 순서와 잠금 범위를 함께 확인한다.

05

제어권을 넘기기 전에 확인할 조건을 정리한다

정상 경로는 address space에서 끝난다. 이 단계가 함수 반환인지, scheduler 전환인지, 다른 image로의 비복귀 분기인지 구분한다. 비복귀 handoff라면 cache clean/invalidate, interrupt disable, 장치 quiesce, argument register와 FDT 또는 image address가 최종 점검 항목이다.

호출한 함수로 돌아오는 경로라면 오류와 일부 처리만 완료된 상태를 구분하는지 확인한다. 이어서 다음 후보를 시도할지, 복구 절차를 실행할지 살펴본다.

구현을 읽을 때 놓치기 쉬운 부분

01

PMM page 상태와 VMM mapping은 별도 객체다

physical page가 free list에서 빠졌다고 virtual address가 생기는 것은 아니고 page table에 mapping됐다고 owner reference가 자동으로 증가하는 것도 아니다. allocation, mapping, unmap, free 네 동작의 순서를 API별로 적는다.

wired page, kernel image, device memory처럼 free 대상이 아닌 page를 같은 list에 넣지 않도록 flags를 확인한다.

02

address space lock과 TLB shootdown을 함께 본다

page table entry 변경은 해당 address space lock 안에서 수행하고 다른 CPU가 같은 mapping을 cache했다면 TLB invalidate를 전달해야 한다. PTE write가 보인다고 즉시 모든 CPU의 translation이 바뀌는 것은 아니다.

unmap 뒤 physical page를 재사용하기 전에 shootdown 완료가 보장되는지 확인한다.

03

MMIO와 normal memory attribute 충돌을 막는다

같은 physical range를 cacheable normal memory와 device memory로 동시에 mapping하면 architecture가 예측하지 못한 동작을 할 수 있다. kernel direct map과 driver ioremap 범위가 겹치는지 resource table로 검증한다.

page size와 block mapping 선택이 permission 변경, guard page와 fragmentation에 미치는 영향도 기록한다.

객체와 수명

대상만들어지는 시점유효 범위확인할 조건
vm_page / pmm_arena / arch_aspacepmm_add_arenaaddress space 또는 오류 정리 완료까지진입 전제와 상태 계약
입력 buffer / metadatamemory arenasparse와 검증이 끝날 때까지길이, 정렬, 소유권, 변조 가능성
등록된 list / descriptorpage allocation하위 시스템을 종료하거나 다음 이미지에 제어권을 넘길 때까지중복 등록, 해제된 객체를 가리키는 포인터, 오류 후 자원 정리
hardware 또는 persistent state실제 write/probe가 완료된 뒤reset 또는 명시적 해제·갱신까지쓰기 완료, 시간 초과, 전원 차단, 이전 상태 복원
최종 부트로더 이미지link/image 생성 시점다음 stage가 새 image로 교체할 때까지적재 주소, 진입점, 섹션, 헤더의 일치 여부

실패 지점과 증상

#조건관찰되는 증상먼저 볼 단계
01reserved page를 free list에 추가firmware overwritepmm_add_arena
02mapping만 제거page leakpage allocation
03TLB invalidate 누락오래된 translation 사용vmm mapping

로그가 끊긴 함수뿐 아니라 그 함수에 주소, 크기, 플래그를 전달한 앞 단계도 조사한다. 오류 처리 후 등록된 객체나 하드웨어 설정이 그대로 남아 있는지도 확인한다.

소스 밖에서 확인할 증거

소스에서 파악한 동작을 실제 빌드 결과와 대상 보드의 로그로 확인한다. 아래 명령의 보드 이름과 툴체인 접두사는 사용 중인 빌드 환경에 맞게 바꾼다.

#목적명령 또는 계측판정 기준
01빌드 구성make <project> -j1platform, target, app 선택과 linker 입력을 로그로 남긴다.
02symbol과 주소nm -n build-*/lk.elf | grep 'status_t pmm_add_arena'init hook, app descriptor와 함수가 어느 주소에 놓였는지 확인한다.
03어셈블리 대조objdump -drS build-*/lk.elfthread 전환과 interrupt disable 구간의 실제 명령을 확인한다.
04초기화 순서init level 전후에 current_time_hires()와 함수 이름 기록level 내부 순서와 지연을 serial log로 남긴다.
05문맥 확인current_thread, interrupt state, stack pointer 기록함수가 bootstrap thread인지 scheduler 이후 thread인지 구분한다.

직접 확인할 실험

  1. 01
    pmm arena와 reserved range 출력

    pmm_add_arena 진입 전후에 physical pages의 주소·크기·반환값과 timestamp를 함께 남긴다.

  2. 02
    map/unmap 뒤 page free count 비교

    page allocation 진입 전후에 pmm arena lists의 주소·크기·반환값과 timestamp를 함께 남긴다.

  3. 03
    동일 VA remap 후 TLB 동작 확인

    vmm mapping 진입 전후에 arch page tables의 주소·크기·반환값과 timestamp를 함께 남긴다.

원문과 다음 글