Secure MMU map과 pager fault | OP-TEE OS

QUESTION

Secure MMU map과 pager fault 단계에서 실제로 바뀌는 상태는 무엇인가?

보안·비보안 속성, 실행 권한, 같은 물리 페이지를 여러 주소에 연결하는 매핑, 페이지 수명을 함께 살펴본다. 같은 물리 페이지를 서로 다른 보안 속성으로 중복 매핑하지 않았는지 확인한다.

secure physical memory는 non-secure mapping으로 노출되지 않고 pager가 배치한 page의 hash와 permission이 backing fobj 계약과 일치해야 한다. 이 문장을 기준으로 코드를 위에서 아래로 읽으면, 함수 이름을 외우는 대신 어느 시점에 어떤 상태를 신뢰할 수 있는지 판단할 수 있다.

STRUCTURE

객체와 주소가 놓이는 구조

그림 1. Secure MMU map과 pager fault에서 입력, 내부 상태, 출력의 경계

입력과 전제내부 상태외부로 공개되는 결과

01memory_map

02mmu_partition

03tee_pager_pmem

04fobj

CONTRACT

이 흐름의 전제와 실패 조건

memory_map / tee_pager_pmem / fobj를 중심에 놓고 왼쪽의 입력이 어떤 검사를 거쳐 오른쪽 결과로 공개되는지 표시했다. 실제 디버깅에서는 각 블록의 주소와 크기를 로그에 대입한다.

CALL PATH

실행 흐름

그림 2. 정상 경로의 주요 호출과 상태 전달

physical regions

memory map sort/check

translation tables

pager region

fault deploy page

화살표는 단순 호출 순서만 뜻하지 않는다. 각 단계가 성공을 반환할 때 다음 단계가 읽을 수 있는 상태가 무엇인지 함께 확인한다. 오류 반환이 발생하면 바로 다음 화살표로 진행하지 않고 해당 단계의 정리 경로를 따라간다.

STATE LEDGER

단계별 입력과 출력

각 단계의 입력과 처리 후 바뀌는 상태를 정리한 표다. 사용 중인 소스 버전에서 다른 필드를 변경한다면 그에 맞춰 표도 수정한다.

#	단계	진입 시 신뢰할 상태	성공 뒤 남아야 할 상태	다음 소비자
01	`physical regions`	secure MMU setup and abort context	memory_map	memory map sort/check
02	`memory map sort/check`	physical regions 완료 상태	mmu_partition	translation tables
03	`translation tables`	memory map sort/check 완료 상태	tee_pager_pmem	pager region
04	`pager region`	translation tables 완료 상태	fobj	fault deploy page
05	`fault deploy page`	pager region 완료 상태	fobj	이 단계의 처리 결과를 사용하는 코드

분석 범위의 전제와 비교해, 다음 단계에 잘못된 입력을 넘긴 부분부터 조사한다.

VISUAL WALKTHROUGH

주소와 객체의 이동을 그림으로 읽기

아래 그림은 주소, 객체를 사용하는 기간, 제어권을 넘기는 시점을 중심으로 정리했다. 실제 주소와 크기는 사용 중인 보드의 bdinfo, 맵 파일과 링커 심벌로 확인한다.

그림 3. Secure MMU map과 pager fault의 실행 순서

각 칸은 제어권이 다음 단계로 넘어가기 전에 확정되어야 하는 상태를 나타낸다.

01physical regions

02memory map sort/check

03translation tables

04pager region

05fault deploy page

그림 4. OP-TEE secure virtual address space

크기는 개념 비율이다. 실제 시작·끝 주소는 platform map과 linker symbol로 대조한다.

높은 주소↓ 주소 감소

core text/rodatasecure RX/RO

core data/heap/stacksecure RW

pageable VAfobj-backed pages

TA user VAsession별 mapping

NS shared memoryNX·validated mobj

secure MMIOdevice attribute

낮은 주소예약 cursor 진행 방향

UPSTREAM SOURCE

원본 코드

아래 코드는 OP-TEE OS 4.10.0의 core/mm/core_mmu.c에서 1608-1696줄을 그대로 가져온 것이다. 설명을 위해 실제 코드를 가짜 의사 코드로 바꾸지 않았다.

commit753afbbee1682f5d16fd30e87b31058a4fd4f4b8anchor · L1632void __weak core_init_mmu_map(unsigned long seed

1608		case MEM_AREA_SHM_VASPACE:
1609		case MEM_AREA_PAGER_VASPACE:
1610		case MEM_AREA_NEX_DYN_VASPACE:
1611		case MEM_AREA_TEE_DYN_VASPACE:
1612			break;
1613		default:
1614			EMSG("Uhandled memtype %d", m->type);
1615			panic();
1616		}
1617	}
1618}
1619
1620/*
1621 * core_init_mmu_map() - init tee core default memory mapping
1622 *
1623 * This routine sets the static default TEE core mapping. If @seed is > 0
1624 * and configured with CFG_CORE_ASLR it will map tee core at a location
1625 * based on the seed and return the offset from the link address.
1626 *
1627 * If an error happened: core_init_mmu_map is expected to panic.
1628 *
1629 * Note: this function is weak just to make it possible to exclude it from
1630 * the unpaged area.
1631 */
1632void __weak core_init_mmu_map(unsigned long seed, struct core_mmu_config *cfg)
1633{
1634#ifndef CFG_NS_VIRTUALIZATION
1635	vaddr_t start = ROUNDDOWN((vaddr_t)__nozi_start, SMALL_PAGE_SIZE);
1636#else
1637	vaddr_t start = ROUNDDOWN((vaddr_t)__vcore_nex_rw_start,
1638				  SMALL_PAGE_SIZE);
1639#endif
1640#ifdef CFG_DYN_CONFIG
1641	vaddr_t len = ROUNDUP(VCORE_FREE_END_PA, SMALL_PAGE_SIZE) - start;
1642#else
1643	vaddr_t len = ROUNDUP((vaddr_t)__nozi_end, SMALL_PAGE_SIZE) - start;
1644#endif
1645	struct tee_mmap_region tmp_mmap_region = { };
1646	struct memory_map mem_map = { };
1647	unsigned long offs = 0;
1648
1649	if (IS_ENABLED(CFG_CORE_PHYS_RELOCATABLE) &&
1650	    (core_mmu_tee_load_pa & SMALL_PAGE_MASK))
1651		panic("OP-TEE load address is not page aligned");
1652
1653	check_sec_nsec_mem_config();
1654
1655	mem_map.alloc_count = CFG_MMAP_REGIONS;
1656	mem_map.map = boot_mem_alloc_tmp(mem_map.alloc_count *
1657						sizeof(*mem_map.map),
1658					 alignof(*mem_map.map));
1659	memory_map_realloc_func = boot_mem_realloc_memory_map;
1660
1661	static_memory_map = (struct memory_map){
1662		.map = &tmp_mmap_region,
1663		.alloc_count = 1,
1664		.count = 1,
1665	};
1666	/*
1667	 * Add a entry covering the translation tables which will be
1668	 * involved in some virt_to_phys() and phys_to_virt() conversions.
1669	 */
1670	static_memory_map.map[0] = (struct tee_mmap_region){
1671		.type = MEM_AREA_TEE_RAM,
1672		.region_size = SMALL_PAGE_SIZE,
1673		.pa = start,
1674		.va = start,
1675		.size = len,
1676		.attr = core_mmu_type_to_attr(MEM_AREA_IDENTITY_MAP_RX),
1677	};
1678
1679	init_mem_map(&mem_map, seed, &offs);
1680
1681	check_mem_map(&mem_map);
1682	core_init_mmu(&mem_map);
1683	dump_xlat_table(0x0, CORE_MMU_BASE_TABLE_LEVEL);
1684	core_init_mmu_regs(cfg);
1685	cfg->map_offset = offs;
1686	static_memory_map = mem_map;
1687	boot_mem_add_reloc(&static_memory_map.map);
1688}
1689
1690void core_mmu_save_mem_map(void)
1691{
1692	size_t alloc_count = static_memory_map.count + 5;
1693	size_t elem_sz = sizeof(*static_memory_map.map);
1694	void *p = NULL;
1695
1696	p = nex_calloc(alloc_count, elem_sz);

READING CONTRACT

발췌 범위와 읽기 기준

원문 1608-1696줄에는 앞뒤 문맥이 포함됩니다. 기준 구문 void __weak core_init_mmu_map(unsigned long seed은 L1632에 있습니다. 발췌 첫 줄을 함수 정의의 시작으로 해석하지 않습니다.

RELATED SOURCE

함께 읽어야 하는 원본 코드

첫 코드 조각만으로 동작이 완성되지 않는 경우 호출 매크로, 객체 정의와 실제 실행 목록을 같은 페이지에 묶었다. 각 조각은 같은 기준 commit에서 가져왔다.

01. pageable physical page와 alias area 초기화

core/arch/arm/mm/tee_pager.c 520-640줄이다.

filecore/arch/arm/mm/tee_pager.canchor · L532void tee_pager_early_init(void)

520		tblidx = pmem_get_region_tblidx(pmem, reg);
521		if (!tblidx.pgt)
522			continue;
523		tblidx_get_entry(tblidx, NULL, &a);
524		if (a & TEE_MATTR_VALID_BLOCK) {
525			tblidx_set_entry(tblidx, 0, 0);
526			pgt_dec_used_entries(tblidx.pgt);
527			tblidx_tlbi_entry(tblidx);
528		}
529	}
530}
531
532void tee_pager_early_init(void)
533{
534	size_t n = 0;
535
536	num_pager_tables = EFFECTIVE_VA_SIZE / CORE_MMU_PGDIR_SIZE;
537	pager_tables = calloc(num_pager_tables, sizeof(*pager_tables));
538	if (!pager_tables)
539		panic("Cannot allocate pager_tables");
540
541	/*
542	 * Note that this depends on add_pager_vaspace() adding vaspace
543	 * after end of memory.
544	 */
545	for (n = 0; n < num_pager_tables; n++) {
546		if (!core_mmu_find_table(NULL, VCORE_START_VA +
547					 n * CORE_MMU_PGDIR_SIZE, UINT_MAX,
548					 &pager_tables[n].tbl_info))
549			panic("can't find mmu tables");
550
551		if (pager_tables[n].tbl_info.shift != TBL_SHIFT)
552			panic("Unsupported page size in translation table");
553		assert(pager_tables[n].tbl_info.num_entries == TBL_NUM_ENTRIES);
554		assert(pager_tables[n].tbl_info.level == TBL_LEVEL);
555
556		pager_tables[n].pgt.tbl = pager_tables[n].tbl_info.table;
557		pager_tables[n].pgt.vabase = pager_tables[n].tbl_info.va_base;
558		pgt_set_used_entries(&pager_tables[n].pgt,
559				tbl_usage_count(&pager_tables[n].tbl_info));
560	}
561}
562
563static void *pager_add_alias_page(paddr_t pa)
564{
565	unsigned idx;
566	struct core_mmu_table_info *ti;
567	/* Alias pages mapped without write permission: runtime will care */
568	uint32_t attr = TEE_MATTR_VALID_BLOCK | TEE_MATTR_SECURE |
569			TEE_MATTR_PR | (TEE_MATTR_MEM_TYPE_CACHED <<
570					TEE_MATTR_MEM_TYPE_SHIFT);
571
572	DMSG("0x%" PRIxPA, pa);
573
574	ti = find_table_info(pager_alias_next_free);
575	idx = core_mmu_va2idx(ti, pager_alias_next_free);
576	core_mmu_set_entry(ti, idx, pa, attr);
577	pgt_inc_used_entries(find_core_pgt(pager_alias_next_free));
578	pager_alias_next_free += SMALL_PAGE_SIZE;
579	if (pager_alias_next_free >= (tee_mm_get_smem(pager_alias_area) +
580				      tee_mm_get_bytes(pager_alias_area)))
581		pager_alias_next_free = 0;
582	return (void *)core_mmu_idx2va(ti, idx);
583}
584
585static void region_insert(struct vm_paged_region_head *regions,
586			  struct vm_paged_region *reg,
587			  struct vm_paged_region *r_prev)
588{
589	uint32_t exceptions = pager_lock_check_stack(8);
590
591	if (r_prev)
592		TAILQ_INSERT_AFTER(regions, r_prev, reg, link);
593	else
594		TAILQ_INSERT_HEAD(regions, reg, link);
595	TAILQ_INSERT_TAIL(&reg->fobj->regions, reg, fobj_link);
596
597	pager_unlock(exceptions);
598}
599DECLARE_KEEP_PAGER(region_insert);
600
601static struct vm_paged_region *alloc_region(vaddr_t base, size_t size)
602{
603	struct vm_paged_region *reg = NULL;
604
605	if ((base & SMALL_PAGE_MASK) || !size) {
606		EMSG("invalid pager region [%" PRIxVA " +0x%zx]", base, size);
607		panic();
608	}
609
610	reg = calloc(1, sizeof(*reg));
611	if (!reg)
612		return NULL;
613	reg->pgt_array = calloc(get_pgt_count(base, size),
614				sizeof(struct pgt *));
615	if (!reg->pgt_array) {
616		free(reg);
617		return NULL;
618	}
619
620	reg->base = base;
621	reg->size = size;
622	return reg;
623}
624
625void tee_pager_add_core_region(vaddr_t base, enum vm_paged_region_type type,
626			       struct fobj *fobj)
627{
628	struct vm_paged_region *reg = NULL;
629	size_t n = 0;
630
631	assert(fobj);
632
633	DMSG("0x%" PRIxPTR " - 0x%" PRIxPTR " : type %d",
634	     base, base + fobj->num_pages * SMALL_PAGE_SIZE, type);
635
636	reg = alloc_region(base, fobj->num_pages * SMALL_PAGE_SIZE);
637	if (!reg)
638		panic("alloc_region");
639
640	reg->fobj = fobj_get(fobj);

02. abort 정보로 pageable fault를 복구하는 pager 진입점

core/arch/arm/mm/tee_pager.c 1743-1851줄이다.

filecore/arch/arm/mm/tee_pager.canchor · L1755bool tee_pager_handle_fault(struct abort_info *ai)

1743	}
1744	if (tee_pager_npages < min_npages)
1745		min_npages = tee_pager_npages;
1746	if (tee_pager_npages < total_min_npages)
1747		total_min_npages = tee_pager_npages;
1748}
1749#else
1750static void stat_handle_fault(void)
1751{
1752}
1753#endif
1754
1755bool tee_pager_handle_fault(struct abort_info *ai)
1756{
1757	struct vm_paged_region *reg;
1758	vaddr_t page_va = ai->va & ~SMALL_PAGE_MASK;
1759	uint32_t exceptions;
1760	bool ret;
1761	bool clean_user_cache = false;
1762
1763#ifdef TEE_PAGER_DEBUG_PRINT
1764	if (!abort_is_user_exception(ai))
1765		abort_print(ai);
1766#endif
1767
1768	/*
1769	 * We're updating pages that can affect several active CPUs at a
1770	 * time below. We end up here because a thread tries to access some
1771	 * memory that isn't available. We have to be careful when making
1772	 * that memory available as other threads may succeed in accessing
1773	 * that address the moment after we've made it available.
1774	 *
1775	 * That means that we can't just map the memory and populate the
1776	 * page, instead we use the aliased mapping to populate the page
1777	 * and once everything is ready we map it.
1778	 */
1779	exceptions = pager_lock(ai);
1780
1781	stat_handle_fault();
1782
1783	/* check if the access is valid */
1784	if (abort_is_user_exception(ai)) {
1785		reg = find_uta_region(ai->va);
1786		clean_user_cache = true;
1787	} else {
1788		reg = find_region(&core_vm_regions, ai->va);
1789		if (!reg) {
1790			reg = find_uta_region(ai->va);
1791			clean_user_cache = true;
1792		}
1793	}
1794	if (!reg || !reg->pgt_array[0]) {
1795		ret = false;
1796		goto out;
1797	}
1798
1799	if (tee_pager_unhide_page(reg, page_va))
1800		goto out_success;
1801
1802	/*
1803	 * The page wasn't hidden, but some other core may have
1804	 * updated the table entry before we got here or we need
1805	 * to make a read-only page read-write (dirty).
1806	 */
1807	if (pager_update_permissions(reg, ai, &ret)) {
1808		/*
1809		 * Nothing more to do with the abort. The problem
1810		 * could already have been dealt with from another
1811		 * core or if ret is false the TA will be paniced.
1812		 */
1813		goto out;
1814	}
1815
1816	pager_get_page(reg, ai, clean_user_cache);
1817
1818out_success:
1819	tee_pager_hide_pages();
1820	ret = true;
1821out:
1822	pager_unlock(exceptions);
1823	return ret;
1824}
1825
1826void tee_pager_add_pages(vaddr_t vaddr, size_t npages, bool unmap)
1827{
1828	size_t n = 0;
1829
1830	DMSG("0x%" PRIxVA " - 0x%" PRIxVA " : %d",
1831	     vaddr, vaddr + npages * SMALL_PAGE_SIZE, (int)unmap);
1832
1833	/* setup memory */
1834	for (n = 0; n < npages; n++) {
1835		struct core_mmu_table_info *ti = NULL;
1836		struct tee_pager_pmem *pmem = NULL;
1837		vaddr_t va = vaddr + n * SMALL_PAGE_SIZE;
1838		struct tblidx tblidx = { };
1839		unsigned int pgidx = 0;
1840		paddr_t pa = 0;
1841		uint32_t attr = 0;
1842
1843		ti = find_table_info(va);
1844		pgidx = core_mmu_va2idx(ti, va);
1845		/*
1846		 * Note that we can only support adding pages in the
1847		 * valid range of this table info, currently not a problem.
1848		 */
1849		core_mmu_get_entry(ti, pgidx, &pa, &attr);
1850
1851		/* Ignore unmapped pages/blocks */

DETAILS

내부 동작을 더 깊게 읽기

진입 조건을 먼저 고정한다

physical regions에서 들어온 실행은 secure MMU setup and abort context에 놓여 있다. 이때 interrupt, MMU/cache, stack, heap 중 무엇이 이미 준비되었는지 소스의 호출자까지 올라가 확인한다. 같은 함수라도 SPL, relocation 전후, app thread처럼 호출 문맥이 달라지면 허용되는 API와 지연 시간이 달라진다.

중심 객체의 생성과 공개를 나눈다

이 글의 중심 객체는 memory_map / tee_pager_pmem / fobj다. 메모리를 확보한 시점, 필드를 채운 시점, 전역 list나 다른 subsystem에 공개한 시점을 구분한다. 공개 뒤 오류가 발생한다면 목록에서 제거하고 child, buffer, reference를 역순으로 정리하는지 확인한다.

빌드 산출물 관점에서는 최종 부트로더 이미지 안에 해당 symbol과 section이 실제로 포함되었는지도 map과 objdump로 검증한다.

주소, 크기와 정렬을 계산한다

부트 코드에서는 주소 계산 오류를 주의해야 한다. 원본과 목적지의 주소 범위, 헤더에 기록된 데이터 크기, 블록·페이지 단위를 표로 정리하고 각 구간의 끝 주소를 계산한다. 끝 주소가 start + size - 1처럼 마지막 바이트를 가리키는지, 구간 바로 다음 주소를 가리키는지는 API 규약에서 확인한다.

성공 flag와 실제 완료 시점을 맞춘다

memory map sort/check → translation tables → pager region 구간에서는 부분 초기화 상태가 생길 수 있다. flag, list insertion, callback 등록, storage write 완료 중 무엇이 성공의 기준인지 찾는다. hardware write나 DMA가 포함되면 함수 반환과 장치 완료가 같은 시점인지도 확인한다.

다른 CPU, 인터럽트 처리기, USB 완료 콜백, 셸 명령에서도 이 상태를 읽는다면 메모리 접근 순서와 잠금 범위를 함께 확인한다.

제어권을 넘기기 전에 확인할 조건을 정리한다

정상 경로는 fault deploy page에서 끝난다. 이 단계가 함수 반환인지, scheduler 전환인지, 다른 image로의 비복귀 분기인지 구분한다. 비복귀 handoff라면 cache clean/invalidate, interrupt disable, 장치 quiesce, argument register와 FDT 또는 image address가 최종 점검 항목이다.

호출한 함수로 돌아오는 경로라면 오류와 일부 처리만 완료된 상태를 구분하는지 확인한다. 이어서 다음 후보를 시도할지, 복구 절차를 실행할지 살펴본다.

IMPLEMENTATION NOTES

구현을 읽을 때 놓치기 쉬운 부분

physical regions에서 fault deploy page까지 제어권이 이동하는 조건

secure RAM, TA RAM, shared memory와 MMIO mapping을 만들고 pageable code의 fault를 physical page와 backing object로 해결하는 경로를 읽습니다. 이 경로는 함수 호출 목록만 외워서는 연결되지 않는다. physical regions → memory map sort/check → translation tables → pager region → fault deploy page 순서에서 각 단계가 읽는 입력, 새로 확정하는 상태, 다음 단계에 넘기는 값을 구분해야 한다. 특히 secure MMU setup and abort context에서는 이전 단계가 남긴 register와 memory attribute가 C 코드의 전제 조건이 된다.

보안·비보안 속성, 실행 권한, 같은 물리 페이지를 여러 주소에 연결하는 매핑, 페이지 수명을 함께 살펴본다. 같은 물리 페이지를 서로 다른 보안 속성으로 중복 매핑하지 않았는지 확인한다. 따라서 첫 지점에서 memory_map / tee_pager_pmem / fobj의 주소와 owner를 기록하고, 마지막 지점에서 같은 값이 그대로 유지되는지 아니면 새 객체로 교체되는지를 확인한다. 중간 함수가 성공을 반환해도 secure physical memory는 non-secure mapping으로 노출되지 않고 pager가 배치한 page의 hash와 permission이 backing fobj 계약과 일치해야 한다.

memory_map와 fobj의 생성 시점과 수명

이 글에서 함께 나타나는 객체는 memory_map, mmu_partition, tee_pager_pmem, fobj이다. 이름이 비슷해도 저장 위치와 수명은 다르다. build-time descriptor인지, boot 단계의 임시 객체인지, world switch 뒤에도 남는 runtime 객체인지 나눠야 pointer를 따라가다 다른 단계의 구조체를 같은 것으로 오해하지 않는다.

memory_map / tee_pager_pmem / fobj을 기준으로 allocation 또는 정적 배치 위치, list/table에 공개되는 시점, 참조가 끊기는 시점을 적는다. 그 다음 source와 destination 범위, per-CPU 여부, secure/non-secure 접근 권한을 map과 runtime log로 대조한다. 이 절차를 거치면 단순한 호출 순서가 아니라 실제 소유권 이동이 보인다.

성공 로그만으로 놓치기 쉬운 오류

대표적인 실패 조건은 region overlap: attribute alias; pager hash 실패: secure panic; page table pool 고갈: TA load 실패이다. 이 문제들은 대개 fault가 발생한 함수보다 앞에서 만들어진 잘못된 주소, size, security state 또는 refcount 때문에 생긴다. 마지막 출력만 보지 말고 각 경계 직전의 상태를 한 줄씩 남겨 최초 불일치 지점을 찾는다.

재현에는 core_mmu map dump와 linker section 대조; pageable page를 순차 fault시켜 교체 관찰; NS shared memory를 executable로 요청해 거부 확인를 사용한다. 정상 경로와 실패 경로에서 같은 필드를 같은 위치에 출력하고, 실패가 검증 단계에서 차단되는지 아니면 다음 context까지 전파되는지 비교한다. firmware와 secure world에서는 실패 뒤의 cleanup 또는 reset 경로도 정상 경로만큼 중요하다.

DEEP ANALYSIS

레지스터에서 오류 판정까지 상세 분석

OP-TEE memory map은 secure RAM을 하나의 RWX region으로 매핑하지 않는다. core text/rodata/RW, TA RAM, pager virtual window, NS shared memory, secure/non-secure IO의 type과 permission이 분리되며 같은 physical range의 conflicting alias를 거부해야 한다.

pager fault는 단순히 빈 PTE에 physical page를 넣는 작업이 아니다. virtual region이 참조하는 fobj와 page index를 찾고, 기존 physical page owner를 정리한 뒤 backing data를 읽어 hash를 검증하고 permission·TLB maintenance를 적용한다.

그림 5. 이 경로를 통과하는 다섯 개의 진입 계약

01phys_mem map

type, PA, size가 정렬되고 overlap 규칙을 만족해야 한다.

02ASLR seed

0 또는 platform policy에 맞는 신뢰 가능한 seed여야 한다.

03fault VA/ESR

translation/permission fault와 access type을 정확히 분류한다.

04pager area

VA range, fobj offset, flags가 일관돼야 한다.

05physical page pool

secure page이며 현재 owner/ref/lock 상태가 유효해야 한다.

각 계약은 앞 단계가 생산하고 현재 단계가 검증한 뒤 다음 소비자에게 넘기는 상태다. 한 항목이라도 확인되지 않으면 뒤 단계의 fault를 그 지점의 문제로 단정하지 않는다.

진입 레지스터와 메모리 계약

함수 첫 줄에 도달했을 때 이미 참이라고 가정하는 값과, 그 값이 틀렸을 때 영향을 받는 범위를 함께 적었다.

#	입력 상태	생산자	정상 조건	확인 이유
01	`phys_mem map`	platform declarations/DT	type, PA, size가 정렬되고 overlap 규칙을 만족해야 한다.	core_init_mmu_map의 입력이다.
02	`ASLR seed`	TF-A/secure entropy	0 또는 platform policy에 맞는 신뢰 가능한 seed여야 한다.	core virtual placement를 결정한다.
03	`fault VA/ESR`	abort handler	translation/permission fault와 access type을 정확히 분류한다.	pager가 처리 가능한 fault인지 판정한다.
04	`pager area`	tee_pager_add_area	VA range, fobj offset, flags가 일관돼야 한다.	fault VA를 backing object로 변환한다.
05	`physical page pool`	tee_pager_add_pages	secure page이며 현재 owner/ref/lock 상태가 유효해야 한다.	page replacement와 mapping의 실제 storage다.

핵심 구조체 필드의 생산자, 소비자와 수명

구조체 이름만 나열하지 않고 어떤 코드가 값을 쓰고, 어느 코드가 처음 읽으며, 언제까지 주소와 내용이 유지되어야 하는지 구분했다.

#	객체 또는 필드	생산자	소비자	수명과 불변 조건
01	`core_mmu_phys_mem/memory_map`	platform+map builder	table builder/address checks	runtime map의 기준이며 init 후 read-mostly다.
02	`mmu_partition`	MMU init	core/TA address-space switch	page table root와 ASID 관련 state를 소유한다.
03	`tee_pager_area`	pager setup/TA loader	fault lookup	mapped code/data 수명 동안 VA와 fobj 관계를 유지한다.
04	`fobj`	image/TA backing creator	pager load/save	refcount가 0이 될 때까지 page content와 hash source를 소유한다.
05	`tee_pager_pmem`	pager page pool	replacement algorithm	physical page의 current area/index/lock state를 유지한다.
06	`page table/PTE`	MMU/pager	hardware walker	barrier와 TLB invalidation 뒤에만 새 mapping이 관찰돼야 한다.

함수 내부 실행 순서

소스의 큰 분기와 side effect를 실행 순서대로 다시 펼쳤다. breakpoint는 이 목록의 경계에 두고, 다음 번호로 넘어갈 때 새로 유효해진 객체를 기록한다.

01
platform physical region을 type별로 모으고 sort한 뒤 overflow와 허용되지 않은 overlap을 검사한다.
02
secure core와 MMIO, NS SHM의 memory attribute를 정해 initial/final translation table을 만든다.
03
pager physical page pool과 pageable virtual area, backing fobj와 hash 정보를 등록한다.
04
access가 unmapped pageable VA에서 translation fault를 발생시키면 abort handler가 ESR과 VA를 수집한다.
05
pager가 VA에 대응하는 area와 page index를 찾고 fault가 허용된 access/permission인지 확인한다.
06
free page가 없으면 교체 가능한 pmem을 고르고 dirty save 또는 old PTE 해제와 TLB invalidation을 수행한다.
07
fobj에서 page byte를 load하고 hash/integrity를 검증한 뒤 secure physical page에 복사한다.
08
최종 permission으로 PTE를 설치하고 cache clean, DSB, TLB/ISB 순서를 지켜 hardware에 공개한다.
09
복구 가능한 fault면 원래 instruction을 재시도하고, 검증/permission 실패면 TA kill 또는 core panic 정책을 적용한다.

빌드 설정이 바꾸는 실제 코드 경로

동일한 함수 이름이라도 아래 설정에 따라 포함되는 source, 구조체 크기, 인자 의미와 failure path가 달라진다.

#	설정	바뀌는 동작	확인 방법
01	`CFG_WITH_PAGER`	pager area, fobj, pmem과 fault 복구 경로를 포함한다.	page pool 크기와 pageable image 크기를 함께 기록한다.
02	`CFG_CORE_ASLR`	core virtual base와 table layout을 무작위화한다.	seed와 runtime VA-to-PA 변환을 crash log에 남긴다.
03	`CFG_WITH_LPAE`	translation table format과 address width가 달라진다.	TCR granule/IPS와 PTE decode를 맞춘다.
04	`CFG_CORE_DYN_SHM/SECURE_DATA_PATH`	NS 또는 SDP region type과 mapping 허용 범위가 추가된다.	mobj source와 core_mmu_check_* 검사를 확인한다.
05	`CFG_PAGED_USER_TA`	user TA page도 pager가 관리한다.	core pageable area와 user TA fobj lifetime을 구분한다.

증상에서 최초 불일치 지점까지 추적하기

마지막 panic 메시지가 아니라 어디에서 멈추고 무엇을 읽어 어떤 결론을 내릴지 정리했다. 정상값과 실패값은 같은 build와 같은 위치에서 비교한다.

#	관찰 증상	중단 위치	기록할 값	판정
01	같은 VA에서 fault 무한 반복	`PTE install 직후와 exception return`	PTE valid/AP/XN, TLB invalidation, ESR	permission 또는 barrier 누락을 찾는다.
02	page hash mismatch	`fobj load/verify`	page index, backing offset, expected/actual hash	잘못된 pageable payload와 index 계산 오류를 구분한다.
03	특정 TA 실행 후 core mapping 손상	`page replacement`	pmem owner, old/new area, ref/lock	locked/resident page를 잘못 재사용했는지 확인한다.
04	NS shared memory가 executable로 보임	`memory map build와 mobj mapping`	region type, PTE XN/AP, source PA	type alias 또는 permission 생성 오류를 판정한다.

OBJECT LIFETIME

객체와 수명

대상	만들어지는 시점	유효 범위	확인할 조건
`memory_map / tee_pager_pmem / fobj`	memory map sort/check	fault deploy page 또는 오류 정리 완료까지	진입 전제와 상태 계약
입력 buffer / metadata	physical regions	parse와 검증이 끝날 때까지	길이, 정렬, 소유권, 변조 가능성
등록된 list / descriptor	translation tables	하위 시스템을 종료하거나 다음 이미지에 제어권을 넘길 때까지	중복 등록, 해제된 객체를 가리키는 포인터, 오류 후 자원 정리
hardware 또는 persistent state	실제 write/probe가 완료된 뒤	reset 또는 명시적 해제·갱신까지	쓰기 완료, 시간 초과, 전원 차단, 이전 상태 복원
`최종 부트로더 이미지`	link/image 생성 시점	다음 stage가 새 image로 교체할 때까지	적재 주소, 진입점, 섹션, 헤더의 일치 여부

FAILURE PATH

실패 지점과 증상

#	조건	관찰되는 증상	먼저 볼 단계
01	region overlap	attribute alias	memory map sort/check
02	pager hash 실패	secure panic	translation tables
03	page table pool 고갈	TA load 실패	pager region

로그가 끊긴 함수뿐 아니라 그 함수에 주소, 크기, 플래그를 전달한 앞 단계도 조사한다. 오류 처리 후 등록된 객체나 하드웨어 설정이 그대로 남아 있는지도 확인한다.

EVIDENCE

소스 밖에서 확인할 증거

소스에서 파악한 동작을 실제 빌드 결과와 대상 보드의 로그로 확인한다. 아래 명령의 보드 이름과 툴체인 접두사는 사용 중인 빌드 환경에 맞게 바꾼다.

#	목적	명령 또는 계측	판정 기준
01	빌드 산출물	`make PLATFORM=<platform> CFG_TEE_CORE_LOG_LEVEL=4`	tee.elf, tee.bin과 pageable/pager 구성이 같은 설정에서 생성됐는지 확인한다.
02	ELF 배치	`${CROSS_COMPILE64}readelf -W -lS out/arm/core/tee.elf`	secure RAM 안에서 text, data, pager, pageable 구간이 어떤 주소와 권한으로 배치되는지 확인한다.
03	심볼과 주소	`${CROSS_COMPILE64}nm -n out/arm/core/tee.elf \| grep 'void __weak core_init_mmu_map'`	entry, thread, TA manager 함수의 링크 주소를 원본 설명과 연결한다.
04	명령과 예외 경로	`${CROSS_COMPILE64}objdump -drS out/arm/core/tee.elf`	SMC entry, world switch, abort 복귀가 실제 register save/restore와 어떻게 이어지는지 대조한다.
05	Normal world 왕복	`xtest; dmesg \| grep -i optee`	secure console과 Linux OP-TEE driver 로그를 함께 보고 SMC, RPC, shared memory 왕복의 양쪽 증거를 맞춘다.

LAB

직접 확인할 실험

01
core_mmu map dump와 linker section 대조
memory map sort/check 진입 전후에 memory_map의 주소·크기·반환값과 timestamp를 함께 남긴다.
02
pageable page를 순차 fault시켜 교체 관찰
translation tables 진입 전후에 mmu_partition의 주소·크기·반환값과 timestamp를 함께 남긴다.
03
NS shared memory를 executable로 요청해 거부 확인
pager region 진입 전후에 tee_pager_pmem의 주소·크기·반환값과 timestamp를 함께 남긴다.

PRIMARY REFERENCES

원문과 다음 글

core/mm/core_mmu.c4.10.0 원본 파일 OP-TEE OS source tree기준 commit 753afbbee168