RPC suspend와 tee-supplicant 왕복 | OP-TEE OS

RPC가 Linux에 돌아왔을 때 이어지는 처리

Linux의 optee_smc_do_call_with_arg는 반환값이 RPC인지 검사합니다. 드라이버가 처리할 요청은 직접 처리하고, 사용자 공간 서비스가 필요한 요청은 tee-supplicant에 전달합니다. 이후 RETURN_FROM_RPC 호출로 중단된 보안 작업을 이어갑니다. RPC 반환, SMC 최종 반환, 메시지 안의 TA 결과 ret/ret_origin은 서로 구분합니다.

양쪽 코드를 이어서 읽기

QUESTION

RPC suspend와 tee-supplicant 왕복 단계에서 실제로 바뀌는 상태는 무엇인가?

RPC는 secure world가 Normal World를 신뢰한다는 뜻이 아니다. 반환 buffer, command-specific result와 shared memory를 다시 검증하는 지점을 확인한다.

RPC 중 suspend된 thread의 session/context는 유지되고 resume token은 정확히 그 thread와 요청을 식별하며 Normal World 결과는 재검증되어야 한다. 이 문장을 기준으로 코드를 위에서 아래로 읽으면, 함수 이름을 외우는 대신 어느 시점에 어떤 상태를 신뢰할 수 있는지 판단할 수 있다.

STRUCTURE

객체와 주소가 놓이는 구조

그림 1. RPC suspend와 tee-supplicant 왕복에서 입력, 내부 상태, 출력의 경계

입력과 전제내부 상태외부로 공개되는 결과

01thread_ctx suspended state

02RPC mobj

03optee_msg_arg

04resume token

CONTRACT

이 흐름의 전제와 실패 조건

thread_ctx / RPC arg mobj / resume token를 중심에 놓고 왼쪽의 입력이 어떤 검사를 거쳐 오른쪽 결과로 공개되는지 표시했다. 실제 디버깅에서는 각 블록의 주소와 크기를 로그에 대입한다.

CALL PATH

실행 흐름

그림 2. 정상 경로의 주요 호출과 상태 전달

secure service needs REE

build RPC message

SMC return to Linux

tee-supplicant work

resume secure thread

화살표는 단순 호출 순서만 뜻하지 않는다. 각 단계가 성공을 반환할 때 다음 단계가 읽을 수 있는 상태가 무엇인지 함께 확인한다. 오류 반환이 발생하면 바로 다음 화살표로 진행하지 않고 해당 단계의 정리 경로를 따라간다.

STATE LEDGER

단계별 입력과 출력

각 단계의 입력과 처리 후 바뀌는 상태를 정리한 표다. 사용 중인 소스 버전에서 다른 필드를 변경한다면 그에 맞춰 표도 수정한다.

#	단계	진입 시 신뢰할 상태	성공 뒤 남아야 할 상태	다음 소비자
01	`secure service needs REE`	secure-to-normal RPC boundary	thread_ctx suspended state	build RPC message
02	`build RPC message`	secure service needs REE 완료 상태	RPC mobj	SMC return to Linux
03	`SMC return to Linux`	build RPC message 완료 상태	optee_msg_arg	tee-supplicant work
04	`tee-supplicant work`	SMC return to Linux 완료 상태	resume token	resume secure thread
05	`resume secure thread`	tee-supplicant work 완료 상태	resume token	이 단계의 처리 결과를 사용하는 코드

분석 범위의 전제와 비교해, 다음 단계에 잘못된 입력을 넘긴 부분부터 조사한다.

VISUAL WALKTHROUGH

주소와 객체의 이동을 그림으로 읽기

아래 그림은 주소, 객체를 사용하는 기간, 제어권을 넘기는 시점을 중심으로 정리했다. 실제 주소와 크기는 사용 중인 보드의 bdinfo, 맵 파일과 링커 심벌로 확인한다.

그림 3. RPC suspend와 tee-supplicant 왕복의 실행 순서

각 칸은 제어권이 다음 단계로 넘어가기 전에 확정되어야 하는 상태를 나타낸다.

01secure service needs REE

02build RPC message

03SMC return to Linux

04tee-supplicant work

05resume secure thread

그림 4. RPC 왕복 중 Secure World와 Normal World 책임

두 열은 실행 주체와 접근 권한, 객체를 해제할 책임이 다른 경계를 비교한다.

Secure World

01RPC command 생성

02buffer bounds 결정

03thread suspend

04결과 재검증

Normal World

01Linux driver 전달

02tee-supplicant 처리

03REE filesystem/device 접근

04resume SMC

UPSTREAM SOURCE

원본 코드

아래 코드는 OP-TEE OS 4.10.0의 core/arch/arm/kernel/thread_optee_smc.c에서 537-625줄을 그대로 가져온 것이다. 설명을 위해 실제 코드를 가짜 의사 코드로 바꾸지 않았다.

commit753afbbee1682f5d16fd30e87b31058a4fd4f4b8anchor · L561uint32_t thread_rpc_cmd(uint32_t cmd

537	for (size_t n = 0; n < num_params; n++) {
538		switch (params[n].attr) {
539		case THREAD_PARAM_ATTR_VALUE_OUT:
540		case THREAD_PARAM_ATTR_VALUE_INOUT:
541			params[n].u.value.a = arg->params[n].u.value.a;
542			params[n].u.value.b = arg->params[n].u.value.b;
543			params[n].u.value.c = arg->params[n].u.value.c;
544			break;
545		case THREAD_PARAM_ATTR_MEMREF_OUT:
546		case THREAD_PARAM_ATTR_MEMREF_INOUT:
547			/*
548			 * rmem.size and tmem.size is the same type and
549			 * location.
550			 */
551			params[n].u.memref.size = arg->params[n].u.rmem.size;
552			break;
553		default:
554			break;
555		}
556	}
557
558	return arg->ret;
559}
560
561uint32_t thread_rpc_cmd(uint32_t cmd, size_t num_params,
562			struct thread_param *params)
563{
564	uint32_t rpc_args[THREAD_RPC_NUM_ARGS] = { OPTEE_SMC_RETURN_RPC_CMD };
565	void *arg = NULL;
566	uint64_t carg = 0;
567	uint32_t ret = 0;
568
569	/* The source CRYPTO_RNG_SRC_JITTER_RPC is safe to use here */
570	plat_prng_add_jitter_entropy(CRYPTO_RNG_SRC_JITTER_RPC,
571				     &thread_rpc_pnum);
572
573	ret = get_rpc_arg(cmd, num_params, params, &arg, &carg);
574	if (ret)
575		return ret;
576
577	reg_pair_from_64(carg, rpc_args + 1, rpc_args + 2);
578	thread_rpc(rpc_args);
579
580	return get_rpc_arg_res(arg, num_params, params);
581}
582
583/**
584 * Free physical memory previously allocated with thread_rpc_alloc()
585 *
586 * @cookie:	cookie received when allocating the buffer
587 * @bt:		must be the same as supplied when allocating
588 * @mobj:	mobj that describes allocated buffer
589 *
590 * This function also frees corresponding mobj.
591 */
592static void thread_rpc_free(unsigned int bt, uint64_t cookie, struct mobj *mobj)
593{
594	uint32_t rpc_args[THREAD_RPC_NUM_ARGS] = { OPTEE_SMC_RETURN_RPC_CMD };
595	void *arg = NULL;
596	uint64_t carg = 0;
597	struct thread_param param = THREAD_PARAM_VALUE(IN, bt, cookie, 0);
598	uint32_t ret = get_rpc_arg(OPTEE_RPC_CMD_SHM_FREE, 1, &param,
599				   &arg, &carg);
600
601	mobj_put(mobj);
602
603	if (!ret) {
604		reg_pair_from_64(carg, rpc_args + 1, rpc_args + 2);
605		thread_rpc(rpc_args);
606	}
607}
608
609static struct mobj *get_rpc_alloc_res(struct optee_msg_arg *arg,
610				      unsigned int bt, size_t size)
611{
612	struct mobj *mobj = NULL;
613	uint64_t cookie = 0;
614	size_t sz = 0;
615	paddr_t p = 0;
616
617	if (arg->ret || arg->num_params != 1)
618		goto err;
619
620	if (arg->params[0].attr != OPTEE_MSG_ATTR_TYPE_TMEM_OUTPUT  &&
621	    arg->params[0].attr != (OPTEE_MSG_ATTR_TYPE_TMEM_OUTPUT |
622				    OPTEE_MSG_ATTR_NONCONTIG))
623		goto err;
624
625	p = arg->params[0].u.tmem.buf_ptr;

READING CONTRACT

발췌 범위와 읽기 기준

원문 537-625줄에는 앞뒤 문맥이 포함됩니다. 기준 구문 uint32_t thread_rpc_cmd(uint32_t cmd은 L561에 있습니다. 발췌 첫 줄을 함수 정의의 시작으로 해석하지 않습니다.

RPC는 secure world가 Normal World를 신뢰한다는 뜻이 아니다. 반환 buffer, command-specific result와 shared memory를 다시 검증하는 지점을 확인한다.

RELATED SOURCE

함께 읽어야 하는 원본 코드

첫 코드 조각만으로 동작이 완성되지 않는 경우 호출 매크로, 객체 정의와 실제 실행 목록을 같은 페이지에 묶었다. 각 조각은 같은 기준 commit에서 가져왔다.

01. RPC가 사용할 non-secure shared payload 할당

core/arch/arm/kernel/thread_optee_smc.c 648-709줄이다.

filecore/arch/arm/kernel/thread_optee_smc.canchor · L658static struct mobj *thread_rpc_alloc(size_t size

648
649/**
650 * Allocates shared memory buffer via RPC
651 *
652 * @size:	size in bytes of shared memory buffer
653 * @align:	required alignment of buffer
654 * @bt:		buffer type OPTEE_RPC_SHM_TYPE_*
655 *
656 * Returns a pointer to MOBJ for the memory on success, or NULL on failure.
657 */
658static struct mobj *thread_rpc_alloc(size_t size, size_t align, unsigned int bt)
659{
660	uint32_t rpc_args[THREAD_RPC_NUM_ARGS] = { OPTEE_SMC_RETURN_RPC_CMD };
661	void *arg = NULL;
662	uint64_t carg = 0;
663	struct thread_param param = THREAD_PARAM_VALUE(IN, bt, size, align);
664	uint32_t ret = get_rpc_arg(OPTEE_RPC_CMD_SHM_ALLOC, 1, &param,
665				   &arg, &carg);
666
667	if (ret)
668		return NULL;
669
670	reg_pair_from_64(carg, rpc_args + 1, rpc_args + 2);
671	thread_rpc(rpc_args);
672
673	return get_rpc_alloc_res(arg, bt, size);
674}
675
676struct mobj *thread_rpc_alloc_payload(size_t size)
677{
678	return thread_rpc_alloc(size, 8, OPTEE_RPC_SHM_TYPE_APPL);
679}
680
681struct mobj *thread_rpc_alloc_kernel_payload(size_t size)
682{
683	return thread_rpc_alloc(size, 8, OPTEE_RPC_SHM_TYPE_KERNEL);
684}
685
686void thread_rpc_free_kernel_payload(struct mobj *mobj)
687{
688	if (mobj)
689		thread_rpc_free(OPTEE_RPC_SHM_TYPE_KERNEL,
690				mobj_get_cookie(mobj), mobj);
691}
692
693void thread_rpc_free_payload(struct mobj *mobj)
694{
695	if (mobj)
696		thread_rpc_free(OPTEE_RPC_SHM_TYPE_APPL, mobj_get_cookie(mobj),
697				mobj);
698}
699
700struct mobj *thread_rpc_alloc_global_payload(size_t size)
701{
702	return thread_rpc_alloc(size, 8, OPTEE_RPC_SHM_TYPE_GLOBAL);
703}
704
705void thread_rpc_free_global_payload(struct mobj *mobj)
706{
707	thread_rpc_free(OPTEE_RPC_SHM_TYPE_GLOBAL, mobj_get_cookie(mobj),
708			mobj);
709}

02. RPC response의 shared argument와 parameter를 회수

core/arch/arm/kernel/thread_optee_smc.c 524-626줄이다.

filecore/arch/arm/kernel/thread_optee_smc.canchor · L534static uint32_t get_rpc_arg_res

524			return TEE_ERROR_BAD_PARAMETERS;
525		}
526	}
527
528	*arg_ret = arg;
529	*carg_ret = mobj_get_cookie(thr->rpc_mobj);
530
531	return TEE_SUCCESS;
532}
533
534static uint32_t get_rpc_arg_res(struct optee_msg_arg *arg, size_t num_params,
535				struct thread_param *params)
536{
537	for (size_t n = 0; n < num_params; n++) {
538		switch (params[n].attr) {
539		case THREAD_PARAM_ATTR_VALUE_OUT:
540		case THREAD_PARAM_ATTR_VALUE_INOUT:
541			params[n].u.value.a = arg->params[n].u.value.a;
542			params[n].u.value.b = arg->params[n].u.value.b;
543			params[n].u.value.c = arg->params[n].u.value.c;
544			break;
545		case THREAD_PARAM_ATTR_MEMREF_OUT:
546		case THREAD_PARAM_ATTR_MEMREF_INOUT:
547			/*
548			 * rmem.size and tmem.size is the same type and
549			 * location.
550			 */
551			params[n].u.memref.size = arg->params[n].u.rmem.size;
552			break;
553		default:
554			break;
555		}
556	}
557
558	return arg->ret;
559}
560
561uint32_t thread_rpc_cmd(uint32_t cmd, size_t num_params,
562			struct thread_param *params)
563{
564	uint32_t rpc_args[THREAD_RPC_NUM_ARGS] = { OPTEE_SMC_RETURN_RPC_CMD };
565	void *arg = NULL;
566	uint64_t carg = 0;
567	uint32_t ret = 0;
568
569	/* The source CRYPTO_RNG_SRC_JITTER_RPC is safe to use here */
570	plat_prng_add_jitter_entropy(CRYPTO_RNG_SRC_JITTER_RPC,
571				     &thread_rpc_pnum);
572
573	ret = get_rpc_arg(cmd, num_params, params, &arg, &carg);
574	if (ret)
575		return ret;
576
577	reg_pair_from_64(carg, rpc_args + 1, rpc_args + 2);
578	thread_rpc(rpc_args);
579
580	return get_rpc_arg_res(arg, num_params, params);
581}
582
583/**
584 * Free physical memory previously allocated with thread_rpc_alloc()
585 *
586 * @cookie:	cookie received when allocating the buffer
587 * @bt:		must be the same as supplied when allocating
588 * @mobj:	mobj that describes allocated buffer
589 *
590 * This function also frees corresponding mobj.
591 */
592static void thread_rpc_free(unsigned int bt, uint64_t cookie, struct mobj *mobj)
593{
594	uint32_t rpc_args[THREAD_RPC_NUM_ARGS] = { OPTEE_SMC_RETURN_RPC_CMD };
595	void *arg = NULL;
596	uint64_t carg = 0;
597	struct thread_param param = THREAD_PARAM_VALUE(IN, bt, cookie, 0);
598	uint32_t ret = get_rpc_arg(OPTEE_RPC_CMD_SHM_FREE, 1, &param,
599				   &arg, &carg);
600
601	mobj_put(mobj);
602
603	if (!ret) {
604		reg_pair_from_64(carg, rpc_args + 1, rpc_args + 2);
605		thread_rpc(rpc_args);
606	}
607}
608
609static struct mobj *get_rpc_alloc_res(struct optee_msg_arg *arg,
610				      unsigned int bt, size_t size)
611{
612	struct mobj *mobj = NULL;
613	uint64_t cookie = 0;
614	size_t sz = 0;
615	paddr_t p = 0;
616
617	if (arg->ret || arg->num_params != 1)
618		goto err;
619
620	if (arg->params[0].attr != OPTEE_MSG_ATTR_TYPE_TMEM_OUTPUT  &&
621	    arg->params[0].attr != (OPTEE_MSG_ATTR_TYPE_TMEM_OUTPUT |
622				    OPTEE_MSG_ATTR_NONCONTIG))
623		goto err;
624
625	p = arg->params[0].u.tmem.buf_ptr;
626	sz = READ_ONCE(arg->params[0].u.tmem.size);

DETAILS

내부 동작을 더 깊게 읽기

진입 조건을 먼저 고정한다

secure service needs REE에서 들어온 실행은 secure-to-normal RPC boundary에 놓여 있다. 이때 interrupt, MMU/cache, stack, heap 중 무엇이 이미 준비되었는지 소스의 호출자까지 올라가 확인한다. 같은 함수라도 SPL, relocation 전후, app thread처럼 호출 문맥이 달라지면 허용되는 API와 지연 시간이 달라진다.

RPC는 secure world가 Normal World를 신뢰한다는 뜻이 아니다. 반환 buffer, command-specific result와 shared memory를 다시 검증하는 지점을 확인한다.

중심 객체의 생성과 공개를 나눈다

이 글의 중심 객체는 thread_ctx / RPC arg mobj / resume token다. 메모리를 확보한 시점, 필드를 채운 시점, 전역 list나 다른 subsystem에 공개한 시점을 구분한다. 공개 뒤 오류가 발생한다면 목록에서 제거하고 child, buffer, reference를 역순으로 정리하는지 확인한다.

빌드 산출물 관점에서는 최종 부트로더 이미지 안에 해당 symbol과 section이 실제로 포함되었는지도 map과 objdump로 검증한다.

주소, 크기와 정렬을 계산한다

부트 코드에서는 주소 계산 오류를 주의해야 한다. 원본과 목적지의 주소 범위, 헤더에 기록된 데이터 크기, 블록·페이지 단위를 표로 정리하고 각 구간의 끝 주소를 계산한다. 끝 주소가 start + size - 1처럼 마지막 바이트를 가리키는지, 구간 바로 다음 주소를 가리키는지는 API 규약에서 확인한다.

성공 flag와 실제 완료 시점을 맞춘다

build RPC message → SMC return to Linux → tee-supplicant work 구간에서는 부분 초기화 상태가 생길 수 있다. flag, list insertion, callback 등록, storage write 완료 중 무엇이 성공의 기준인지 찾는다. hardware write나 DMA가 포함되면 함수 반환과 장치 완료가 같은 시점인지도 확인한다.

다른 CPU, 인터럽트 처리기, USB 완료 콜백, 셸 명령에서도 이 상태를 읽는다면 메모리 접근 순서와 잠금 범위를 함께 확인한다.

제어권을 넘기기 전에 확인할 조건을 정리한다

정상 경로는 resume secure thread에서 끝난다. 이 단계가 함수 반환인지, scheduler 전환인지, 다른 image로의 비복귀 분기인지 구분한다. 비복귀 handoff라면 cache clean/invalidate, interrupt disable, 장치 quiesce, argument register와 FDT 또는 image address가 최종 점검 항목이다.

호출한 함수로 돌아오는 경로라면 오류와 일부 처리만 완료된 상태를 구분하는지 확인한다. 이어서 다음 후보를 시도할지, 복구 절차를 실행할지 살펴본다.

IMPLEMENTATION NOTES

구현을 읽을 때 놓치기 쉬운 부분

secure service needs REE에서 resume secure thread까지 제어권이 이동하는 조건

secure thread가 filesystem, load TA, shared memory 요청을 Normal World에 맡기기 위해 RPC parameter를 만들고 suspend한 뒤 같은 thread를 resume하는 경로를 읽습니다. 이 경로는 함수 호출 목록만 외워서는 연결되지 않는다. secure service needs REE → build RPC message → SMC return to Linux → tee-supplicant work → resume secure thread 순서에서 각 단계가 읽는 입력, 새로 확정하는 상태, 다음 단계에 넘기는 값을 구분해야 한다. 특히 secure-to-normal RPC boundary에서는 이전 단계가 남긴 register와 memory attribute가 C 코드의 전제 조건이 된다.

RPC는 secure world가 Normal World를 신뢰한다는 뜻이 아니다. 반환 buffer, command-specific result와 shared memory를 다시 검증하는 지점을 확인한다. 따라서 첫 지점에서 thread_ctx / RPC arg mobj / resume token의 주소와 owner를 기록하고, 마지막 지점에서 같은 값이 그대로 유지되는지 아니면 새 객체로 교체되는지를 확인한다. 중간 함수가 성공을 반환해도 RPC 중 suspend된 thread의 session/context는 유지되고 resume token은 정확히 그 thread와 요청을 식별하며 Normal World 결과는 재검증되어야 한다.

thread_ctx suspended state와 resume token의 생성 시점과 수명

이 글에서 함께 나타나는 객체는 thread_ctx suspended state, RPC mobj, optee_msg_arg, resume token이다. 이름이 비슷해도 저장 위치와 수명은 다르다. build-time descriptor인지, boot 단계의 임시 객체인지, world switch 뒤에도 남는 runtime 객체인지 나눠야 pointer를 따라가다 다른 단계의 구조체를 같은 것으로 오해하지 않는다.

thread_ctx / RPC arg mobj / resume token을 기준으로 allocation 또는 정적 배치 위치, list/table에 공개되는 시점, 참조가 끊기는 시점을 적는다. 그 다음 source와 destination 범위, per-CPU 여부, secure/non-secure 접근 권한을 map과 runtime log로 대조한다. 이 절차를 거치면 단순한 호출 순서가 아니라 실제 소유권 이동이 보인다.

성공 로그만으로 놓치기 쉬운 오류

대표적인 실패 조건은 resume token 위조: 다른 thread 재개; RPC buffer 교체: TOCTOU; supplicant timeout: secure thread 영구 점유이다. 이 문제들은 대개 fault가 발생한 함수보다 앞에서 만들어진 잘못된 주소, size, security state 또는 refcount 때문에 생긴다. 마지막 출력만 보지 말고 각 경계 직전의 상태를 한 줄씩 남겨 최초 불일치 지점을 찾는다.

재현에는 RPC 전후 thread state와 token 기록; 잘못된 RPC result/size 주입; supplicant 지연 시 thread pool 고갈 측정를 사용한다. 정상 경로와 실패 경로에서 같은 필드를 같은 위치에 출력하고, 실패가 검증 단계에서 차단되는지 아니면 다음 context까지 전파되는지 비교한다. firmware와 secure world에서는 실패 뒤의 cleanup 또는 reset 경로도 정상 경로만큼 중요하다.

DEEP ANALYSIS

레지스터에서 오류 판정까지 상세 분석

OP-TEE RPC는 secure world가 Linux 함수를 직접 호출하는 방식이 아니다. secure thread가 RPC command와 shared argument를 준비하고 SMC return code로 Normal World에 제어권을 넘기면 Linux driver와 tee-supplicant가 작업한 뒤 RETURN_FROM_RPC SMC로 같은 thread를 재개한다.

RPC 동안 secure thread stack과 session은 살아 있지만 CPU는 Normal World가 사용한다. shared RPC buffer는 NS가 수정할 수 있으므로 resume token으로 thread identity를 확인하고 command별 output length, cookie, status를 다시 검증해야 한다.

그림 5. 이 경로를 통과하는 다섯 개의 진입 계약

01RPC command

FS, RPMB, SHM alloc/free, socket 등 지원 command와 parameter schema를 만족해야 한다.

02RPC arg mobj

NS가 접근 가능한 shared memory이고 call 동안 ref가 유지돼야 한다.

03thread state

ACTIVE에서 정확히 한 번 SUSPENDED로 전환돼야 한다.

04resume token a1-a5

원래 thread와 RPC call을 식별하며 변조·재사용을 검증해야 한다.

05RPC result

command별 status와 output parameter bounds를 만족해야 한다.

각 계약은 앞 단계가 생산하고 현재 단계가 검증한 뒤 다음 소비자에게 넘기는 상태다. 한 항목이라도 확인되지 않으면 뒤 단계의 fault를 그 지점의 문제로 단정하지 않는다.

진입 레지스터와 메모리 계약

함수 첫 줄에 도달했을 때 이미 참이라고 가정하는 값과, 그 값이 틀렸을 때 영향을 받는 범위를 함께 적었다.

#	입력 상태	생산자	정상 조건	확인 이유
01	`RPC command`	secure service	FS, RPMB, SHM alloc/free, socket 등 지원 command와 parameter schema를 만족해야 한다.	Linux driver 또는 supplicant 작업을 선택한다.
02	`RPC arg mobj`	thread_rpc_alloc/cmd	NS가 접근 가능한 shared memory이고 call 동안 ref가 유지돼야 한다.	optee_msg_arg를 양쪽 world가 교환한다.
03	`thread state`	current secure thread	ACTIVE에서 정확히 한 번 SUSPENDED로 전환돼야 한다.	Normal World에 CPU를 돌려주는 동안 context owner를 보존한다.
04	`resume token a1-a5`	SMC return/driver	원래 thread와 RPC call을 식별하며 변조·재사용을 검증해야 한다.	RETURN_FROM_RPC가 재개할 slot을 찾는다.
05	`RPC result`	Linux/supplicant	command별 status와 output parameter bounds를 만족해야 한다.	secure service가 성공·오류·short buffer를 해석한다.

핵심 구조체 필드의 생산자, 소비자와 수명

구조체 이름만 나열하지 않고 어떤 코드가 값을 쓰고, 어느 코드가 처음 읽으며, 언제까지 주소와 내용이 유지되어야 하는지 구분했다.

#	객체 또는 필드	생산자	소비자	수명과 불변 조건
01	`thread_ctx suspended state`	thread_rpc	resume path	RPC 왕복 전체에서 register, stack, session과 cancel state를 보존한다.
02	`rpc_arg optee_msg_arg`	thread RPC code	Linux driver/supplicant/secure resume	NS shared memory에 있어 모든 output을 untrusted로 재검증한다.
03	`RPC allocation mobj`	thread_rpc_alloc	message and payload	free RPC 완료 또는 cleanup까지 ref와 cookie를 유지한다.
04	`resume token`	thread suspend assembly	thread_resume_from_rpc	한 suspend generation에만 유효하며 replay를 허용하면 안 된다.
05	`supplicant request`	Linux OP-TEE driver	tee-supplicant	userspace 작업 완료 또는 client death 처리까지 존재한다.
06	`secure service local state`	FS/RPMB/socket caller	RPC return continuation	NS result를 적용하기 전 원래 request bounds와 operation phase를 보존한다.

함수 내부 실행 순서

소스의 큰 분기와 side effect를 실행 순서대로 다시 펼쳤다. breakpoint는 이 목록의 경계에 두고, 다음 번호로 넘어갈 때 새로 유효해진 객체를 기록한다.

01
secure service가 Normal World 작업이 필요함을 판단하고 RPC command와 parameter 수를 정한다.
02
thread_rpc_alloc이 공유 argument buffer/mobj를 확보하고 command-specific input을 채운다.
03
현재 thread register와 continuation을 저장하고 ACTIVE state를 SUSPENDED로 전환한다.
04
RPC function ID, argument reference, resume token을 a0-a5에 넣어 TF-A를 통해 Normal World로 반환한다.
05
Linux driver가 kernel-handled RPC인지 userspace supplicant command인지 분류한다.
06
tee-supplicant가 file/RPMB/socket 등 작업을 수행하고 shared message에 result와 output을 기록한다.
07
Linux driver가 RETURN_FROM_RPC SMC와 원래 token을 전달해 secure world에 재진입한다.
08
OP-TEE가 token, thread ID, guest, SUSPENDED state를 검증하고 saved context를 ACTIVE로 복원한다.
09
command별 output bounds와 status를 재검증한 뒤 local service를 계속하고 RPC mobj/ref를 정리한다.

빌드 설정이 바꾸는 실제 코드 경로

동일한 함수 이름이라도 아래 설정에 따라 포함되는 source, 구조체 크기, 인자 의미와 failure path가 달라진다.

#	설정	바뀌는 동작	확인 방법
01	`CFG_REE_FS`	secure storage가 file RPC와 tee-supplicant를 사용한다.	FS command ID와 secure integrity verification을 구분한다.
02	`CFG_RPMB_FS`	RPMB frames를 supplicant 또는 kernel driver에 전달한다.	MAC/counter 검증이 secure world에 남는지 확인한다.
03	`CFG_CORE_DYN_SHM`	RPC argument와 payload를 dynamic registered SHM으로 할당할 수 있다.	alloc/free cookie와 mobj ref를 추적한다.
04	`CFG_NS_VIRTUALIZATION`	RPC와 resume token이 guest별로 분리된다.	a7 client ID와 supplicant routing을 확인한다.
05	`CFG_NUM_THREADS`	동시에 suspend 가능한 RPC 수를 제한한다.	supplicant 지연이 thread pool을 고갈시키는지 측정한다.

증상에서 최초 불일치 지점까지 추적하기

마지막 panic 메시지가 아니라 어디에서 멈추고 무엇을 읽어 어떤 결론을 내릴지 정리했다. 정상값과 실패값은 같은 build와 같은 위치에서 비교한다.

#	관찰 증상	중단 위치	기록할 값	판정
01	tee-supplicant 응답 뒤 thread가 resume되지 않음	`Linux return SMC와 secure resume`	token, thread state, guest ID	driver 전달 누락과 stale token 거부를 구분한다.
02	긴 FS 작업에서 전체 TEE가 멈춤	`thread pool state`	ACTIVE/SUSPENDED 수, command, latency	supplicant 지연에 의한 thread exhaustion인지 확인한다.
03	RPC output size로 secure buffer overwrite	`resume output parser`	returned size, allocated size, command schema	NS output을 원래 bounds와 다시 비교하는지 본다.
04	client 종료 뒤 RPC buffer 누수	`cancel/error cleanup`	mobj ref, supplicant request, thread state	Normal World abort 경로와 secure cleanup 연결을 찾는다.

OBJECT LIFETIME

객체와 수명

대상	만들어지는 시점	유효 범위	확인할 조건
`thread_ctx / RPC arg mobj / resume token`	build RPC message	resume secure thread 또는 오류 정리 완료까지	진입 전제와 상태 계약
입력 buffer / metadata	secure service needs REE	parse와 검증이 끝날 때까지	길이, 정렬, 소유권, 변조 가능성
등록된 list / descriptor	SMC return to Linux	하위 시스템을 종료하거나 다음 이미지에 제어권을 넘길 때까지	중복 등록, 해제된 객체를 가리키는 포인터, 오류 후 자원 정리
hardware 또는 persistent state	실제 write/probe가 완료된 뒤	reset 또는 명시적 해제·갱신까지	쓰기 완료, 시간 초과, 전원 차단, 이전 상태 복원
`최종 부트로더 이미지`	link/image 생성 시점	다음 stage가 새 image로 교체할 때까지	적재 주소, 진입점, 섹션, 헤더의 일치 여부

FAILURE PATH

실패 지점과 증상

#	조건	관찰되는 증상	먼저 볼 단계
01	resume token 위조	다른 thread 재개	build RPC message
02	RPC buffer 교체	TOCTOU	SMC return to Linux
03	supplicant timeout	secure thread 영구 점유	tee-supplicant work

로그가 끊긴 함수뿐 아니라 그 함수에 주소, 크기, 플래그를 전달한 앞 단계도 조사한다. 오류 처리 후 등록된 객체나 하드웨어 설정이 그대로 남아 있는지도 확인한다.

EVIDENCE

소스 밖에서 확인할 증거

소스에서 파악한 동작을 실제 빌드 결과와 대상 보드의 로그로 확인한다. 아래 명령의 보드 이름과 툴체인 접두사는 사용 중인 빌드 환경에 맞게 바꾼다.

#	목적	명령 또는 계측	판정 기준
01	빌드 산출물	`make PLATFORM=<platform> CFG_TEE_CORE_LOG_LEVEL=4`	tee.elf, tee.bin과 pageable/pager 구성이 같은 설정에서 생성됐는지 확인한다.
02	ELF 배치	`${CROSS_COMPILE64}readelf -W -lS out/arm/core/tee.elf`	secure RAM 안에서 text, data, pager, pageable 구간이 어떤 주소와 권한으로 배치되는지 확인한다.
03	심볼과 주소	`${CROSS_COMPILE64}nm -n out/arm/core/tee.elf \| grep 'uint32_t thread_rpc_cmd'`	entry, thread, TA manager 함수의 링크 주소를 원본 설명과 연결한다.
04	명령과 예외 경로	`${CROSS_COMPILE64}objdump -drS out/arm/core/tee.elf`	SMC entry, world switch, abort 복귀가 실제 register save/restore와 어떻게 이어지는지 대조한다.
05	Normal world 왕복	`xtest; dmesg \| grep -i optee`	secure console과 Linux OP-TEE driver 로그를 함께 보고 SMC, RPC, shared memory 왕복의 양쪽 증거를 맞춘다.

LAB

직접 확인할 실험

01
RPC 전후 thread state와 token 기록
build RPC message 진입 전후에 thread_ctx suspended state의 주소·크기·반환값과 timestamp를 함께 남긴다.
02
잘못된 RPC result/size 주입
SMC return to Linux 진입 전후에 RPC mobj의 주소·크기·반환값과 timestamp를 함께 남긴다.
03
supplicant 지연 시 thread pool 고갈 측정
tee-supplicant work 진입 전후에 optee_msg_arg의 주소·크기·반환값과 timestamp를 함께 남긴다.

PRIMARY REFERENCES

원문과 다음 글

core/arch/arm/kernel/thread_optee_smc.c4.10.0 원본 파일 OP-TEE OS source tree기준 commit 753afbbee168