KVM virtualization: EL2, VMX/SVM과 RISC-V H-extension

사용자 공간의 KVM_RUN 요청을 받아 지정 vCPU의 실행·중단·재실행을 관리하는 arm64 함수입니다. 이전 이탈 작업을 마무리하고 게스트 진입 준비와 이탈 처리를 반복합니다.

사용자 공간과 공유하는 kvm_run 자료를 가리킵니다. 이전 이탈 이유와 MMIO 결과를 읽고 이번 실행의 이탈 이유를 기록하는 창구입니다.

KVM_RUN의 진행 여부와 최종 반환값을 담을 정수 ret를 선언합니다. 이 함수의 실행 루프에서는 양수가 게스트 실행 계속, 0이 사용자 공간 처리로 반환, 음수가 오류를 뜻합니다.

이전 실행이 사용자 공간의 MMIO 처리 때문에 멈췄는지 확인합니다. 그 경우 사용자 공간이 돌려준 결과를 먼저 반영해야 중단됐던 게스트 명령을 올바르게 이어갈 수 있습니다.

이전 MMIO 종료에 대해 사용자 공간이 돌려준 데이터를 게스트 레지스터에 반영하고, 에뮬레이션한 명령을 다시 실행하지 않도록 게스트 PC를 진행시킵니다. 완료한 처리는 반복하지 않으며 이 버전의 함수는 1을 반환합니다.

MMIO 후처리 결과가 0 또는 음수여서 게스트 실행을 계속할 수 없는지 검사합니다. 다만 v6.18.37의 kvm_handle_mmio_return은 모든 반환 경로에서 1을 주므로 현재 구현에서는 이 조건이 참이 되지 않습니다.

위 MMIO 후처리 검사에 걸린 결과값을 그대로 KVM_RUN 호출자에게 반환하는 문장입니다. 현재 버전의 후처리 함수는 항상 1을 반환하므로 이 조기 반환은 실행되지 않습니다.

이 vCPU를 현재 호스트 CPU에서 실행할 수 있도록 불러오고 스케줄링 시 상태를 전환할 준비를 합니다. 이후 실행 루프가 물리 CPU의 KVM 상태를 이 vCPU에 맞춰 다루게 됩니다.

이번 요청에서 실제 게스트 실행을 허용하지 않는 상태인지 확인합니다. 실행 취소가 요청되었다면 -EINTR를 준비하고 vCPU 상태를 정리한 뒤 반환합니다.

vcpu->wants_to_run이 거짓이면 실행 요청이 중단되었음을 -EINTR로 기록합니다. 다음 goto out이 이미 적재한 vCPU 상태를 정리한 뒤 호출자에게 오류를 전달하게 합니다.

불러온 vCPU를 정리하는 공통 out 경로로 이동합니다. 게스트 명령을 실행하지 않는 조기 종료에서도 vCPU 자원을 불러오기 전 상태로 돌립니다.

사용자가 KVM 실행용 신호 마스크를 지정했다면 현재 스레드에 적용합니다. 게스트 실행 중 어떤 호스트 신호로 KVM_RUN을 중단할지 정하며, 실행을 마치면 원래 신호 마스크로 복구합니다.

게스트 실행 루프에 들어가도록 ret를 1로 둡니다. 여기서 1은 일반적인 성공 반환값 0과 달리 계속 실행하라는 내부 상태값입니다.

이전 KVM_RUN의 이탈 이유를 UNKNOWN으로 초기화합니다. 이번 실행에서 실제로 발생한 이탈 이유를 새로 기록할 수 있게 합니다.

공유 run 영역의 결과 플래그를 비웁니다. 이전 실행에서 설정된 표시가 이번 실행 결과에 남지 않도록 합니다.

ret가 양수인 동안 진입 준비와 게스트 실행을 반복합니다. 처리 결과가 0이면 사용자 공간에 맡길 작업이 있고, 음수이면 오류이므로 반복을 끝냅니다.

게스트로 들어가기 전에 호스트 스레드의 대기 작업을 처리합니다. 정상적으로 끝나면 0이고 시그널 때문에 중단해야 하면 -EINTR을 반환하며 KVM 종료 이유도 갱신합니다.

게스트 진입 전 호스트 작업 처리가 오류 없이 끝났는지 검사합니다. 이 함수의 성공값 0을 실행 루프가 사용하는 계속 상태로 바꾸기 위한 조건입니다.

호스트 작업 처리가 성공했으므로 ret를 계속 실행을 뜻하는 1로 변환합니다. 앞의 helper가 돌려준 0을 그대로 두면 아래 실행 루프가 종료되어 버립니다.

앞선 호스트 작업 처리에서 중단 사유가 없을 때만 vCPU 요청 처리를 진행합니다. 음수 오류를 새 요청 처리 결과로 덮어쓰지 않기 위한 조건입니다.

이 vCPU에 대기 중인 reset·sleep·가상 인터럽트 상태·PMU·중첩 가상화 등의 요청을 처리합니다. 계속 실행할 수 있으면 1, 사용자 공간으로 나가야 하면 0, VM 종료 등 오류이면 음수를 ret에 받습니다.

커널 선점을 막아 게스트 진입 준비 도중 다른 태스크로 교체되지 않게 합니다. VGIC와 PMU처럼 현재 물리 CPU에 연결된 상태를 설정한 뒤 진입 여부를 다시 검사하는 구간입니다.

중첩 가상화를 사용하는 vCPU에 처리 대기 중인 SError가 있으면 그 표시를 지우고 가상 SError를 주입할 상태를 만듭니다. 이 버전의 함수는 중첩 가상화 레지스터 전체를 복사하는 함수가 아닙니다.

이 vCPU에 가상 PMU가 제공되는 경우에만 진입 전 PMU 상태를 맞춥니다. PMU가 없는 게스트에는 성능 카운터 오버플로·IRQ 처리가 필요 없습니다.

PMU의 오버플로 상태에 맞춰 게스트 PMU 인터럽트 상태를 갱신합니다. 호스트 코드를 실행하는 동안 생긴 카운터 오버플로도 게스트로 돌아가기 전에 반영하려는 처리이며, 가상 PMU가 있는 vCPU에서 수행합니다.

현재 CPU의 일반 IRQ를 막아 가상 인터럽트 상태를 하드웨어와 맞추는 도중 호스트 IRQ가 끼어들지 않게 합니다. 바로 앞 선점 금지와 함께 게스트 진입 직전의 준비 구간을 보호합니다.

게스트에 보낼 가상 인터럽트의 소프트웨어 상태를 VGIC 하드웨어 상태에 반영합니다. 중첩 게스트에 가상 EL2 예외를 먼저 주입해야 하면 진입을 취소하게 할 요청을 만들 수도 있습니다.

VHE를 쓰지 않고 PMUv3를 지원하면, 현재 CPU에서 호스트·게스트별로 계수할 PMU 이벤트 비트마스크를 vCPU에 복사합니다. 게스트 진입 때 카운터를 올바르게 전환하기 위한 정보이며, 복사 중 IRQ가 이 정보를 바꾸지 않도록 IRQ를 끈 뒤 실행합니다. 해당 조건이 아니거나 성능 이벤트 지원이 없는 빌드에서는 이 복사를 하지 않습니다.

vCPU의 mode를 IN_GUEST_MODE로 기록하고 메모리 순서를 보장합니다. 이 값을 본 다른 CPU는 필요하면 vCPU를 깨우거나 실행을 중단시킬 수 있으며, 현재 CPU는 뒤에서 새 요청이 생겼는지 다시 검사합니다.

앞에서 실행 중단이 결정됐거나 마지막 요청 검사에서 게스트 진입을 미뤄야 하면 준비한 하드웨어 상태를 되돌리는 분기로 갑니다. kvm_vcpu_exit_request는 재검사만 필요한 경우 ret를 유지하고, 사용자 공간으로 나갈 때는 ret도 바꿉니다.

이번 게스트 진입을 취소했으므로 mode를 호스트 실행 상태로 되돌립니다. 다른 CPU가 이 vCPU를 게스트 안에서 실행 중이라고 판단하지 않도록 합니다.

앞서 수행한 PMU·VGIC 등의 하드웨어 상태 반영이 명령 흐름에 적용된 뒤 되읽도록 ISB를 실행합니다. 진입을 취소하더라도 준비와 정리 사이의 순서는 지켜야 합니다.

가상 PMU가 있는 vCPU만 취소 경로의 PMU 상태 동기화를 수행합니다. 없는 경우에는 바로 타이머·VGIC 정리로 진행합니다.

게스트 진입을 취소하는 경로에서도 PMU 오버플로와 가상 IRQ 상태를 다시 맞춥니다. 앞서 진입을 준비했다가 호스트 작업으로 돌아가는 사이 PMU 상태가 빠지지 않도록 하는 정리입니다.

인터럽트 컨트롤러를 사용자 공간이 담당하는 VM인지 확인합니다. 이 경우 타이머 IRQ의 재허용 처리가 필요하며, 커널 irqchip을 쓰는 VM에는 그 사용자 irqchip용 처리를 적용하지 않습니다.

사용자 공간이 인터럽트 컨트롤러를 담당하는 경우, 가상 타이머 상태에 따라 호스트의 가상 타이머 IRQ 마스크를 조정합니다. 이 helper는 타이머 레지스터를 사용자 메모리에 복사하는 함수가 아닙니다.

준비해 둔 VGIC 하드웨어 상태를 소프트웨어의 가상 인터럽트 상태에 다시 반영합니다. 게스트 진입을 취소한 뒤에도 list register와 pending·active 목록의 일관성을 유지합니다.

게스트 진입 취소에 필요한 PMU·타이머·VGIC 정리를 끝냈으므로 현재 CPU의 일반 IRQ를 다시 허용합니다. 이어 선점도 허용하고 실행 루프에서 대기 작업을 다시 확인합니다.

진입 준비 중 막았던 선점을 다시 허용합니다. 하드웨어 상태 정리가 끝난 이 경로에서는 다른 호스트 태스크가 실행될 수 있어야 합니다.

진입 준비를 되돌렸으므로 이번에는 게스트를 실행하지 않고 반복문의 조건을 다시 확인합니다. ret가 양수면 요청을 재처리하고, 0 이하이면 루프를 끝냅니다.

현재 스레드의 FP/SIMD 상태가 CPU 레지스터에 올라와 있지 않다면 호스트의 FP 소유 표시를 비웁니다. 진입 준비 중 커널이 FP를 사용했을 가능성을 반영하는 상태 표시 갱신이며, 이 함수 자체가 모든 FP 레지스터를 저장·복원하지는 않습니다.

게스트가 다음에 실행할 PC를 KVM 진입 trace 이벤트에 남깁니다. 뒤의 실제 게스트 실행과 이탈 이벤트를 연결하여 vCPU 동작을 추적할 수 있습니다.

IRQ가 꺼진 상태에서 게스트 실행 시간의 회계를 시작합니다. 이 줄 자체가 게스트 명령으로 분기하는 것은 아니며, 실제 게스트 진입·이탈은 뒤의 kvm_arm_vcpu_enter_exit가 담당합니다.

EL2 entry를 통해 guest를 실행하고 다음 trap/interrupt에서 host로 돌아온다.

게스트 실행 함수에서 돌아온 뒤 mode를 호스트 실행 상태로 바꿉니다. 원격 CPU가 보내는 vCPU 요청의 판단 기준도 이에 맞춰집니다.

게스트에서 호스트로 나온 횟수를 vCPU 통계에 하나 더합니다. MMIO·예외 등 구체적인 이탈 원인 판정과는 별도의 전체 이탈 계수입니다.

사용자 공간이 vCPU를 INIT 수신 후 SIPI 대기 상태로 설정했는지 검사합니다. 다음 조건과 함께, 시작 인터럽트를 받을 수 없는 vCPU가 그런 상태에 놓인 모순을 거릅니다.

앞줄의 INIT_RECEIVED 상태 검사에 이어, 이 vCPU가 INIT/SIPI 시작 절차를 사용할 수 있는지도 확인합니다. 시작 인터럽트를 허용하지 않는 vCPU가 그 상태를 요청하면 잘못된 입력으로 보고 -EINVAL을 반환합니다.

INIT/SIPI를 받을 수 없는데 그 시작 절차를 기다리는 잘못된 vCPU 상태이므로 -EINVAL을 반환합니다.

VMX 또는 SVM 등 선택된 x86 가상화 구현의 실행 전 검사를 호출하고 결과를 반환합니다. 공통 MP 상태 검사 뒤 하드웨어 구현별 제약을 추가로 확인합니다.

x86의 KVM_RUN을 처리하는 함수입니다. FPU·신호·공유 레지스터와 이전 I/O 결과를 준비한 뒤 vCPU 실행으로 이어집니다.

vCPU에 대기 중인 예외 기록을 가리킵니다. 아래에서 사용자 공간이 넣은 예외를 중첩 게스트에 직접 주입할지 L1로 이탈시킬지 판단할 때 사용합니다.

사용자 공간과 공유하는 실행 자료를 가리킵니다. 플래그·CR8·레지스터 동기화 요청·이탈 이유를 이 자료로 주고받습니다.

이 VM에서 공유 run 영역으로 동기화할 수 있는 레지스터 종류의 64비트 마스크입니다. 지원하지 않는 사용자 요청 비트를 걸러낼 기준이 됩니다.

MMU 준비, 레지스터 반영, vCPU 실행 등의 결과를 보관하는 반환값입니다. 음수 오류와 정상적인 사용자 공간 이탈을 공통 종료 경로에 전달합니다.

VM의 MMU 사후 준비를 수행합니다. 이 버전에서는 NX huge page 완화 기능에 필요한 큰 페이지 복구 작업을 VM당 한 번 시작하며, 시작에 실패하면 게스트를 실행하지 않고 오류를 반환합니다.

MMU 사후 준비 함수가 실패했는지 확인합니다. 오류가 있으면 vCPU를 불러오거나 게스트 실행을 시작하지 않습니다.

MMU 준비에서 받은 오류를 그대로 사용자 공간에 돌려줍니다. 아직 실행 문맥을 불러오기 전이라 뒤의 공통 실행 정리는 필요하지 않습니다.

vCPU를 현재 physical CPU에 load해 VMCS/VMCB와 per-CPU owner를 준비한다.

KVM 실행용으로 지정된 신호 마스크를 현재 호스트 스레드에 적용합니다. KVM_RUN이 실행되는 동안 허용할 신호를 선택하고, 반환할 때 기존 마스크로 되돌리는 준비입니다.

이번 KVM_RUN의 결과 플래그를 0으로 초기화합니다. 이전 실행의 표시가 새 실행 결과로 보이지 않게 합니다.

호스트 태스크와 게스트의 FPU 상태 저장 영역을 전환해 게스트 FP/SIMD 실행을 준비합니다. PKRU는 다른 순서로 다뤄야 하므로 이 전환에 포함하지 않습니다.

VM의 SRCU 읽기 구간에 들어가 반환된 토큰을 vCPU에 저장합니다. 실행 준비 중 읽는 공유 KVM 자료가 동시에 교체·해제되지 않도록 수명을 보호합니다.

vCPU가 아직 INIT을 받아 시작 준비를 마치지 않은 상태인지 확인합니다. 이런 vCPU는 일반 게스트 실행 대신 시작 이벤트를 기다리는 경로로 보냅니다.

초기화 대기 중이라도 사용자가 이번 실행을 취소했으면 대기하지 않습니다. -EINTR로 종료하여 취소 요청에 즉시 응답합니다.

실행 의사가 없는 요청을 인터럽트된 시스템 호출로 보고 -EINTR를 설정합니다.

초기화 대기조차 하지 않고 공통 종료로 이동합니다. 이미 준비한 FPU·신호·vCPU 문맥은 그 경로에서 정리합니다.

아직 시작되지 않은 vCPU를 기다리게 하기 전에 SRCU 읽기 구간을 끝냅니다. 오랫동안 잠들 수 있는 대기 때문에 다른 CPU의 SRCU 정리 작업을 붙잡지 않게 합니다.

시작 준비가 끝나지 않은 vCPU를 깨울 이벤트나 신호가 올 때까지 대기시킵니다. 게스트 명령을 실행하는 호출이 아니라, 초기화 대기 상태에서 호스트 CPU를 계속 소비하지 않게 하는 처리입니다.

대기에서 돌아온 뒤 KVM 공유 자료를 다시 살펴보기 위해 SRCU 읽기 보호를 재개합니다. 새 토큰은 뒤에서 이 읽기 구간을 끝낼 때 사용합니다.

대기 후 APIC의 INIT/SIPI 등 이벤트를 수용하는 과정에서 게스트 실행을 계속할 수 없는 결과가 생겼는지 확인합니다. 이 경우 설정된 이탈 결과를 사용자 공간으로 돌립니다.

APIC 이벤트 처리기가 준비한 사용자 공간 이탈을 반환하도록 KVM_RUN의 반환값을 0으로 설정합니다. 이후 run의 이탈 이유가 세부 결과를 전달합니다.

APIC 이벤트 처리 결과를 가지고 공통 종료 경로로 이동합니다. 여기서 곧바로 게스트 명령을 실행하지 않습니다.

초기화 대기에서 돌아온 기본 결과를 재시도 요청인 -EAGAIN으로 정합니다. 다음 KVM_RUN에서 갱신된 vCPU 상태로 다시 실행을 시도하게 합니다.

현재 호스트 스레드에 처리할 신호가 도착했는지 확인합니다. 신호가 있으면 단순 재시도 대신 신호 중단으로 결과를 바꿉니다.

호스트 신호 때문에 중단된 실행이므로 반환값을 -EINTR로 바꿉니다.

공유 run 영역에도 신호 등에 의한 실행 중단임을 KVM_EXIT_INTR로 기록합니다.

신호로 종료한 KVM 실행 횟수를 통계에 더합니다. 게스트 내부 예외 횟수를 세는 값은 아닙니다.

초기화 대기 경로의 결과가 정해졌으므로 공통 종료로 갑니다. 같은 호출에서 아래 일반 실행 준비로 이어지지 않습니다.

이 VM이 KVM_RUN의 공유 영역으로 동기화할 수 있는 레지스터 종류의 비트마스크를 얻습니다. 보호된 VM에는 0을 반환하므로 사용자가 그 경로로 게스트 레지스터를 읽고 쓰지 못하게 합니다.

사용자가 요청한 레지스터 읽기 동기화 비트 중 VM이 지원하지 않는 종류가 있는지 확인합니다. 다음 줄의 쓰기 요청 검사와 합쳐 잘못된 비트마스크를 거릅니다.

사용자 공간이 수정했다고 표시한 레지스터 종류에도 지원 범위 밖의 비트가 있는지 검사합니다. 읽기나 쓰기 어느 쪽이든 잘못되면 -EINVAL로 거부합니다.

지원하지 않는 레지스터 동기화 요청이므로 잘못된 인자를 뜻하는 -EINVAL을 설정합니다.

유효하지 않은 레지스터 비트마스크로 vCPU 상태를 바꾸지 않고 공통 종료로 이동합니다.

사용자가 수정한 레지스터가 하나라도 있으면 shared run 영역의 값을 vCPU에 반영합니다. dirty 비트가 없으면 불필요한 동기화를 건너뜁니다.

사용자가 dirty로 표시한 일반 레지스터·시스템 레지스터·이벤트 상태를 공유 run 영역에서 vCPU에 반영합니다. 적용한 비트를 지우며, 시스템 상태나 이벤트 값이 유효하지 않으면 -EINVAL로 실행을 중단합니다.

레지스터 값을 반영하는 과정에서 유효성 검사 등에 실패했는지 확인합니다. 실패한 상태로 게스트 실행을 진행하지 않습니다.

레지스터 동기화 오류를 유지한 채 공통 종료로 이동합니다.

로컬 APIC를 사용자 공간이 에뮬레이션하는 vCPU인지 확인합니다. 이 경우 사용자가 전달한 CR8 값을 다시 받아 인터럽트 우선순위를 맞춥니다.

run 영역의 CR8을 vCPU에 설정하고 유효성을 확인합니다. CR8은 태스크 우선순위와 연결되므로 허용되지 않는 값이면 게스트를 실행하지 않습니다.

사용자 공간이 준 CR8 값이 유효하지 않아 -EINVAL을 설정합니다.

잘못된 CR8을 사용한 실행을 막고 공통 종료로 갑니다.

사용자 공간에서 넣은 예외가 있고 현재 L2 중첩 게스트를 실행 중인지 확인합니다. L1이 그 예외를 가로채려는지도 이어서 검사합니다.

VMX/SVM의 중첩 가상화 연산으로 이 예외 벡터가 L1로의 VM 이탈 대상인지 물어봅니다. 예외를 L2에 바로 주입할지 결정하는 검사입니다.

예외의 error code도 전달하여 중첩 이탈 조건을 판정합니다. 벡터뿐 아니라 오류의 세부 속성까지 L1의 가로채기 정책에 반영합니다.

L1이 가로채는 예외라면 직접 게스트 예외 대신 중첩 VM 이탈을 대기열에 넣습니다. 이탈 원인으로 사용할 예외 벡터를 넘깁니다.

예외 error code의 존재 여부와 값을 함께 넘깁니다. 오류 코드가 없는 예외에 임의의 값을 있는 것처럼 보고하지 않게 합니다.

예외의 추가 payload가 있는지와 그 값을 VM 이탈 기록에 전달합니다. L1이 원래 예외 정보를 잃지 않고 이탈을 처리하도록 합니다.

예외를 L1로의 이탈로 바꿨으므로 L2에 직접 주입된다는 표시를 지웁니다.

같은 예외가 L2에 다시 주입되지 않도록 직접 주입 대기 표시도 지웁니다.

사용자 공간에서 온 예외의 변환 검토를 마쳤으므로 출처 표시를 초기화합니다. 다음 실행에서 같은 입력을 새 요청처럼 다시 처리하지 않게 합니다.

이전 이탈에서 사용자 공간에 맡긴 I/O 완료 함수가 남아 있는지 확인합니다. 있으면 게스트 재진입 전에 먼저 그 작업을 끝냅니다.

대기 중인 I/O 완료 함수 주소를 지역 함수 포인터에 보관합니다. 아래에서 vCPU의 포인터를 비우더라도 이번 완료 함수를 호출할 수 있게 합니다.

vCPU의 완료 함수 포인터를 먼저 비웁니다. 이전 I/O가 완료 중이라는 사실을 반영하고 같은 콜백이 다음 실행에서 중복 호출되지 않게 합니다.

이전 KVM_RUN이 사용자 공간에 맡긴 I/O의 완료 콜백을 실행합니다. 사용자 공간이 제공한 결과로 중단됐던 처리를 끝낸 뒤, 반환값이 계속 실행을 허용하는지 확인합니다.

I/O 완료 결과가 0 이하이면 게스트 실행을 계속하지 않습니다. 0은 준비된 사용자 공간 이탈, 음수는 오류를 뜻하는 경로입니다.

완료 콜백의 결과를 보존하고 공통 종료로 이동합니다.

완료 콜백이 없다면 대기 중인 PIO/MMIO도 없어야 하는 경로입니다. 다음 경고 검사로 내부 상태의 불일치를 확인합니다.

게스트 실행에서 돌아온 직후 SCAUSE를 읽어 trap의 종류를 보관합니다. 뒤에서 호스트 상태를 복원하거나 다른 trap을 처리하기 전에 VM 이탈 원인을 남기는 순서입니다.

STVAL에 담긴 trap 부가 정보를 같은 trap 기록에 저장합니다. 원인에 따라 오류 주소나 명령 관련 정보 등이 될 수 있으며, SCAUSE와 함께 게스트 이탈을 해석할 때 사용합니다.

이번 게스트 이탈이 발생한 호스트 CPU 번호를 저장합니다. 다음 실행에서 다른 CPU로 옮겨졌는지 판단하고 G-stage TLB 상태를 정리하는 데 사용합니다.

IRQ가 꺼진 상태에서 문맥 추적에 게스트 실행이 끝났음을 알립니다. RCU와 호스트 문맥 회계를 호스트 실행 상태로 돌리는 단계이며, 게스트에서 빠져나오는 기계어 분기는 이미 앞에서 끝났습니다.

게스트용으로 바꿨던 SCOUNTEREN·SENVCFG 등의 제어 상태를 저장하면서 호스트 값을 복원합니다. 지원되는 구성에서는 SSTATEEN0도 함께 바꿔, 이후 호스트 코드가 게스트의 접근 허용 설정으로 실행되지 않게 합니다.

RISC-V vCPU의 KVM_RUN 요청을 처리합니다. 이전 MMIO·SBI·CSR 이탈을 완료하고 가상 인터럽트와 주소 변환 상태를 준비한 뒤 게스트 진입을 반복합니다.

MMIO·SBI·CSR 후처리 결과와 이후 KVM_RUN 실행 루프의 상태를 저장할 ret를 선언합니다. 같은 변수라도 후처리 단계의 0은 성공, 실행 루프의 양수는 계속 실행을 뜻하므로 단계별로 읽어야 합니다.

게스트 이탈 때 발생한 trap 원인과 부가 정보를 담는 지역 구조체입니다. 호스트 상태 복원 뒤에도 이탈 당시 정보를 해석할 수 있게 합니다.

사용자 공간과 공유하는 run 자료를 가리킵니다. 이전 이탈에 대한 응답을 읽고 이번 실행 결과를 돌려주는 데 사용합니다.

이 vCPU가 한 번도 실행되지 않았는지 확인합니다. 처음 실행할 때만 설정된 ISA 확장에 맞는 제어 상태를 구성합니다.

vCPU를 처음 실행할 때만 게스트에게 허용한 ISA 확장에 맞춰 초기 제어 상태를 구성합니다. 예를 들어 타이머·캐시 관리 명령·페이지 속성 확장의 허용 비트를 정하고 디버깅 설정도 반영합니다.

초기 실행 설정을 마쳤음을 기록합니다. 이후 KVM_RUN에서는 이미 진행된 게스트 상태를 초기값으로 덮지 않게 합니다.

KVM 공유 자료를 읽는 SRCU 구간을 시작하고 토큰을 저장합니다. 이전 이탈 작업의 완료 처리와 이번 실행 준비가 공유 자료의 해제와 겹쳐도 안전하게 읽도록 합니다.

이전 KVM_RUN이 어떤 이유로 사용자 공간에 돌아갔는지에 따라 완료 처리를 선택합니다. 이번 게스트 실행의 새 trap 원인을 분류하는 switch는 아닙니다.

사용자 공간이 맡아 처리한 MMIO 결과를 게스트에 반영해야 하는 경우입니다. 중단됐던 메모리 접근을 먼저 완료합니다.

사용자 공간이 에뮬레이션한 MMIO 읽기 결과를 게스트의 대상 레지스터에 반영하고 PC를 다음 명령으로 진행시킵니다. 성공·중복 처리 완료는 0, 지원하지 않는 전송 크기는 -EOPNOTSUPP를 반환합니다.

MMIO 완료 처리를 마치고 공통 결과 검사로 진행합니다.

이전 이탈에서 사용자 공간에 위임한 RISC-V SBI 호출의 반환값을 반영하는 분기입니다.

사용자 공간에서 처리한 SBI 결과 두 값을 게스트 a0·a1에 기록하고 PC를 ECALL 다음으로 옮깁니다. 이미 처리한 응답은 반복 적용하지 않으며 이 함수의 정상 반환값은 0입니다.

SBI 완료 처리를 마치고 다른 이탈 종류의 처리를 건너뜁니다.

사용자 공간이 에뮬레이션한 CSR 접근의 결과를 게스트 레지스터 상태에 반영하는 분기입니다.

사용자 공간의 CSR 에뮬레이션 결과를 게스트 명령의 목적 레지스터에 넣고 PC를 다음 명령으로 진행시킵니다. rd가 x0이면 값을 버리며 완료 결과로 0을 반환합니다.

CSR 접근 완료 처리를 끝내고 공통 실행 준비로 이어집니다.

MMIO·SBI·CSR 완료가 필요하지 않은 이전 이탈 이유는 별도의 완료 작업 없이 성공 상태로 진행합니다.

직전 종료 이유가 MMIO·SBI·CSR 후처리 대상이 아니면 ret를 0으로 둡니다. 이 단계에서는 추가 후처리 없이 다음 실행 준비로 진행할 수 있다는 뜻입니다.

별도 완료 작업이 없는 경우의 switch 분기를 끝냅니다.

이전 사용자 공간 에뮬레이션의 후처리가 0이 아닌 오류를 반환했는지 검사합니다. 오류가 있으면 vCPU 실행 준비를 계속하지 않고 SRCU 잠금을 푼 뒤 반환합니다.

이전 MMIO·SBI·CSR 접근을 완료하는 과정에서 오류가 났으므로 SRCU 읽기 보호를 끝냅니다. 이어 오류를 반환하되 읽기 구간을 열린 채로 남기지 않습니다.

앞의 MMIO·SBI·CSR 후처리 오류를 KVM_RUN 호출자에게 전달합니다. 바로 위에서 SRCU 읽기 구간을 끝냈으며 아직 새 게스트 실행을 시작하지 않은 상태입니다.

사용자가 이번 KVM_RUN에서 게스트 실행을 취소했는지 확인합니다. 취소 상태이면 SRCU 보호를 풀고 -EINTR로 돌아갑니다.

실행 요청이 취소되어 -EINTR로 돌아가기 전에 SRCU 토큰을 반환합니다. 게스트에 들어가지 않는 조기 반환에서도 공유 자료의 읽기 보호를 정확히 마무리합니다.

실행하지 말라는 요청에 응답하여 -EINTR을 반환합니다. 게스트에서 발생한 RISC-V trap 오류를 뜻하는 반환값은 아닙니다.

vCPU를 현재 호스트 CPU의 KVM 실행 문맥에 연결합니다. 물리 CPU에 종속된 상태를 준비하고 스케줄링에 따른 vCPU 상태 전환을 사용할 수 있게 합니다.

이번 KVM_RUN에 지정된 호스트 신호 마스크를 적용합니다. 게스트 실행 중 어떤 신호가 vCPU 실행을 중단할 수 있는지 정하며, 함수에서 나갈 때 기존 마스크로 복구합니다.

실행 루프를 시작하도록 ret에 양수 1을 넣습니다. 이전 후처리의 성공값 0과 구분하여 이제부터는 양수가 게스트 실행 계속을 나타냅니다.

이번 실행의 이탈 이유를 UNKNOWN으로 초기화합니다. 이전 이탈의 완료 처리를 끝낸 뒤 새 결과를 받을 준비입니다.

ret가 양수인 동안 게스트 진입 준비와 실행을 반복합니다. 0의 사용자 공간 처리 요청이나 음수 오류가 생기면 루프를 종료합니다.

게스트 진입 전에 호스트 스레드에서 처리해야 할 대기 작업을 수행합니다. 성공은 0이며, 시그널로 중단해야 하면 -EINTR과 KVM_EXIT_INTR을 남깁니다.

호스트 작업 처리에서 오류가 나면 현재 반복의 나머지를 건너뜁니다. 이어 while 조건이 음수 ret를 검사하므로 게스트에 들어가지 않고 루프를 끝내게 됩니다.

호스트의 대기 작업 처리 결과 때문에 지금 진입할 수 없으면 실행 루프의 조건을 다시 확인합니다. ret가 계속 실행을 허용할 때만 다음 반복을 수행합니다.

호스트 작업 처리가 정상 종료했으므로 실행 계속 상태인 1을 넣습니다. helper의 성공값 0과 실행 루프의 종료 조건이 충돌하지 않게 바꾸는 단계입니다.

현재 VM의 G-stage 주소 변환용 VMID 세대가 유효한지 확인하고 필요하면 새 VMID를 배정합니다. 번호를 재사용하는 세대 전환에서는 다른 CPU의 게스트 TLB도 정리하여 서로 다른 VM의 변환 결과가 섞이지 않게 합니다.

vCPU의 sleep·reset, HGATP 갱신, 명령 캐시·TLB fence, steal-time 기록 등의 대기 요청을 처리합니다. 계속 가능하면 1을 주고 dirty-ring 처리를 위해 사용자 공간으로 나가야 하면 0을 줍니다.

vCPU 요청 처리 결과가 실행 계속 상태가 아니면 이번 게스트 진입을 건너뜁니다. 현재 구현에서 dirty-ring 때문에 0을 받으면 다음 while 검사에서 종료합니다.

vCPU 요청 처리 후 즉시 진입할 수 없으면 이번 진입 준비를 건너뜁니다. 반복 조건의 ret 값이 재시도 또는 종료를 결정합니다.

AIA 상태와 게스트 진입 준비를 다루는 동안 현재 호스트 태스크의 선점을 막습니다. 준비한 상태가 속한 물리 CPU에서 이어서 진입 여부를 결정하도록 합니다.

현재 물리 CPU에서 게스트 인터럽트를 받을 수 있도록 AIA/IMSIC 하드웨어 상태를 갱신합니다. CPU 이동 시 interrupt file을 옮기는 처리도 포함하며 계속 가능하면 1, 진입 실패나 오류이면 0 또는 음수를 반환합니다.

AIA 준비 결과가 0 또는 음수이면 게스트 진입을 중단합니다. 이 구간은 선점을 막아 둔 상태이므로 다음 줄에서 선점을 다시 허용한 뒤 루프 종료 검사로 돌아갑니다.

AIA 갱신 결과 때문에 이번 게스트 진입을 계속할 수 없으면 선점을 다시 허용합니다. 바로 반복문의 처음으로 돌아가므로, 진입 준비용 선점 금지가 다음 반복에 누적되지 않게 합니다.

AIA 상태 갱신 뒤 진입을 계속할 수 없어 선점을 다시 허용한 다음, 실행 루프의 처음으로 돌아갑니다.

현재 CPU의 일반 IRQ를 막아 게스트 진입 직전의 상태 확인과 인터럽트 반영을 보호합니다. 뒤에서 mode를 공개하고 마지막 요청 검사를 마칠 때까지 호스트 IRQ의 개입을 제한합니다.

최종 요청 검사 직전에 vCPU를 게스트 진입 상태로 공개합니다. 실제 게스트 명령은 아직 실행하지 않았지만, 다른 CPU가 새 요청을 보낼 때 이 진입 시도와 동기화할 수 있게 합니다.

게스트를 실행하기 전에 호스트의 SRCU 읽기 구간을 끝냅니다. 게스트 실행 시간이 길어도 KVM 공유 자료의 SRCU 유예 기간을 계속 붙잡고 있지 않도록 하는 전환입니다.

SRCU 해제 뒤 필요한 메모리 순서를 보장합니다. 앞서 IN_GUEST_MODE를 공개한 상태와 뒤의 실행 요청 재검사가 다른 CPU의 요청 전송과 맞물려, 진입 직전에 들어온 작업을 놓치지 않도록 합니다.

다른 경로가 남긴 가상 인터럽트 변경 비트를 원자적으로 가져와 vCPU에 저장된 HVIP 상태에 반영합니다. AIA의 상위 인터럽트 상태도 처리하며, 실제 HVIP CSR 쓰기는 뒤의 별도 단계에서 수행합니다.