Concurrent Modification and Execution of Instructions

RISC-V CMODX

CMODX(Concurrent Modification and Execution of Instructions)는 program이 스스로 수정한 instruction을 실행하는 기법입니다. RISC-V hardware에서는 instruction storage와 instruction cache(icache)의 동기화가 보장되지 않으므로 program이 unprivileged `fence.i` instruction으로 직접 동기화해야 합니다.

Kernel space의 dynamic ftrace

Dynamic ftrace는 patch 가능한 function entry마다 function call을 넣고 runtime에 patch하여 control-flow redirection을 켜거나 끕니다. RISC-V function call은 `AUIPC + JALR` 두 instruction이 필요하므로 concurrent read-side와 race 없이 두 instruction을 patch할 수 없습니다. Kernel preemption은 `stop_machine()`을 쓰는 patching 도중에도 old state가 남게 해 문제를 더 어렵게 합니다.

`stop_machine()`을 제거하고 full kernel preemption에서 dynamic ftrace를 실행하기 위해 boot-time에 각 patchable function entry를 일부 초기화합니다. 첫 instruction을 `AUIPC`, 둘째를 `NOP`으로 고정하면 kernel은 한 instruction만 update하면 됩니다. `Ziccif`는 instruction이 natural alignment를 만족하는 한 atomic update를 보장합니다.

첫 instruction을 `AUIPC`로 고정하면 RISC-V immediate encoding 공간 때문에 ftrace trampoline range가 미리 정한 target `ftrace_caller`의 `+-2K`로 제한됩니다. 이를 해결하는 `CALL_OPS`는 각 patchable function 앞에 natural alignment를 만족하는 8B metadata를 추가합니다. 첫 trampoline이 metadata를 resolve한 뒤 다른 custom trampoline으로 execution을 보낼 수 있습니다.

User space의 icache 동기화

`fence.i`는 unprivileged instruction이지만 기본 Linux ABI는 userspace application에서 사용하지 못하게 합니다. Scheduler가 task를 새 hart로 migrate할 수 있고, `fence.i`는 호출된 hart에만 영향을 주므로 migration 뒤 새 hart의 instruction storage와 icache는 동기화되지 않을 수 있기 때문입니다.

해결책은 `riscv_flush_icache()` syscall로 일회성 icache flush를 수행하거나, `PR_RISCV_SET_ICACHE_FLUSH_CTX`를 `prctl()`에 전달해 Linux ABI context를 바꾸고 userspace에서 `fence.i`를 실행하는 것입니다.

Kernel의 deferred icache flush는 현재 `riscv_flush_icache()` syscall과 `copy_to_user_page()`에서만 발생하며 hart가 사용하는 memory map이 바뀔 때 실행됩니다. `prctl()` context가 이미 icache를 flush했다면 중복 deferred flush는 생략되므로 그 context 안에서 syscall을 사용해도 추가 flush는 없습니다.

prctl() interface

`prctl()`의 첫 argument로 `PR_RISCV_SET_ICACHE_FLUSH_CTX`를 전달합니다. 나머지 argument는 `arch/riscv/mm/cacheflush.c`의 `riscv_set_icache_flush_ctx` function에 위임됩니다.

C example

다음 두 file은 함께 compile하고 link합니다. `modify_instruction()`은 0을 더하는 instruction을 1을 더하도록 바꿔 `get_value()`의 return value를 0에서 1로 변경합니다.

#include <stdio.h>
#include <sys/prctl.h>

extern int get_value();
extern void modify_instruction();

int main()
{
        int value = get_value();
        printf("Value before cmodx: %d\n", value);

        // Call prctl before first fence.i is called inside modify_instruction
        prctl(PR_RISCV_SET_ICACHE_FLUSH_CTX, PR_RISCV_CTX_SW_FENCEI_ON, PR_RISCV_SCOPE_PER_PROCESS);
        modify_instruction();
        // Call prctl after final fence.i is called in process
        prctl(PR_RISCV_SET_ICACHE_FLUSH_CTX, PR_RISCV_CTX_SW_FENCEI_OFF, PR_RISCV_SCOPE_PER_PROCESS);

        value = get_value();
        printf("Value after cmodx: %d\n", value);
        return 0;
}

Assembly example

Assembly는 `old_insn`의 `addi a0, a0, 0`을 `new_insn`의 `addi a0, a0, 1`로 교체하고 `fence.i`로 instruction storage와 icache를 동기화합니다.

.option norvc

.text
.global modify_instruction
modify_instruction:
lw a0, new_insn
lui a5,%hi(old_insn)
sw  a0,%lo(old_insn)(a5)
fence.i
ret

.section modifiable, "awx"
.global get_value
get_value:
li a0, 0
old_insn:
addi a0, a0, 0
ret

.data
new_insn:
addi a0, a0, 1