FPU, SIMD, SVE/SME, XSAVE와 RISC-V Vector state

이 CPU 시스템이 SME를 지원할 때만 streaming mode와 ZA를 중지합니다. 미지원 하드웨어에는 SME 전용 명령을 실행하지 않습니다.

SME streaming mode와 ZA 사용을 중지합니다. 남아 있는 streaming mode가 커널 NEON 동작에 영향을 주거나 불필요한 전력을 쓰지 않도록 CPU의 FP 상태 소유 정보를 비울 때 함께 정리합니다.

현재 태스크의 FP 상태가 CPU 레지스터에 유효하게 올라와 있지 않음을 표시합니다. 다음 사용자 복귀에서 메모리에 저장된 상태를 다시 로드하게 하는 표시입니다.

다음 태스크 next로 전환할 FP/SIMD 상태를 준비하는 함수입니다. 현재 레지스터를 저장하고 next가 커널 FP 상태인지 사용자 FP 상태인지에 따라 즉시 복원 또는 지연 복원을 선택합니다.

CPU에 남은 FP 레지스터의 소유 태스크가 다른지와 저장 당시 CPU가 다른지를 각각 담습니다. 둘 중 하나라도 참이면 next가 사용자 복귀 전에 상태를 다시 올려야 합니다.

시스템에서 FP/SIMD를 사용할 수 없는지 검사합니다. 해당 경우 존재하지 않는 FP 문맥을 저장·복원하려고 접근하지 않습니다.

FP/SIMD 미지원 시스템에서는 문맥 전환의 FP 처리를 즉시 끝냅니다. 일반 정수 레지스터 전환까지 취소하는 반환은 아닙니다.

IRQ가 켜진 상태로 호출되면 한 번 경고합니다. CPU FP 상태 소유 정보와 실제 레지스터를 바꾸는 중 인터럽트 사용이 끼어들지 않아야 합니다.

현재 태스크가 커널 FP 사용 구간에서 중단됐는지 검사합니다. 참이면 커널 FP 저장 영역에, 거짓이면 사용자 FP 문맥에 저장합니다.

커널 안에서 FP/SIMD를 사용 중이던 현재 태스크의 레지스터를 커널 FP 저장 영역에 보관합니다. 스케줄링 뒤 그 커널 연산을 계속할 수 있게 합니다.

현재 태스크가 커널 FP 상태를 사용하지 않는 경우입니다. 아직 CPU에 남아 있는 사용자 FP/SIMD 상태를 필요에 따라 보관합니다.

CPU에 아직 남아 있는 현재 태스크의 사용자 FP/SIMD 상태를 필요에 따라 저장합니다. 다음 태스크가 레지스터를 사용해도 사용자 계산 상태가 사라지지 않도록 합니다.

next가 커널 FP 연산 도중 중단된 태스크인지 검사합니다. 그러면 커널에서 곧바로 계산을 이어야 하므로 레지스터를 즉시 복원합니다.

CPU에 남아 있는 사용자 FPSIMD 소유 정보를 무효화하고 SME 모드 등을 정리합니다. next의 커널 FP 상태를 로드하기 전에 기존 사용자 상태로 오인되지 않게 합니다.

다음 태스크가 중단되기 전에 저장한 커널 FP 레지스터를 복원합니다. 사용자 복귀까지 미루지 않고 커널 내 FP 연산을 즉시 재개해야 하는 경로입니다.

next가 커널 FP 연산을 재개하는 경우가 아니면 사용자 FP 상태의 유효성만 판정합니다. 실제 복원은 사용자 복귀 경로가 필요할 때 수행하도록 표시합니다.

이 CPU에 마지막으로 올린 FP 상태 객체가 next의 저장 객체인지 비교하기 시작합니다. 같은 CPU라도 다른 태스크가 FP를 사용했다면 기존 레지스터는 next의 상태가 아닙니다.

next의 사용자 FPSIMD 저장 객체 주소와 비교하여 wrong_task를 정합니다. 내용 전체를 비교하는 대신 CPU가 추적한 소유 포인터를 사용합니다.

next의 FP 상태를 마지막으로 올렸던 CPU가 지금 CPU와 다른지 검사합니다. 다르면 현재 CPU 레지스터에 next의 상태가 남아 있다고 믿을 수 없으므로 복원이 필요합니다.

next의 TIF_FOREIGN_FPSTATE 표시를 아래 조건에 맞춰 갱신합니다. 이 플래그는 현재 CPU 레지스터를 next의 유효한 사용자 상태로 볼 수 없는지 나타냅니다.

소유 태스크 또는 마지막 사용 CPU가 다르면 복원 필요 표시를 켭니다. 둘 다 일치하면 레지스터가 그대로 남아 있어 복원 비용을 줄일 수 있습니다.

exec 등에서 지정된 SVE·SME 종류의 벡터 길이를 유효한 값으로 다시 정하는 함수입니다. type이 어느 벡터 기능의 길이 정책을 적용할지 고릅니다.

설정하려는 벡터 길이와 실제 지원되는 길이를 각각 담습니다. 요청값 검증과 지원값으로의 보정 결과를 구분합니다.

다음 exec 시 적용하도록 예약한 SVE 또는 SME 벡터 길이를 읽습니다. type으로 어느 벡터 종류의 정책을 적용할지 선택합니다.

exec용 예약 길이가 0이면 따로 지정하지 않은 경우로 봅니다. 이때 시스템 기본 길이를 사용하고 값이 있으면 그 요청을 검증합니다.

exec용으로 지정한 길이가 없으면 해당 벡터 종류의 시스템 기본 길이를 선택합니다. 새 프로그램이 유효한 벡터 길이로 시작하도록 합니다.

벡터 길이가 아키텍처의 유효 범위·정렬 규칙을 만족하는지 검사합니다. 잘못된 값이면 경고하고 최소 길이로 낮춰 안전한 실행 상태를 만듭니다.

잘못된 길이를 해당 벡터 종류가 지원하는 최소 길이로 대체합니다. 새 사용자 태스크가 유효하지 않은 벡터 길이로 시작하지 않게 합니다.

선택한 벡터 길이에 대해 하드웨어가 실제 지원하는 길이를 구합니다. 요청값과 다르면 뒤에서 경고하고 지원되는 값으로 보정합니다.

형식상 유효한 요청 길이가 실제 하드웨어 지원 길이와 같은지 검사합니다. 다르면 경고한 뒤 지원 가능한 길이로 보정합니다.

전환 전 태스크 old의 FP 레지스터를 필요하면 저장하는 함수입니다. cpu는 저장한 상태가 어느 CPU에 아직 남아 있는지 기록하여 재복원을 줄이는 데 사용합니다.

old의 FP 레지스터가 이미 복원 필요 상태인지 먼저 검사합니다. TIF_NEED_FPU_LOAD가 꺼져 있어 CPU에 유효한 상태가 남아 있을 때만 저장을 진행합니다.

CPU가 FPU 기능을 제공하는지도 저장 조건에 포함합니다. 하드웨어 FPU 상태가 없는 시스템에서는 FP 레지스터 저장 명령을 수행하지 않습니다.

커널 스레드와 사용자 작업자 태스크는 이 사용자 FPU 저장 경로에서 제외합니다. 앞 조건들과 함께 실제 사용자 FP 상태를 가진 태스크만 대상으로 삼습니다.

전환 전 태스크의 FPU 관리 구조체를 얻습니다. FP/SIMD 확장 상태의 메모리 저장 영역과 소유 정보를 뒤의 저장 경로에서 사용합니다.

이 task가 다시 user mode로 갈 때 hardware restore가 필요함을 표시한다.

CPU의 현재 FP 레지스터 상태를 old_fpu의 fpstate에 저장합니다. 다음 태스크가 FPU를 사용하기 전에 이전 태스크의 계산 상태를 보존합니다.

FP 상태를 저장한 현재 CPU 번호를 old_fpu에 기록합니다. 같은 CPU로 돌아왔고 그 레지스터의 소유도 여전히 old이면 메모리에서 중복 복원하지 않을 수 있습니다.

old_fpu의 레지스터 활성 상태를 해제한 지점을 추적 이벤트로 남깁니다. 상태 저장 자체가 아니라 문맥 전환 중 FPU 소유 변화의 관측 기록입니다.

2행에서 시작한 선택 구간을 마칩니다. FPU task 전환 helper 헤더의 중복 포함을 막는 조건입니다. FPU 기능을 켜거나 끄는 설정이 아니라 같은 정의가 두 번 나타나지 않게 합니다.

커널 벡터 사용 중 선점을 허용하지 않는 구성입니다. 선점 벡터 문맥의 dirty·복원·시작 여부 조회는 false로, 표식 변경은 빈 구현으로 정의합니다. 사용자 Vector 확장 전체가 없는 경우와는 다릅니다.

선점 가능한 커널 벡터 지원이 없는 빌드에서는 커널 벡터 dirty 상태를 항상 false로 답합니다. 저장할 선점형 커널 벡터 문맥 자체가 없기 때문입니다.

선점형 커널 벡터 지원을 빌드하지 않으면 지연 복원 필요 상태를 항상 false로 반환합니다. 사용자 벡터 상태 지원 여부와는 별개인 커널 선점형 경로의 대체 함수입니다.

선점형 커널 벡터 구간이 시작됐는지 항상 false로 답하는 미지원 구성의 함수입니다. 문맥 전환은 아래에서 사용자 벡터 경로만 선택하게 됩니다.

선점 가능한 커널 벡터 사용을 빌드하지 않은 구성의 빈 구현입니다. 그 모드의 RISCV_PREEMPT_V_DIRTY 상태를 유지하지 않으므로 지울 비트도 없으며, 일반 사용자 벡터 지원까지 모두 껐다는 뜻은 아닙니다. 이 이름과 인자는 전처리 단계에 정의된 내용으로 치환됩니다. 매크로 정의 자체가 CPU 명령 실행은 아닙니다.

CONFIG_RISCV_ISA_V_PREEMPTIVE가 꺼져 있어 커널 벡터 문맥의 지연 복원 표시를 설정할 필요가 없습니다. 호출 문장 형태만 남겨 공통 문맥 전환 코드가 같은 이름을 사용할 수 있게 합니다. 이 이름과 인자는 전처리 단계에 정의된 내용으로 치환됩니다. 매크로 정의 자체가 CPU 명령 실행은 아닙니다.

332행에서 시작한 선택 구간을 마칩니다. 커널 벡터 계산 중 선점을 허용하는 구성은 task별 벡터 상태의 dirty·복원 필요·사용 시작 표식을 관리합니다. 미지원 구성은 이 조회를 false, 변경을 빈 매크로로 정의하여 추가 선점 문맥을 만들지 않습니다.

이전 태스크 prev와 다음 태스크 사이의 벡터 문맥을 전환하는 인라인 함수입니다. 커널 선점형 상태와 사용자 벡터 상태를 구분해 보관·복원 표시를 처리합니다.

다음 태스크 next를 받는 함수 정의를 마칩니다. next의 플래그에 따라 커널 벡터를 재활성화하거나 복원 필요 상태를 표시합니다.

태스크의 저장 사용자 레지스터 문맥을 가리킬 포인터입니다. pt_regs의 status에 있는 VS 상태로 사용자 벡터 레지스터 저장 필요 여부를 판단합니다.

prev가 선점 가능한 커널 벡터 사용 구간 안에 있는지 검사합니다. 참이면 kernel_vstate를 관리하고, 아니면 사용자 vstate를 저장하는 경로를 택합니다.

현재 CPU에서 벡터 접근이 켜져 있는지 검사합니다. 켜져 있으면 스케줄링 동안 이를 끄고 복귀 시 다시 켤 표시를 남깁니다.

벡터 접근이 켜진 채 전환하는데 중첩 문맥 깊이도 남아 있으면 경고합니다. 예상한 최상위 선점형 벡터 사용 상태인지 검증하는 진단입니다.

벡터를 사용 중인 커널 태스크가 스케줄링에 들어가므로 현재 벡터 접근을 끕니다. 이어지는 IN_SCHEDULE 표시와 함께 복귀할 때 다시 켜야 함을 기록합니다.

벡터를 켠 상태에서 스케줄링으로 중단되었다는 표시를 prev에 남깁니다. 이 태스크가 다시 선택되면 같은 사용 구간을 이어갈 수 있도록 활성 상태를 복원합니다.

현재 커널 벡터 레지스터가 저장본 이후 변경됐는지 검사합니다. dirty일 때만 실제 벡터 레지스터를 메모리에 저장하여 불필요한 복사를 줄입니다.

현재 벡터 레지스터와 제어 CSR을 prev의 커널 벡터 저장 객체에 보관하는 호출을 시작합니다. 사용자 vstate와 별도 영역을 사용합니다.

커널 벡터 데이터가 들어갈 실제 버퍼 주소를 두 번째 인자로 넘깁니다. 앞의 kernel_vstate는 제어 상태, datap는 큰 벡터 레지스터 내용의 보관 공간입니다.

현재 커널 벡터 상태를 메모리에 저장했으므로 prev의 dirty 표시를 지웁니다. 저장 이후 레지스터가 다시 변경되기 전에는 같은 상태를 중복 저장할 필요가 없습니다.

prev가 선점형 커널 벡터 사용 구간이 아니면 사용자 벡터 저장 경로를 선택합니다. pt_regs의 VS 상태를 보고 사용자 문맥이 dirty일 때 저장합니다.

이전 태스크의 사용자 pt_regs를 얻습니다. 저장된 상태 비트와 함께 사용자 벡터 레지스터를 보존할지 판단하는 데 사용합니다.

prev의 DIRTY user vector register를 task buffer에 저장한다.

next가 커널 선점형 벡터 사용 중 중단된 태스크인지 검사합니다. 그러면 커널 사용을 이어갈 준비를 하고, 아니면 사용자 복귀용 복원 표시를 처리합니다.

next가 벡터를 켠 상태에서 스케줄링으로 빠졌다는 표시를 검사합니다. 참이면 그 표시를 지우고 벡터 접근을 다시 켭니다.

스케줄링 중단 표시를 지워 해당 중단 상태가 끝났음을 반영합니다. 다른 벡터 상태 비트는 유지합니다.

벡터 사용 도중 스케줄링되었던 next로 돌아오므로 벡터 접근을 다시 켭니다. 바로 앞에서 IN_SCHEDULE 표시를 지워 해당 중단 상태가 끝났음을 반영합니다.

next가 켜진 벡터 구간에서 직접 스케줄링된 경우가 아니면 지연 복원 표시를 남기는 경로입니다. 적절한 커널 벡터 재개 지점에서 저장 상태를 가져오게 합니다.

next의 커널 벡터 상태를 나중에 복원해야 한다고 표시합니다. 지금 바로 복원하는 경로가 아닌 경우에도 다음 벡터 사용 전에 저장값을 가져오게 합니다.

next가 선점형 커널 벡터 태스크가 아니면 사용자 벡터 복원 경로를 사용합니다. 실제 레지스터 적재는 사용자 복귀 전에 필요한 경우 수행합니다.

다음 태스크의 사용자 벡터 상태를 복원 대상으로 표시합니다. 실제 사용자 실행으로 돌아가기 전에 pt_regs의 상태와 저장된 벡터 문맥을 맞추게 합니다.

태스크의 사용자 벡터 사용 정책을 초기화하는 함수의 선언입니다. tsk가 대상 태스크이며 이 줄에서는 초기화 함수를 실행하지 않습니다.

현재 태스크의 정책상 사용자 벡터 사용이 허용되는지 bool로 알려 주는 함수의 선언입니다. 하드웨어 벡터 연산을 실행하거나 상태를 복원하는 문장이 아닙니다.

Vector 확장을 관리하지 않는 커널 구성입니다. 기능 조회는 false, 저장 크기 준비는 EOPNOTSUPP, 상태 저장·복원·할당은 빈 구현을 제공하므로 실제 벡터 문맥을 만들지 않습니다.

pt_regs 구조체 이름만 미리 선언합니다. 아래의 미지원 기능 대체 함수들이 구조체 포인터를 받을 수 있게 하며 레지스터 저장 공간을 할당하지 않습니다.

벡터 기능을 빌드하지 않은 구성에서 벡터 저장 크기 초기화 요청을 -EOPNOTSUPP로 거절합니다. 사용할 벡터 문맥을 실제로 만들지는 않습니다.

벡터 미지원 빌드에서는 표준 RISC-V 벡터 기능 사용 가능 여부를 항상 false로 답합니다. 호출자가 벡터 명령 경로를 선택하지 않게 합니다.

벡터 미지원 빌드에서는 입력 명령을 처리 가능한 벡터 명령으로 인정하지 않습니다. 실제 명령 비트열과 관계없이 false를 반환하는 대체 함수입니다.

벡터 미지원 빌드의 T-Head 벡터 탐지 대체 함수입니다. alternatives 패치 없이 검사하는 호출에서도 사용할 수 없음을 false로 반환합니다.

벡터 기능이 없는 빌드에서는 T-Head 전용 벡터 기능도 사용할 수 없다고 답합니다. 하드웨어 명령을 시험 실행하는 검사가 아닙니다.

벡터 미지원 빌드에서는 첫 사용 트랩을 처리하지 않았음을 false로 반환합니다. 예외 처리기는 이 결과에 따라 다른 미정의 명령 처리로 진행합니다.

벡터 미지원 빌드에서는 저장 pt_regs에 대해 사용할 벡터 상태가 없다고 답합니다. status를 실제로 조사하거나 변경하지 않습니다.

벡터 기능이 없는 빌드에서는 사용자 벡터 사용을 허용하지 않는다고 false를 반환합니다. 태스크 정책만으로 미지원 커널 기능을 켤 수 없게 합니다.

벡터 확장 지원을 빌드하지 않으면 저장할 32개 벡터 레지스터의 전체 바이트 수를 0으로 둡니다. 이 값은 하드웨어 벡터 길이를 측정한 결과가 아니라 CONFIG_RISCV_ISA_V가 꺼진 구성의 상수입니다. 이 이름과 인자는 전처리 단계에 정의된 내용으로 치환됩니다. 매크로 정의 자체가 CPU 명령 실행은 아닙니다.

벡터 지원이 없는 빌드에서는 폐기할 벡터 레지스터 문맥이 없으므로 아무 동작도 하지 않습니다. regs의 일반 레지스터 프레임을 지우는 매크로가 아닙니다. 이 이름과 인자는 전처리 단계에 정의된 내용으로 치환됩니다. 매크로 정의 자체가 CPU 명령 실행은 아닙니다.

CONFIG_RISCV_ISA_V가 꺼진 구성에서는 벡터 레지스터를 저장하지 않습니다. vstate와 regs 인자를 받는 호출 형태를 유지하여 공통 태스크 전환 코드를 따로 나누지 않도록 합니다. 이 이름과 인자는 전처리 단계에 정의된 내용으로 치환됩니다. 매크로 정의 자체가 CPU 명령 실행은 아닙니다.

벡터 확장 지원을 빌드하지 않아 복원할 벡터 문맥이 없으므로 빈 문장으로 치환합니다. 일반 정수 레지스터나 부동소수점 상태의 복원까지 생략한다는 뜻은 아닙니다.

벡터 지원이 없는 빌드의 태스크 전환에서는 벡터 레지스터의 저장·복원 작업을 하지 않습니다. prev와 next 사이의 전체 태스크 전환은 다른 코드에서 계속 수행됩니다. 이 이름과 인자는 전처리 단계에 정의된 내용으로 치환됩니다. 매크로 정의 자체가 CPU 명령 실행은 아닙니다.

벡터 지원을 빌드하지 않았으므로 저장된 상태의 VS 비트를 벡터 사용 금지 상태로 바꿀 작업도 생략합니다. 실제 지원 구성의 vstate_off와 같은 호출 자리를 유지하는 대체 정의입니다. 이 이름과 인자는 전처리 단계에 정의된 내용으로 치환됩니다. 매크로 정의 자체가 CPU 명령 실행은 아닙니다.

벡터 확장 지원이 없는 빌드에서 이 이름을 호출해도 벡터 기능을 켜지 않습니다. 지원 구성에서 수행하는 저장 프레임의 VS 상태 변경을 공통 코드에서 무해하게 생략합니다. 이 이름과 인자는 전처리 단계에 정의된 내용으로 치환됩니다. 매크로 정의 자체가 CPU 명령 실행은 아닙니다.

벡터 문맥용 메모리를 애초에 할당하지 않는 구성이므로 태스크 종료 때 해제할 벡터 버퍼도 없습니다. task_struct 자체를 해제하는 호출은 아닙니다. 이 이름과 인자는 전처리 단계에 정의된 내용으로 치환됩니다. 매크로 정의 자체가 CPU 명령 실행은 아닙니다.

CONFIG_RISCV_ISA_V가 꺼져 벡터 문맥 버퍼를 공급할 캐시가 필요하지 않으므로 캐시 생성이 빈 동작이 됩니다. 다른 커널 객체 캐시의 초기화에는 영향을 주지 않습니다. 이 이름과 인자는 전처리 단계에 정의된 내용으로 치환됩니다. 매크로 정의 자체가 CPU 명령 실행은 아닙니다.

벡터 지원이 없는 빌드에서는 태스크마다 벡터 문맥 버퍼를 만들지 않습니다. 인자 tsk의 일반 스택이나 다른 레지스터 저장 공간은 해당 공통 경로에서 별도로 준비됩니다. 이 이름과 인자는 전처리 단계에 정의된 내용으로 치환됩니다. 매크로 정의 자체가 CPU 명령 실행은 아닙니다.

12행에서 시작한 선택 구간을 마칩니다. RISC-V Vector 확장을 커널에서 관리하는 빌드입니다. 켜지면 벡터 상태의 저장·복원·정책 함수를 제공하고, 꺼지면 지원 조회는 false, 크기 설정은 미지원 오류, 상태 변경은 빈 구현이 됩니다.