Atomic RMW와 spinlock: LSE/LL-SC, LOCK과 AMO

atomic_t에서 i를 원자적으로 빼고 반환값은 주지 않는 arch_atomic_sub 함수를 생성합니다. 실제 명령 경로는 LSE 지원에 따라 선택됩니다.

반환값 없는 32비트 함수 생성에 사용한 임시 ATOMIC_OP 매크로를 해제합니다. 이미 생성된 함수 정의는 남습니다.

반환값이 있는 32비트 원자 연산 함수를 만드는 틀입니다. op와 name을 이어 함수명과 순서 보장 종류를 정하고, __lse_ll_sc_body가 CPU에 맞는 LSE 또는 LL/SC 구현으로 넘깁니다. fetch 계열은 변경 전 값을, add_return·sub_return 계열은 변경 후 값을 돌려줍니다. 이 이름과 인자는 전처리 단계에 정의된 내용으로 치환됩니다. 매크로 정의 자체가 CPU 명령 실행은 아닙니다.

연산명 op와 순서 접미사 name을 붙인 32비트 atomic 함수를 정의합니다. i는 연산 값, v는 대상이며 int 반환값의 의미는 fetch 또는 return 연산 종류에 따라 달라집니다.

boot-time alternative가 LSE 또는 LL/SC 구현을 선택하는 공통 호출점이다.

같은 32비트 연산에 relaxed·acquire·release·기본형 네 함수를 만듭니다. relaxed는 다른 메모리 접근의 순서를 추가로 보장하지 않고, acquire와 release는 각각 뒤와 앞의 접근을 연결하며, 기본형은 완전한 순서 보장을 제공하는 구현을 선택합니다. 이 이름과 인자는 전처리 단계에 정의된 내용으로 치환됩니다. 매크로 정의 자체가 CPU 명령 실행은 아닙니다.

relaxed 변형을 생성합니다. 대상 값의 원자성은 보장하지만 앞뒤 일반 메모리 접근에 acquire/release 순서를 추가하지 않습니다.

acquire 변형을 생성합니다. 이 원자적 읽기 뒤의 메모리 접근이 읽기보다 앞서 관찰되지 않게 하여 공개된 자료를 읽는 쪽에 사용합니다.

release 변형을 생성합니다. 앞선 메모리 접근이 원자 갱신 뒤로 넘어가지 않게 하여 갱신과 함께 자료를 공개할 때 사용합니다.

접미사 없는 기본 변형을 생성합니다. Linux의 이 반환값 있는 atomic 연산은 완전한 메모리 순서 보장을 제공하는 기본 API입니다.

32비트 값에 i에서 1인 비트를 지우는 fetch 연산의 네 가지 순서 변형을 생성합니다. 모두 원자 갱신 전 값을 반환하므로 다른 CPU와 경쟁하면서 이전 상태를 얻을 수 있습니다.

32비트 값에 i에서 1인 비트를 켜는 fetch 연산의 네 가지 순서 변형을 생성합니다. 모두 원자 갱신 전 값을 반환하므로 다른 CPU와 경쟁하면서 이전 상태를 얻을 수 있습니다.

32비트 값에 i에서 1인 비트를 반전하는 fetch 연산의 네 가지 순서 변형을 생성합니다. 모두 원자 갱신 전 값을 반환하므로 다른 CPU와 경쟁하면서 이전 상태를 얻을 수 있습니다.

32비트 값에 i를 더하는 fetch 연산의 네 가지 순서 변형을 생성합니다. 모두 원자 갱신 전 값을 반환하므로 다른 CPU와 경쟁하면서 이전 상태를 얻을 수 있습니다.

32비트 값에 i에서 0인 비트를 지우는 fetch 연산의 네 가지 순서 변형을 생성합니다. 모두 원자 갱신 전 값을 반환하므로 다른 CPU와 경쟁하면서 이전 상태를 얻을 수 있습니다.

32비트 값에 i를 빼는 fetch 연산의 네 가지 순서 변형을 생성합니다. 모두 원자 갱신 전 값을 반환하므로 다른 CPU와 경쟁하면서 이전 상태를 얻을 수 있습니다.

relaxed/acquire/release/full 네 ordering variant를 생성한다.

i를 뺀 뒤의 새 값을 반환하는 atomic_sub_return 계열 네 가지를 생성합니다. fetch_sub가 갱신 전 값을 주는 것과 반환 기준이 다릅니다.

단일 반환형 atomic 함수를 만들던 임시 ATOMIC_FETCH_OP 매크로를 해제합니다. 다음 64비트 생성 매크로와 이름·범위를 분리합니다.

네 가지 순서 변형을 묶어 만들던 임시 매크로를 해제합니다. 생성된 32비트 함수들은 그대로 사용할 수 있습니다.

반환값이 없는 64비트 원자 연산 함수를 만듭니다. long 값 i와 atomic64_t를 받아 op에 맞는 LSE 또는 LL/SC 구현에서 카운터를 갱신하며, 갱신 전후 값을 호출자에게 돌려주지는 않습니다. 이 이름과 인자는 전처리 단계에 정의된 내용으로 치환됩니다. 매크로 정의 자체가 CPU 명령 실행은 아닙니다.

반환값 없는 64비트 atomic 함수를 정의하는 매크로 본문입니다. long i를 atomic64_t 대상 v에 적용하며 op가 실제 연산 이름을 정합니다.

LSE 원자 명령과 LL/SC 반복 중 CPU 기능에 맞는 op 구현을 선택하여 i와 v를 전달합니다. 이 64비트 함수는 결과값을 호출자에게 반환하지 않습니다.

64비트 atomic 함수를 생성하여 대상 값에 원자적으로 연산합니다. 생성 함수는 i에서 1인 비트를 지웁니다. 반환값은 없으며 실제 LSE 또는 LL/SC 구현은 공통 선택 매크로에 맡깁니다.

64비트 atomic 함수를 생성하여 대상 값에 원자적으로 연산합니다. 생성 함수는 i에서 1인 비트를 켭니다. 반환값은 없으며 실제 LSE 또는 LL/SC 구현은 공통 선택 매크로에 맡깁니다.

64비트 atomic 함수를 생성하여 대상 값에 원자적으로 연산합니다. 생성 함수는 i에서 1인 비트를 반전합니다. 반환값은 없으며 실제 LSE 또는 LL/SC 구현은 공통 선택 매크로에 맡깁니다.

64비트 atomic 함수를 생성하여 대상 값에 원자적으로 연산합니다. 생성 함수는 i를 더합니다. 반환값은 없으며 실제 LSE 또는 LL/SC 구현은 공통 선택 매크로에 맡깁니다.

64비트 atomic 함수를 생성하여 대상 값에 원자적으로 연산합니다. 생성 함수는 i와 비트별 AND를 합니다. 반환값은 없으며 실제 LSE 또는 LL/SC 구현은 공통 선택 매크로에 맡깁니다.

64비트 atomic 함수를 생성하여 대상 값에 원자적으로 연산합니다. 생성 함수는 i를 뺍니다. 반환값은 없으며 실제 LSE 또는 LL/SC 구현은 공통 선택 매크로에 맡깁니다.

64비트 무반환 함수 생성이 끝나 임시 ATOMIC64_OP 매크로를 없앱니다. 컴파일된 atomic 함수가 삭제되는 것은 아닙니다.

반환값이 있는 64비트 원자 연산 함수를 만듭니다. op와 순서 접미사 name을 합쳐 실제 연산을 선택하며 fetch는 변경 전 값, add_return·sub_return은 변경 후 값을 long으로 돌려줍니다. 이 이름과 인자는 전처리 단계에 정의된 내용으로 치환됩니다. 매크로 정의 자체가 CPU 명령 실행은 아닙니다.

64비트 반환형 atomic 함수의 이름과 인자를 정의합니다. op와 name을 붙인 함수가 long 결과를 반환하며 i는 피연산자, v는 갱신 대상입니다.

boot-time alternative가 LSE 또는 LL/SC 구현을 선택하는 공통 호출점이다.

64비트 연산마다 relaxed·acquire·release·기본형을 함께 정의합니다. 데이터 폭은 모두 64비트이고, 다른 메모리 접근과 어떤 순서를 보장할지만 달라지므로 각 호출자가 필요한 순서 수준을 고를 수 있습니다. 이 이름과 인자는 전처리 단계에 정의된 내용으로 치환됩니다. 매크로 정의 자체가 CPU 명령 실행은 아닙니다.

64비트 연산의 relaxed 변형을 생성합니다. 대상 값의 원자적 갱신만 보장하고 주변 접근의 acquire/release 순서는 추가하지 않습니다.

64비트 연산의 acquire 변형을 생성합니다. 원자적 읽기 이후의 접근을 그 읽기보다 앞서지 않게 정렬합니다.

64비트 연산의 release 변형을 생성합니다. 앞서 준비한 데이터 접근이 원자적 갱신 이후로 넘어가지 않게 합니다.

64비트 연산의 접미사 없는 기본 변형을 생성합니다. 이 반환형 atomic API의 완전한 메모리 순서 보장을 선택합니다.

64비트 대상에 i에서 1인 비트를 지우는 fetch 함수들을 생성합니다. 갱신 전 값을 반환하며 relaxed·acquire·release·기본 순서의 네 API를 제공합니다.

64비트 대상에 i에서 1인 비트를 켜는 fetch 함수들을 생성합니다. 갱신 전 값을 반환하며 relaxed·acquire·release·기본 순서의 네 API를 제공합니다.

64비트 대상에 i에서 1인 비트를 반전하는 fetch 함수들을 생성합니다. 갱신 전 값을 반환하며 relaxed·acquire·release·기본 순서의 네 API를 제공합니다.

64비트 대상에 i를 더하는 fetch 함수들을 생성합니다. 갱신 전 값을 반환하며 relaxed·acquire·release·기본 순서의 네 API를 제공합니다.

arch_atomic_inc_and_test이라는 x86 구현이 있음을 공통 atomic 계층의 전처리 검사에 알립니다. 자기 이름으로 치환되므로 재귀 호출은 생기지 않습니다. 실제 동명 함수는 32비트 카운터를 1 늘린 결과가 0인지 반환합니다.

v에 i를 원자적으로 더하고 결과가 음수인지 bool로 반환하는 함수입니다. 카운터 값 자체 대신 덧셈 결과의 부호를 필요로 할 때 사용합니다.

LOCK이 붙은 32비트 덧셈으로 counter를 갱신하고 조건 코드 s로 부호 플래그를 결과에 담습니다. 반환값은 이전 값이나 합계가 아니라 합계가 음수인지 여부입니다.

arch_atomic_add_negative이라는 x86 구현이 있음을 공통 atomic 계층의 전처리 검사에 알립니다. 자기 이름으로 치환되므로 재귀 호출은 생기지 않습니다. 실제 동명 함수는 32비트 카운터에 i를 더한 결과가 음수인지 반환합니다.

i를 v에 원자적으로 더한 뒤 새 합계를 반환하는 함수입니다. 내부 xadd가 주는 이전 값에 i를 더해 반환값을 만듭니다.

XADD가 old value를 반환하므로 operand i와 합쳐 new value를 만든다.

arch_atomic_add_return이라는 x86 구현이 있음을 공통 atomic 계층의 전처리 검사에 알립니다. 자기 이름으로 치환되므로 재귀 호출은 생기지 않습니다. 실제 동명 함수는 32비트 카운터에 i를 더한 뒤의 새 값을 반환합니다.

i를 빼는 연산을 -i를 더하는 arch_atomic_add_return으로 구현합니다. 같은 원자적 덧셈 경로를 재사용하되 반환값은 감산이 끝난 뒤의 카운터 값입니다. 이 이름과 인자는 전처리 단계에 정의된 내용으로 치환됩니다. 매크로 정의 자체가 CPU 명령 실행은 아닙니다.

i를 원자적으로 더하되 갱신 전 값을 반환하는 fetch_add 함수입니다. 여러 CPU가 같은 카운터에서 서로 다른 이전 값을 확보할 때 사용합니다.

xadd로 counter에 i를 더하고 덧셈 전 값을 반환합니다. 단순 load와 add로 나누지 않아 경쟁 중 갱신을 잃지 않습니다.

arch_atomic_fetch_add이라는 x86 구현이 있음을 공통 atomic 계층의 전처리 검사에 알립니다. 자기 이름으로 치환되므로 재귀 호출은 생기지 않습니다. 실제 동명 함수는 32비트 카운터에 i를 더하면서 변경 전 값을 반환합니다.

i를 빼는 연산을 -i를 더하는 arch_atomic_fetch_add로 바꿉니다. fetch 계열이므로 반환값은 감산 결과가 아니라 갱신 전 카운터 값입니다. 이 이름과 인자는 전처리 단계에 정의된 내용으로 치환됩니다. 매크로 정의 자체가 CPU 명령 실행은 아닙니다.

v가 old와 같을 때만 new로 바꾸고 실제 이전 값을 반환하는 비교 교환 함수입니다. 반환값과 old를 비교하면 교환 성공 여부를 알 수 있습니다.

expected value가 일치할 때만 한 cache-line transaction으로 교체한다.

arch_atomic_cmpxchg이라는 x86 구현이 있음을 공통 atomic 계층의 전처리 검사에 알립니다. 자기 이름으로 치환되므로 재귀 호출은 생기지 않습니다. 실제 동명 함수는 카운터가 예상값 old와 같을 때만 new로 바꾸고 관찰한 이전 값을 반환합니다.

v가 *old와 같으면 new로 바꾸고 성공 여부를 bool로 반환합니다. 실패하면 관측한 실제 값을 *old에 써 다음 시도의 비교값으로 사용할 수 있게 합니다.

counter 주소와 old 포인터, new 값을 x86 비교 교환 구현에 전달합니다. 성공 여부를 반환하고 실패 시 기대값 포인터를 실제 값으로 갱신하는 API를 그대로 제공합니다.

arch_atomic_try_cmpxchg이라는 x86 구현이 있음을 공통 atomic 계층의 전처리 검사에 알립니다. 자기 이름으로 치환되므로 재귀 호출은 생기지 않습니다. 실제 동명 함수는 예상값과 일치할 때 new로 바꾸어 성공 여부를 반환하고 실패하면 *old에 관찰값을 기록합니다.

counter를 무조건 new로 원자 교환하고 교환 전 값을 반환하는 함수입니다. 기대값을 비교하는 cmpxchg와 달리 일치 조건이 없습니다.

counter에 대한 x86 원자 교환을 실행하고 이전 값을 반환합니다. 메모리 피연산자의 XCHG를 사용하여 다른 CPU와의 교환도 원자적으로 처리합니다.

arch_atomic_xchg이라는 x86 구현이 있음을 공통 atomic 계층의 전처리 검사에 알립니다. 자기 이름으로 치환되므로 재귀 호출은 생기지 않습니다. 실제 동명 함수는 카운터를 new로 원자적으로 바꾸고 이전 값을 반환합니다.

v->counter와 i의 비트별 AND를 원자적으로 수행하는 함수입니다. i에서 0인 비트를 지우며 별도 결과값은 반환하지 않습니다.

32비트 메모리 AND 명령에 LOCK 접두사를 적용하여 원자 갱신을 수행합니다. volatile은 컴파일러가 이 어셈블리를 불필요하다고 없애지 못하게 합니다.

+m은 counter 메모리를 입력으로 읽고 출력으로 다시 쓴다는 제약입니다. 컴파일러에 이 명령의 실제 갱신 대상을 알립니다.

AND 마스크 i를 즉시값 또는 레지스터 피연산자로 전달합니다. ir 제약으로 컴파일러가 값에 맞는 명령 피연산자 형태를 고를 수 있습니다.

원자적 연산 전의 값을 받을 ret 변수를 선언합니다. c_type은 생성할 atomic 함수의 정수형이며, register는 컴파일러에 주는 저장 방식 힌트입니다. 반환 명령이나 권한 전환을 실행하는 줄이 아닙니다.

갱신 전 값을 돌려주는 relaxed AMO 명령의 인라인 어셈블리 구간을 시작합니다. volatile은 이 원자 연산을 임의로 제거하지 못하게 합니다.

AMO instruction이 memory word와 register 결과를 한 원자적 transaction으로 갱신한다.

인라인 어셈블리의 출력 조건을 지정합니다. +A는 v->counter 메모리를 읽고 갱신한다는 뜻이고, =r은 AMO가 읽어 온 갱신 전 값을 레지스터 출력 ret에 받겠다는 뜻입니다.

AMO에 더하거나 비트 연산할 값 I를 일반 레지스터 입력으로 전달합니다. 뺄셈 변형에서는 I가 -i로 확장되어 덧셈 명령으로 뺄셈을 구현합니다.

memory clobber로 컴파일러에 메모리 영향이 있음을 알리고 어셈블리를 마칩니다. 이 표기만으로 하드웨어 acquire/release 순서가 추가되는 것은 아닙니다.

AMO로 갱신하기 전의 값을 호출자에게 돌려줍니다. fetch 계열 atomic 함수의 반환 규칙이며, 이 relaxed 버전은 연산 앞뒤의 일반 메모리 접근에 acquire/release 순서를 추가하지 않습니다.

기본 순서 fetch 함수에 내부 연결과 강제 인라인 속성을 붙입니다. 실제 타입·함수명·인자는 다음 줄의 매크로 조합으로 완성됩니다.

prefix와 op를 붙여 32비트 또는 64비트 fetch 함수 이름을 만듭니다. i를 대상 v에 적용하고 갱신 전 값을 c_type으로 반환합니다.

순서 보장이 있는 fetch 연산에서 갱신 전 값을 받을 ret 변수를 선언합니다. c_type은 매크로 인자로 정하는 자료형이며, 이 선언만으로 레지스터나 실행 문맥을 복원하지 않습니다.

완전한 순서 보장을 가진 fetch AMO의 어셈블리를 시작합니다. 바로 뒤 명령의 .aqrl이 acquire와 release를 함께 부여합니다.

AMO instruction이 memory word와 register 결과를 한 원자적 transaction으로 갱신한다.

v->counter를 읽고 쓰는 메모리 피연산자로, ret를 레지스터 출력으로 지정합니다. 앞의 .aqrl AMO 명령이 원자 갱신과 메모리 순서 보장을 수행하고 ret에는 갱신 전 값을 남깁니다.

순서 보장형 AMO의 연산 값 I를 레지스터로 전달합니다. 주소 입력과 결과 출력은 앞줄에, 실제 산술·비트 연산 피연산자는 여기에 명시합니다.

어셈블리가 메모리에 영향을 준다는 compiler clobber를 선언합니다. 하드웨어 순서는 앞의 .aqrl이 맡고 컴파일러의 재배치도 이 경계에서 제한합니다.

원자 연산으로 바꾸기 전의 counter 값을 반환합니다. acquire/release 순서 보장은 앞의 .aqrl 명령에서 이루어졌으며, 이 줄은 그 결과를 C 호출자에게 전달합니다.

원자 연산 뒤의 새 값을 반환하는 함수를 만듭니다. AMO fetch가 돌려준 변경 전 값에 c_op와 I를 적용해 새 값을 계산합니다. asm_type·c_type·prefix로 폭을 고르며, 아래 sub 생성은 add 연산에 -i를 넣어 감산을 구현합니다. 이 이름과 인자는 전처리 단계에 정의된 내용으로 치환됩니다. 매크로 정의 자체가 CPU 명령 실행은 아닙니다.

갱신 후 값을 반환하는 relaxed 함수의 내부 연결·인라인 속성을 지정합니다. 아래의 fetch 연산 결과에서 새 값을 계산하는 작은 함수를 호출 지점에 펼칩니다.

op_return_relaxed 이름의 반환형 원자 함수를 정의하기 시작합니다. i가 갱신량이며 반환값은 연산 전 값이 아니라 연산 후 값입니다.

원자 변수 포인터 v를 두 번째 인자로 받으며 함수 정의를 마칩니다. prefix에 따라 atomic_t 또는 atomic64_t가 선택됩니다.

relaxed fetch 연산이 돌려준 이전 값에 c_op와 I를 적용해 갱신 후 값을 반환합니다. 메모리는 fetch에서 한 번만 원자 갱신하며 뒤의 계산은 반환값을 만드는 계산입니다.

기본 순서의 갱신 후 값 반환 함수에 내부 연결과 인라인 속성을 부여합니다. 함수 호출 비용 없이 뒤의 원자 연산을 사용할 수 있게 합니다.

op_return 함수의 이름·정수형·대상 포인터를 생성합니다. relaxed 접미사가 없으므로 아래의 기본 순서 fetch 연산을 사용합니다.

순서 보장형 fetch가 준 이전 값으로 새 값을 계산해 반환합니다. 실제 원자 갱신과 .aqrl 순서 보장은 호출한 fetch 함수에 들어 있습니다.

GENERIC_ATOMIC64를 사용하는 빌드는 64비트 원자 연산을 공통 구현에 맡깁니다. 이 분기는 여기서 32비트 AMO 함수만 생성하며, 공통 구현을 쓰지 않는 분기에서는 64비트 AMO 함수도 함께 생성합니다. 이 조건은 빌드 전처리 단계에서 포함할 코드를 선택하며 런타임 조건 분기가 아닙니다.

CONFIG_GENERIC_ATOMIC64 구성에서는 이 틀이 32비트 AMO의 fetch형과 변경 후 값 반환형만 만듭니다. 64비트 원자 연산은 별도의 공통 구현이 담당하므로 여기서 64비트 AMO 함수를 중복 생성하지 않습니다. 이 이름과 인자는 전처리 단계에 정의된 내용으로 치환됩니다. 매크로 정의 자체가 CPU 명령 실행은 아닙니다.

32비트 AMO.W와 int를 사용하는 fetch 함수들을 생성합니다. GENERIC_ATOMIC64 구성에서는 64비트 원자 연산을 공통 구현에 맡겨 여기서 생성하지 않습니다.

32비트 fetch 결과에서 갱신 후 값을 계산하는 return 함수들을 생성합니다. 메모리 대상은 atomic_t이며 64비트형은 공통 atomic64 구현이 담당합니다.

공통 atomic64 구현을 쓰지 않는 빌드에서는 AMO word 연산의 32비트 함수와 AMO doubleword 연산의 64비트 함수를 모두 생성합니다. 두 정수 폭에 맞는 구현을 아키텍처가 직접 제공합니다.

64비트 원자 연산을 공통 대체 구현에 맡기지 않는 구성의 틀입니다. w/int 조합으로 32비트, d/s64/64 조합으로 64비트 AMO 함수를 만들며 각 폭에 fetch형과 변경 후 값 반환형을 모두 제공합니다. 이 이름과 인자는 전처리 단계에 정의된 내용으로 치환됩니다. 매크로 정의 자체가 CPU 명령 실행은 아닙니다.

하드웨어 64비트 atomic을 사용하는 구성에서도 기본 32비트 fetch 함수를 함께 생성합니다. w와 int가 명령 폭과 C 자료형을 정합니다.

32비트 atomic의 갱신 후 값 반환 함수를 생성합니다. 이어지는 64비트 생성과 구분하여 prefix 없이 정의합니다.

AMO.D와 s64를 사용해 64비트 fetch 함수들을 생성합니다. prefix 64가 함수명과 atomic64_t 형에 반영됩니다.

64비트 fetch가 돌려준 이전 값에서 새 값을 계산하는 return 함수들을 생성합니다. 64비트 정수 연산으로 결과 폭을 유지합니다.

125행에서 시작한 선택 구간을 마칩니다. GENERIC_ATOMIC64를 사용하는 빌드는 64비트 원자 연산을 공통 구현에 맡깁니다. 이 분기는 여기서 32비트 AMO 함수만 생성하며, 공통 구현을 쓰지 않는 분기에서는 64비트 AMO 함수도 함께 생성합니다.

32/64-bit add의 relaxed와 ordered variant를 macro로 생성한다.

sub API를 AMO ADD와 -i 조합으로 생성합니다. 이전 값에 -i를 더하는 방식으로 원자 뺄셈을 구현하고, return 변형도 같은 계산으로 새 값을 만듭니다.

위의 생성 매크로가 만든 arch_atomic_add_return_relaxed을 공통 atomic 계층에서 사용할 수 있다고 표시합니다. 같은 이름으로 치환되는 정의라 실행 코드를 추가하지 않습니다. 실제 함수는 32비트 카운터에 i를 더하고 변경 후 값을 반환합니다. relaxed형은 원자적 갱신만 요구하며 다른 메모리 접근과의 순서를 추가로 보장하지 않습니다.

위의 생성 매크로가 만든 arch_atomic_sub_return_relaxed을 공통 atomic 계층에서 사용할 수 있다고 표시합니다. 같은 이름으로 치환되는 정의라 실행 코드를 추가하지 않습니다. 실제 함수는 32비트 카운터에 i를 빼고 변경 후 값을 반환합니다. relaxed형은 원자적 갱신만 요구하며 다른 메모리 접근과의 순서를 추가로 보장하지 않습니다.

위의 생성 매크로가 만든 arch_atomic_add_return을 공통 atomic 계층에서 사용할 수 있다고 표시합니다. 같은 이름으로 치환되는 정의라 실행 코드를 추가하지 않습니다. 실제 함수는 32비트 카운터에 i를 더하고 변경 후 값을 반환합니다. 접미사가 없는 이 구현은 .aqrl AMO를 사용해 앞뒤 메모리 접근의 순서도 보장합니다.

위의 생성 매크로가 만든 arch_atomic_sub_return을 공통 atomic 계층에서 사용할 수 있다고 표시합니다. 같은 이름으로 치환되는 정의라 실행 코드를 추가하지 않습니다. 실제 함수는 32비트 카운터에 i를 빼고 변경 후 값을 반환합니다. 접미사가 없는 이 구현은 .aqrl AMO를 사용해 앞뒤 메모리 접근의 순서도 보장합니다.

위의 생성 매크로가 만든 arch_atomic_fetch_add_relaxed을 공통 atomic 계층에서 사용할 수 있다고 표시합니다. 같은 이름으로 치환되는 정의라 실행 코드를 추가하지 않습니다. 실제 함수는 32비트 카운터에 i를 더하고 변경 전 값을 반환합니다. relaxed형은 원자적 갱신만 요구하며 다른 메모리 접근과의 순서를 추가로 보장하지 않습니다.

위의 생성 매크로가 만든 arch_atomic_fetch_sub_relaxed을 공통 atomic 계층에서 사용할 수 있다고 표시합니다. 같은 이름으로 치환되는 정의라 실행 코드를 추가하지 않습니다. 실제 함수는 32비트 카운터에 i를 빼고 변경 전 값을 반환합니다. relaxed형은 원자적 갱신만 요구하며 다른 메모리 접근과의 순서를 추가로 보장하지 않습니다.

위의 생성 매크로가 만든 arch_atomic_fetch_add을 공통 atomic 계층에서 사용할 수 있다고 표시합니다. 같은 이름으로 치환되는 정의라 실행 코드를 추가하지 않습니다. 실제 함수는 32비트 카운터에 i를 더하고 변경 전 값을 반환합니다. 접미사가 없는 이 구현은 .aqrl AMO를 사용해 앞뒤 메모리 접근의 순서도 보장합니다.

위의 생성 매크로가 만든 arch_atomic_fetch_sub을 공통 atomic 계층에서 사용할 수 있다고 표시합니다. 같은 이름으로 치환되는 정의라 실행 코드를 추가하지 않습니다. 실제 함수는 32비트 카운터에 i를 빼고 변경 전 값을 반환합니다. 접미사가 없는 이 구현은 .aqrl AMO를 사용해 앞뒤 메모리 접근의 순서도 보장합니다.

64비트 원자 연산을 공통 구현에 맡기지 않는 경우에만 아키텍처의 atomic64 함수 이름들을 공개합니다. 공통 구현과 같은 이름의 64비트 연산이 중복 정의되지 않게 하는 선택입니다. 이 조건은 빌드 전처리 단계에서 포함할 코드를 선택하며 런타임 조건 분기가 아닙니다.

위의 생성 매크로가 만든 arch_atomic64_add_return_relaxed을 공통 atomic 계층에서 사용할 수 있다고 표시합니다. 같은 이름으로 치환되는 정의라 실행 코드를 추가하지 않습니다. 실제 함수는 64비트 카운터에 i를 더하고 변경 후 값을 반환합니다. relaxed형은 원자적 갱신만 요구하며 다른 메모리 접근과의 순서를 추가로 보장하지 않습니다.

위의 생성 매크로가 만든 arch_atomic64_sub_return_relaxed을 공통 atomic 계층에서 사용할 수 있다고 표시합니다. 같은 이름으로 치환되는 정의라 실행 코드를 추가하지 않습니다. 실제 함수는 64비트 카운터에 i를 빼고 변경 후 값을 반환합니다. relaxed형은 원자적 갱신만 요구하며 다른 메모리 접근과의 순서를 추가로 보장하지 않습니다.

위의 생성 매크로가 만든 arch_atomic64_add_return을 공통 atomic 계층에서 사용할 수 있다고 표시합니다. 같은 이름으로 치환되는 정의라 실행 코드를 추가하지 않습니다. 실제 함수는 64비트 카운터에 i를 더하고 변경 후 값을 반환합니다. 접미사가 없는 이 구현은 .aqrl AMO를 사용해 앞뒤 메모리 접근의 순서도 보장합니다.

위의 생성 매크로가 만든 arch_atomic64_sub_return을 공통 atomic 계층에서 사용할 수 있다고 표시합니다. 같은 이름으로 치환되는 정의라 실행 코드를 추가하지 않습니다. 실제 함수는 64비트 카운터에 i를 빼고 변경 후 값을 반환합니다. 접미사가 없는 이 구현은 .aqrl AMO를 사용해 앞뒤 메모리 접근의 순서도 보장합니다.

위의 생성 매크로가 만든 arch_atomic64_fetch_add_relaxed을 공통 atomic 계층에서 사용할 수 있다고 표시합니다. 같은 이름으로 치환되는 정의라 실행 코드를 추가하지 않습니다. 실제 함수는 64비트 카운터에 i를 더하고 변경 전 값을 반환합니다. relaxed형은 원자적 갱신만 요구하며 다른 메모리 접근과의 순서를 추가로 보장하지 않습니다.

위의 생성 매크로가 만든 arch_atomic64_fetch_sub_relaxed을 공통 atomic 계층에서 사용할 수 있다고 표시합니다. 같은 이름으로 치환되는 정의라 실행 코드를 추가하지 않습니다. 실제 함수는 64비트 카운터에 i를 빼고 변경 전 값을 반환합니다. relaxed형은 원자적 갱신만 요구하며 다른 메모리 접근과의 순서를 추가로 보장하지 않습니다.

위의 생성 매크로가 만든 arch_atomic64_fetch_add을 공통 atomic 계층에서 사용할 수 있다고 표시합니다. 같은 이름으로 치환되는 정의라 실행 코드를 추가하지 않습니다. 실제 함수는 64비트 카운터에 i를 더하고 변경 전 값을 반환합니다. 접미사가 없는 이 구현은 .aqrl AMO를 사용해 앞뒤 메모리 접근의 순서도 보장합니다.

위의 생성 매크로가 만든 arch_atomic64_fetch_sub을 공통 atomic 계층에서 사용할 수 있다고 표시합니다. 같은 이름으로 치환되는 정의라 실행 코드를 추가하지 않습니다. 실제 함수는 64비트 카운터에 i를 빼고 변경 전 값을 반환합니다. 접미사가 없는 이 구현은 .aqrl AMO를 사용해 앞뒤 메모리 접근의 순서도 보장합니다.

150행에서 시작한 선택 구간을 마칩니다. 64비트 원자 연산을 공통 구현에 맡기지 않는 경우에만 아키텍처의 atomic64 함수 이름들을 공개합니다. 공통 구현과 같은 이름의 64비트 연산이 중복 정의되지 않게 하는 선택입니다.

덧셈·뺄셈용 ATOMIC_OPS 매크로를 해제합니다. 아래에서 비트 연산에 필요한 다른 인자 목록으로 같은 이름을 다시 정의합니다.

64비트 원자 연산에 공통 구현을 쓰는 경우 아래 연산 생성 매크로는 32비트 함수만 만듭니다. 반대 분기는 doubleword AMO를 사용하는 64비트 함수까지 생성합니다. 이 조건은 빌드 전처리 단계에서 포함할 코드를 선택하며 런타임 조건 분기가 아닙니다.

이 지점에서는 논리 연산용으로 ATOMIC_OPS를 다시 정의합니다. CONFIG_GENERIC_ATOMIC64 구성이므로 and·or·xor의 32비트 fetch형만 만들고, 64비트 연산은 공통 구현에 맡깁니다. 앞의 산술용 틀과 달리 변경 후 값을 계산하는 OP_RETURN은 만들지 않습니다. 이 이름과 인자는 전처리 단계에 정의된 내용으로 치환됩니다. 매크로 정의 자체가 CPU 명령 실행은 아닙니다.

32비트 비트 연산용 fetch 함수들을 생성합니다. 비트 연산에는 갱신 후 값을 주는 별도 return 계열을 만들지 않으며 64비트는 GENERIC_ATOMIC64 경로에 맡깁니다.