Testing BPF on s390

IBM Z와 s390 BPF 테스트

`Testing BPF on s390` 문서는 1964년 IBM System/360의 후손인 IBM Z 메인프레임을 다룹니다. Linux 커널은 이 아키텍처를 `s390`이라는 이름으로 지원합니다.

이 문서는 s390 QEMU guest 안에서 BPF를 테스트하는 환경을 만드는 방법을 설명합니다.

교차 도구 체인과 디스크 이미지 준비

테스트 스위트를 빌드하고 실행하려면 다음 구성 요소가 필요합니다.

• s390 GCC
• s390 개발 헤더와 라이브러리
• BPF 지원 Clang
• s390 지원 QEMU
• s390 rootfs가 들어 있는 디스크 이미지

Debian은 s390 컴파일러와 라이브러리 설치를 기본으로 지원합니다. 다른 배포판 사용자는 `debootstrap`으로 Debian chroot를 만들 수 있습니다.

sudo debootstrap \
  --variant=minbase \
  --include=sudo \
  testing \
  ./s390-toolchain
sudo mount --rbind /dev ./s390-toolchain/dev
sudo mount --rbind /proc ./s390-toolchain/proc
sudo mount --rbind /sys ./s390-toolchain/sys
sudo chroot ./s390-toolchain

Debian 환경에 들어간 뒤 다음 명령으로 빌드 선행 패키지를 설치합니다. `sudo dpkg --add-architecture s390x`로 multiarch를 활성화하고 `gcc-s390x-linux-gnu`, `g++-s390x-linux-gnu`, QEMU, s390x 개발 라이브러리 등을 설치합니다.

sudo dpkg --add-architecture s390x
sudo apt-get update
sudo apt-get install \
  bc \
  bison \
  cmake \
  debootstrap \
  dwarves \
  flex \
  g++ \
  gcc \
  g++-s390x-linux-gnu \
  gcc-s390x-linux-gnu \
  gdb-multiarch \
  git \
  make \
  python3 \
  qemu-system-misc \
  qemu-utils \
  rsync \
  libcap-dev:s390x \
  libelf-dev:s390x \
  libncurses-dev

BPF를 대상으로 하는 최신 Clang은 LLVM 소스를 받아 `LLVM_TARGETS_TO_BUILD=BPF`로 구성한 뒤 `/opt/clang-bpf`에 설치할 수 있습니다.

git clone https://github.com/llvm/llvm-project.git
ln -s ../../clang llvm-project/llvm/tools/
mkdir llvm-project-build
cd llvm-project-build
cmake \
  -DLLVM_TARGETS_TO_BUILD=BPF \
  -DCMAKE_BUILD_TYPE=Release \
  -DCMAKE_INSTALL_PREFIX=/opt/clang-bpf \
  ../llvm-project/llvm
make
sudo make install
export PATH=/opt/clang-bpf/bin:$PATH

디스크 이미지는 loopback mount와 `debootstrap`으로 준비합니다. 1GiB raw 이미지를 만들고 ext4로 포맷한 뒤 `--foreign`, `--arch=s390x` 옵션으로 최소 rootfs를 설치합니다. `/dev/loopX`는 실제 할당된 loop 장치로 바꿔야 합니다.

qemu-img create -f raw ./s390.img 1G
sudo losetup -f ./s390.img
sudo mkfs.ext4 /dev/loopX
mkdir ./s390.rootfs
sudo mount /dev/loopX ./s390.rootfs
sudo debootstrap \
  --foreign \
  --arch=s390x \
  --variant=minbase \
  --include=" \
    iproute2, \
    iputils-ping, \
    isc-dhcp-client, \
    kmod, \
    libcap2, \
    libelf1, \
    netcat, \
    procps" \
  testing \
  ./s390.rootfs
sudo umount ./s390.rootfs
sudo losetup -d /dev/loopX

커널, 모듈과 BPF selftest 교차 빌드

일반적인 BPF 테스트 스위트 Kconfig 옵션에 더해 다음 옵션을 선택하면 9P/Virtio를 통해 s390 가상 머신과 파일을 쉽게 공유할 수 있습니다.

CONFIG_NET_9P=y
CONFIG_9P_FS=y
CONFIG_NET_9P_VIRTIO=y
CONFIG_VIRTIO_PCI=y

`CONFIG_NET_9P`, `CONFIG_9P_FS`, `CONFIG_NET_9P_VIRTIO`, `CONFIG_VIRTIO_PCI`를 활성화한 뒤 `ARCH=s390`과 `CROSS_COMPILE=s390x-linux-gnu-`를 지정해 커널 `bzImage`, 모듈과 `scripts_gdb`를 빌드합니다. 이어서 `TARGETS=bpf` selftest를 설치 디렉터리에 배치합니다.

make ARCH=s390 CROSS_COMPILE=s390x-linux-gnu- menuconfig
make ARCH=s390 CROSS_COMPILE=s390x-linux-gnu- bzImage modules scripts_gdb
make ARCH=s390 CROSS_COMPILE=s390x-linux-gnu- \
  -C tools/testing/selftests \
  TARGETS=bpf \
  INSTALL_PATH=$PWD/tools/testing/selftests/kselftest_install \
  install

QEMU 부팅과 테스트 실행

다음 명령은 두 CPU와 4GiB 메모리를 갖춘 `qemu-system-s390x` 가상 머신을 시작합니다. 커널은 `linux/arch/s390/boot/compressed/vmlinux`, 루트 디스크는 `s390.img`를 사용하며, `-virtfs`로 호스트의 Linux 소스 트리를 공유합니다. 네트워크, 난수 장치와 `-cpu max,zpci=on`도 구성합니다.

qemu-system-s390x \
  -cpu max,zpci=on \
  -smp 2 \
  -m 4G \
  -kernel linux/arch/s390/boot/compressed/vmlinux \
  -drive file=./s390.img,if=virtio,format=raw \
  -nographic \
  -append 'root=/dev/vda rw console=ttyS1' \
  -virtfs local,path=./linux,security_model=none,mount_tag=linux \
  -object rng-random,filename=/dev/urandom,id=rng0 \
  -device virtio-rng-ccw,rng=rng0 \
  -netdev user,id=net0 \
  -device virtio-net-ccw,netdev=net0

실제 IBM Z에서 사용할 때는 성능 향상을 위해 `-enable-kvm`을 추가할 수 있습니다. 가상 머신을 처음 시작한 뒤에는 다음 명령으로 디스크 이미지의 debootstrap 두 번째 단계를 마칩니다.

/debootstrap/debootstrap --second-stage

호스트에서 빌드한 코드 디렉터리는 `/linux`에 9P로 마운트하고 `/proc`과 `/sys`도 함께 마운트합니다.

mkdir -p /linux
mount -t 9p linux /linux
mount -t proc proc /proc
mount -t sysfs sys /sys

그런 다음 설치된 kselftest 전체를 실행합니다.

cd /linux/tools/testing/selftests/kselftest_install
./run_kselftest.sh

평소와 마찬가지로 `test_verifier` 같은 테스트를 개별 실행할 수도 있습니다.

cd /linux/tools/testing/selftests/bpf
./test_verifier

QEMU GDB stub 디버깅

QEMU에 `-s`를 전달해 QEMU GDB stub을 활성화하면 s390 커널을 디버깅할 수 있습니다.

gdb가 메모리에서 커널 이미지 위치를 정확히 찾도록 KASLR을 끄는 편이 좋습니다. 커널 빌드 설정에서 다음 값을 사용합니다.

RANDOMIZE_BASE=n

그 뒤 `gdb-multiarch`를 로컬 QEMU의 1234번 포트에 연결합니다.

gdb-multiarch -ex 'target remote localhost:1234' ./vmlinux

게스트 네트워크 설정

가상 머신에서 추가 패키지를 설치하는 등 네트워크가 필요하면 DHCP 클라이언트로 `eth0`을 구성합니다.

dhclient eth0

관련 문서

이 절차에 사용한 기법의 더 자세한 설명은 다음 자료에서 확인할 수 있습니다.

• Debootstrap: https://wiki.debian.org/EmDebian/CrossDebootstrap
• Multiarch: https://wiki.debian.org/Multiarch/HOWTO
• Building LLVM: https://llvm.org/docs/CMake.html
• Cross-compiling the kernel: https://wiki.gentoo.org/wiki/Embedded_Handbook/General/Cross-compiling_the_kernel
• QEMU s390x Guest Support: https://wiki.qemu.org/Documentation/Platforms/S390X
• Plan 9 folder sharing over Virtio: https://wiki.qemu.org/Documentation/9psetup
• Using GDB with QEMU: https://wiki.osdev.org/Kernel_Debugging#Use_GDB_with_QEMU