89.74%의 모델과 시도 조건부터 확인합니다
Jie LEI의 AI 기반 FPGA 설계 사례를 정리한 원고는 모델명과 점수의 출처를 다시 확인하도록 지적합니다. Ravindran 등의 2025년 연구가 보고한 VerilogEval 73.72%→89.74%는 Claude Sonnet 4의 해당 실험입니다. Opus 4.6이나 모든 최신 모델의 성능으로 옮기지 않습니다.
연구의 baseline은 최대 다섯 독립 샘플 중 하나가 통과하면 성공인 pass@5이며, 피드백 방식은 시뮬레이션 결과를 이용한 최대 10회 반복입니다. 따라서 89.74%를 단일 생성 성공률로 읽지 않습니다. 여기서는 논문을 읽었으며 API 호출이나 해당 벤치마크 실행을 하지 않았습니다.
VerilogEval 공식 저장소는 명세에서 RTL을 생성하는 과제와 코드 완성 과제를 구분합니다. 하네스·과제·모델·prompt·샘플 수·피드백 조건을 고정하지 않은 점수끼리는 직접 비교하지 않습니다.
첫 문턱은 기능과 인터페이스 계약입니다
독립된 수학·고정소수점 기대값과 RTL 결과를 비교하고, reset, valid/ready, 프레임 경계, 포화·반올림을 별도 관측합니다. AI가 RTL과 참조를 함께 만들었다면 같은 가정을 공유할 수 있습니다. 외부 기준 벡터와 의도적으로 틀린 출력을 넣는 부정 대조로 검사기가 실패를 실제로 잡는지도 확인합니다.
단순 연산이 맞아도 handshake가 한 클록 어긋나면 값은 다른 입력의 결과일 수 있습니다. LDPC 클록 모델에서처럼 입력 ID와 결과가 대응하는지 추적합니다. 통과한 테스트 집합을 모든 입력의 증명으로 확대하지 않습니다.
둘째 문턱은 같은 조건의 물리 구현입니다
FFT 후보라면 변환 길이, 데이터·계수 폭, scaling, truncation/rounding, 입출력 순서와 처리율·지연을 먼저 맞춥니다. FPGA 세부 부품·speed grade, 도구 버전, 클록·I/O 제약이 다른 두 결과는 같은 실험이 아닙니다.
AMD Timing Summary 설명은 합성 후의 추정 지연과 실제 배선 정보 기반 지연을 구분하며, signoff에는 완전 라우팅 후 보고서를 쓰도록 합니다. routed WNS와 검사 범위·제약 누락, LUT·FF·DSP·BRAM의 개별 사용량을 같은 build ID로 묶습니다. 한 숫자의 MHz가 시스템 전체의 지속 처리율을 뜻하지는 않습니다.
DSP 감소율을 전체 자원 감소율로 바꾸지 않습니다
인계가 전한 FFT 사례의 DSP 52→28은 산술상 (52−28)/52 × 100 ≈ 46.2% 감소입니다. 이 계산은 두 숫자의 관계만 확인합니다. 원본 도표를 다시 열지 않았고 동일 조건의 전체 보고서를 확보하지 못했으므로 그 값들을 독립 구현 측정으로 제시하지 않습니다.
DSP가 줄어도 LUT·BRAM·지연·주파수가 어떻게 변했는지는 별개입니다. 8192=2×4⁶이라는 인수분해만으로 특정 mixed-radix 구현이 가장 좋은 설계라고 증명할 수도 없습니다. 비교 표에는 숫자뿐 아니라 같게 유지한 기능과 조건, 알 수 없는 항목을 함께 남깁니다.
셋째 문턱은 변경 후 다시 확인할 수 있는 기록입니다
명세·생성 RTL·수정 diff·테스트·기대 출력·seed·도구 버전·제약·구현 결과를 한 버전에 대응시킵니다. 모델이나 prompt를 바꿔 생성한 새 RTL은 이전 실행의 합격을 물려받지 않습니다. 기능 검사, 물리 구현, 보드 데이터 경로와의 통합을 다시 구분해 확인합니다.
이 글은 공개 연구와 공식 도구 문서를 대조한 설명입니다. 원저자 첨부 7장 전체를 직접 보았다고 주장하지 않으며 FFT 재현, 합성·배치배선 또는 보드 실행을 수행하지 않았습니다.
English summary. The cited 89.74% belongs to a Sonnet 4 feedback experiment, not a single-attempt Opus result. Functional benchmarks, routed implementation and reproducibility are separate checks. A DSP-only percentage is not an overall resource or performance result.