자전거 탄 펠리컨 벤치마크 완벽 정리 2026: LLM 실력을 재는 밈이 된 이유

새 LLM이 공개되면 개발자들이 가장 먼저 시키는 일이 있습니다. “자전거 탄 펠리컨을 SVG로 그려줘.” 공식 벤치마크 표가 나오기도 전에 타임라인에는 삐뚤빼뚤한 새 그림이 먼저 올라옵니다. 농담처럼 보이지만, 이 테스트는 2025년부터 2026년 현재까지 신모델 출시마다 빠지지 않고 반복되는 사실상의 통과의례가 됐습니다.

펠리컨 벤치마크란 무엇인가

엔지니어 사이먼 윌리슨(Simon Willison) 이 제안한 테스트입니다. 간혹 다른 개발자의 아이디어로 알려지기도 하지만, 공개된 자료가 일관되게 가리키는 제안자는 윌리슨입니다. 그의 블로그에는 `pelican-riding-a-bicycle`이라는 전용 태그가 따로 있고, 모델이 나올 때마다 결과 글이 쌓입니다.

왜 이미지가 아니라 SVG인가

핵심은 대상이 이미지 생성 모델이 아니라 텍스트 생성 모델이라는 점입니다. 미드저니처럼 그림을 그리는 모델이 아니라, GPT·클로드·제미나이 같은 언어 모델에게 “코드로 형태를 서술하라”고 요구합니다. 그래서 결과물은 그림 실력이 아니라 공간 추론 + 코드 생성 + 지시 준수가 한꺼번에 섞인 출력이 됩니다. 게다가 브라우저에 붙여넣기만 하면 바로 보이니, 채점자가 필요 없습니다.

2025년 6월, 처음 공개된 채점표

디지털투데이와 제민일보가 2025년 6월 10일 보도한 내용(미국 샌프란시스코 AI 엔지니어 월드 페어에서 공개된 윌리슨의 분석, 온라인 매체 기가진 전언)에 따르면 모델별 결과는 이렇게 갈렸습니다.

모델	결과 평가
아마존 노바 마이크로/라이트/프로	무엇을 그린 건지 알아보기 어려운 수준
메타 라마 3.3 70B	자전거도 펠리컨도 아닌 형태 (라마 3.1 405B와 큰 차이)
GPT-4.1 미니 / 나노	다소 불안정한 형태의 자전거
딥시크-R1	펠리컨 묘사 향상, 자전거도 한눈에 인식 가능
클로드 3.7 소넷	펠리컨·자전거 모양 모두 가장 높은 정확도
제미나이 2.5 프로 프리뷰-05-06	“흠잡을 곳 없는 완벽한 펠리컨”

흥미로운 건 파라미터 수가 많다고 이기는 게 아니라는 점입니다. 라마 3.3 70B는 405B와 동일한 성능을 훨씬 낮은 비용에 낸다는 평가로 주목받은 모델이었지만, 펠리컨 테스트에서는 405B와 상당한 차이를 보였습니다.

웹데브 아레나 순위와 겹쳐 보기

펠리컨 테스트 1위였던 제미나이 2.5 프로 프리뷰-05-06는, 앞서 웹개발 평가기관 웹데브 아레나에서 시각적 완성도와 기능성 평가 1499.95점으로 전체 1위를 기록한 모델입니다. 보도에 따르면 이는 클로드 3.7 소넷보다 약 17% 높은 점수입니다.

클로드 3.7 소넷 값(1282점)은 보도된 “약 17% 높다”를 역산한 추정치입니다. 공식 리더보드 수치는 별도 확인이 필요합니다.

두 지표가 같은 순서로 정렬됐다는 건 흥미롭지만, 표본이 한 쌍뿐이라 상관관계를 단정할 수는 없습니다.

이게 왜 밈이 됐나 — 3가지 이유

1. 학습 데이터에 있을 리 없는 조합

펠리컨은 자전거를 타지 않습니다. 그래서 모델은 “본 적 있는 그림”을 복사할 수 없고, 부리가 긴 새의 몸통과 두 바퀴 프레임을 직접 조합해야 합니다.

2. 결과가 0.5초 만에 읽힌다

SWE-bench 몇 퍼센트라는 숫자는 감이 안 오지만, 자전거 위에 새가 앉아 있는지 아닌지는 누구나 즉시 판정합니다.

3. 비용이 거의 0

프롬프트 한 줄이면 끝나고, 사용자가 직접 재현할 수 있습니다.

2026년에도 계속되고 있다

윌리슨의 블로그를 보면 이 습관은 지금도 유지됩니다. 2026년 4월 8일 메타가 공개한 뮤즈 스파크(Muse Spark) — 라마 4 이후 약 1년 만의 모델 릴리스이자 오픈 웨이트가 아닌 호스팅 모델 — 글에도, 4월 23일 OpenAI Codex를 통해 공개된 GPT-5.5 글에도 `pelican-riding-a-bicycle` 태그가 붙어 있습니다. 구글 딥마인드가 2B·4B·31B와 26B-A4B MoE 구성으로 내놓은 Apache 2.0 라이선스 모델 젬마 4처럼, 작지만 똑똑한 오픈 모델이 쏟아지는 흐름도 같은 태그 아래에서 관찰되고 있습니다.

국내에서도 OKKY에 “Kimi K3, 그리고 펠리컨 벤치마크에서 여전히 배울 수 있는 것”이라는 칼럼이 올라오는 등 논의가 이어지고 있습니다. 오픈소스 대형 모델의 흐름이 궁금하다면 공짜로 GPT급 코딩 AI? 중국 Kimi K3의 실체 — 2.8조 파라미터 오픈소스를, 중국·오픈 진영의 맞대응 구도는 알리바바 Qwen 3.8-Max, 2.4조 파라미터 멀티모달 프리뷰를 참고하세요.

한계도 분명하다

– 주관적입니다. “완벽한 펠리컨”의 기준은 사람마다 다르고, 점수화된 리더보드가 아닙니다.
– 널리 알려질수록 무뎌집니다. 프롬프트가 유명해지면 이후 학습 데이터에 포함될 가능성이 있고, 그러면 변별력이 떨어질 것으로 보입니다. 다만 이는 구조상의 추론이며, 실제 오염 여부를 확인한 공개 검증 결과는 별도로 찾아봐야 합니다.
– 한 가지 능력만 봅니다. 장문 요약, 도구 호출, 에이전트 실행 능력은 이 테스트로 전혀 알 수 없습니다.

결론은 이렇습니다. 펠리컨 벤치마크는 공식 벤치마크를 대체하는 게 아니라, 공식 벤치마크가 놓치는 “감(感)”을 5초 만에 확인시켜주는 보조 도구입니다.

직접 해보는 3단계

1. 텍스트 모델(이미지 모델 아님)에 “자전거를 탄 펠리컨을 SVG로 그려줘”를 입력합니다.
2. 출력된 `
3. 같은 프롬프트를 2~3개 모델에 돌려 나란히 비교합니다. 한 번의 출력은 운일 수 있으니 최소 3회는 반복하세요.

참고 자료

– Simon Willison on llm-reasoning
– AI 모델로 ‘자전거 탄 펠리컨’ 그렸더니…승자는 클로드·제미나이 (디지털투데이)
– ‘자전거 탄 펠리컨’ 그리기 테스트에서 승리한 모델 (제민일보)
– Kimi K3, 그리고 펠리컨 벤치마크에서 여전히 배울 수 있는 것 (OKKY)