AI는 왜 손가락을 6개씩 그렸을까? GPT는 확실히 문과 체질? - AI가 손가락 6개, 팔 3개를 그리던 이유와 요즘 달라진 이유에 대한 이야기

AI로 그림을 그리면 왜 손가락이 6개가 되고 팔이 세 개씩 생길까.

디퓨전 AI가 손을 못 그리던 이유부터,

2025년 GPT가 그림 그리는 방식을 바꾸며 손이 멀쩡해진 변화까지 정리해 보았다.

(이 글은 2026년 6월 말 기준입니다.)

---

자세히 보면.. 하나가 더 있다. (이 그림도 물론 AI가 그렸다 ㅎㅎ)

 

나는 이 블로그에 들어가는 그림을 그릴 때는 거의 다 GPT로 그린다. (딱히 GPT 광고를 하려는 건 아니지만, 내가 직접 일러스트를 그리거나 외주 맡기는 것보다 훨씬 저렴하고 효율적인건 사실이다. 저작권 문제도 없고 말이지.) 그런데 언젠가부터 묘한 습관이 하나 생겼다. 생성된 그림을 받으면, 그리고 그 그림에 사람이 포함되어 있으면, 내용보다 먼저 '손'부터 센다.

 

왜냐고? 자꾸 이상하게 나오니까. 손가락이 여섯 개고, 어떤 날은 멀쩡한 사람 등 뒤로 팔이 하나 더 자라나 있고, 또 어떤 날은 상반신과 하반신이 서로 반대 방향을 보고 있다.. 그럴 때마다 '아 또 시작이네' 하면서 다시 뽑는다.

 

손가락 다섯 개를 확인하는 이 의식이, 어느새 그림 받을 때마다의 루틴이 됐다

 

얼마 전 어항 글을 쓸 때는 아주 압권이었다. 열대어를 그려달라고 했더니, 몸 앞쪽에도 뒤쪽에도 꼬리지느러미가 떡하니 달린, 듣도 보도 못한 신종 물고기를 그려주는게 아닌가. ㅎㅎ 비단 물고기뿐이 아니다. 과학 지식과 관련된 글을 쓸 때, 그래도 '과학적으로 어느정도는 정확하게' 보여줘야 하는 일러스트만 맡기면 어쩐지 늘 어딘가가 어설펐다.

 

담수냐 해수냐, 무엇을 키울 것인가. 초보가 어항부터 덜컥 사면 안 되는 이유 - 어종과 어항 선

 

 

그래서 나는 한참 전부터 혼자 결론을 내려두고 있었다. '아 GPT 너.. 확실히 문과 체질이구나.' 글은 그럴듯하게 쓰고 분위기도 기가 막히게 잡으면서, 정작 구조가 딱딱 맞아떨어져야 하는 그림 앞에선 자신 없어 하는, 딱 그래 보였다.

 

그런데 어느 날 문득 궁금해졌다. 그 많은 것 중에 왜 하필 특히나 말썽이었던 부위가 '손'과 '손가락'이었을까? 그리고.. 요즘은 또 왜 슬그머니 멀쩡해진 걸까?

 

대충 그려서? 데이터가 없어서?

처음엔 단순하게 생각했다. '뭐 대충 그리니까 그렇겠지. 아니면 사람 손 사진을 덜 봐서 그런가?' 결론부터 말하면 이건 반은 맞고 반은 틀리다. 데이터 이야기는 진짜 이유의 절반쯤만 설명해 준다. 나머지 절반은 좀 더 근본적인 데 있었다.

 

AI가 만든, 몸통 앞뒤에 꼬리지느러미가 동시에 같이 달린 신종 물고기. ㅋㅋ

 

마찬가지로 AI가 만든, 팔이 세 개 달린 사람. 조금 편할것 같아 보이기도 한다? ㅋㅋㅋㅋ

 

먼저 손이라는 녀석부터가 난이도 최상이다. 생각해 보면 손은 관절이 많고, 쥐고 펴고 겹치고 가리키고.. 취할 수 있는 모양이 거의 무한대다. 게다가 손가락끼리 서로 가려서(이걸 자기가림, self-occlusion이라고 한다는 것 같다) 사진마다 보이는 모습이 천차만별이다. 사람 얼굴이야 늘 두 눈 코 입이 정직하게 정면을 보지만, 손은 그렇지가 않다.

 

여기에 데이터 문제가 겹친다. AI가 학습한 어마어마한 사진들 속에서, 손은 얼굴만큼 또렷하게, 정면으로, 쫙 펼쳐진 채 찍히는 일이 드물다. 한 분석에 따르면 대형 공개 데이터셋(LAION이라는 데이터셋이다)에서 손을 제대로 설명해 둔 캡션이 0.7%도 안 됐고, 손이 들어간 이미지의 60% 넘게는 손에 대한 설명이 아예 없었다고 한다(스탠퍼드?.. 2023년 분석이라고 한다). 모델 입장에선, 말하자면 손을 제대로 배운 적이 별로 없었던 셈이다.

 

진짜 문제는 '그리는 방식'이었다

그런데 데이터만 탓할 건 아니었다. 더 근본적인 건 AI가 그림을 '그리는 방식' 그 자체였다.

 

쥐고 펴고 겹치고.. 손은 모양이 거의 무한대다. 그러니 배우기도 그릴 줄 알기도 어렵다. 이 그림도, 손이 어떻게 망가져 그려지는지 보라. ㅋㅋㅋㅋ

 

당시 대부분의 AI 그림은 '디퓨전(diffusion) 모델'이라는 방식으로 만들어졌다. 아주 거칠게 설명하면 이렇다. 처음엔 화면을 옛날 TV 모래폭풍 같은 노이즈로 가득 채워놓는다.(갑자기 우주배경복사에 대한 이야기로 또 새버리고 싶은 마음이 막 뭉게뭉게 피어오르는걸?!) 그리고 거기서 노이즈를 조금씩 걷어내면서 '이쯤이면 그림이 되겠지' 하고 점점 또렷한 그림으로 복원해 나간다. (안테나 신호 약할 때 지직거리다가 화면이 잡히는 거랑 비슷하달까.. 이게 비유가 맞나 모르겠다 ㅎㅎ)

 

노이즈를 조금씩 걷어내며 그림을 복원하는 디퓨전 방식. 신호 약한 TV가 화면을 잡아가는 것과 비슷하다..고 해야 할까?

 

핵심은 이거다. 이 친구는 '손은 손목에서 손바닥이 나오고, 거기서 손가락이 다섯 개 뻗는다'는 구조, 그러니까 해부학을 이해하고 그리는 게 아니다. 그냥 수많은 그림을 보면서 '대충 이런 픽셀 다음엔 이런 픽셀이 오더라'는 통계적인 패턴만 익혔을 뿐이다. 어떤 표현을 빌리면, 디퓨전은 강력한 '통계적 합성기'이지 '기하학적으로 따져보는 추론기'는 아니라고 한다.

 

그러니 손가락처럼 '개수가 딱 정해져 있고 구조가 엄격한' 대상에서 자꾸 사고가 난다. 그럴듯한 손가락 모양을 통계적으로 이어 붙이다 보면, 다섯 개에서 멈춰야 할 '이유'를 모르는 채로 여섯 개, 일곱 개까지 슬쩍 새어 나가는 거다. 멈출 줄을 모르는 거지.

 

다섯에서 멈출 '이유'를 모르니, 그럴듯한 손가락이 계속 이어진다. 멈춤 버튼이 없는 셈.

 

여기서 내 '문과 체질' 가설이 묘하게 맞아떨어지는 느낌이었다. 스타일이나 분위기, 말맛 같은 건 무수한 예시에서 통째로 빨아들여 기막히게 흉내 내는데, 손가락 개수나 물고기 지느러미 위치처럼 '구조와 규칙'이 핵심인 건 약하다. 내 어항 관련 글에 넣을 이미지에서 열대어가 꼬리지느러미를 앞뒤로 두 개씩 달고 나온 것도 결국 같은 이유였을 거다. '물고기는 대충 이렇게 생겼다'는 분위기는 아는데, '지느러미가 어디에 몇 개 달린다'라는 구조는 모르는 거니까. 말하자면.. AI는 그림을 '그린다'기보다, 그림처럼 보이는 걸 '지어낸다'? '상을 떠 낸다'?..에 더 가까운지도 모르겠다.

 

그런데 요즘은 왜 멀쩡해졌나

자, 그럼 요즘은 왜 손가락이 다시 멀쩡해졌을까. 이게 나도 제일 궁금했던 부분이다. 몇 가지가 동시에 겹친 것 같다.

 

 

첫째, 모델이 커지고 데이터가 좋아졌다. 손만 따로 떼어 집중 훈련시키는 방법들도 나왔고, 모델 자체의 덩치(파라미터)도 훨씬 커졌다. 2023년 3월 미드저니 V5가 '처음으로 손가락 다섯 개를 꾸준히 그려낸 모델'로 화제가 됐다고 하는데, 대략 그쯤이 하나의 분기점이었던 모양이다.

 

둘째, 이게 내 AI '문과 체질' 가설의 진짜 반전인데, GPT는 아예 그림 그리는 '방식'을 통째로 갈아엎었다. 2025년 3월, OpenAI가 ChatGPT의 그림 담당을 기존 디퓨전 모델(DALL·E 3)에서 'GPT가 직접 그리는' 네이티브 방식으로 바꿨다. 새 방식은 오토리그레시브(autoregressive)라고 부르는데, 그림을 작은 조각(토큰)으로 잘게 쪼갠 다음, 마치 '글자를 한 글자씩 써 내려가듯' 앞 조각을 보고 다음 조각을 예측하며 순서대로 그려나간다고 한다.

 

그림을 조각으로 쪼개 한 칸씩, 글 쓰듯 그려나가는 방식. 다음 단어, 다음 문장을 잘 써 내려가던 문과 체질 AI가 이 글재주로 이번에는 그림을 그리기 시작한 셈이다.

 

그러니까.. 내가 'GPT 너는 문과 체질이야'라고 그렇게 놀렸더니, OpenAI가 '그래? 그럼 아예 글 쓰듯이 그려보든가' 하고 글 대신 그림을 '써 내려가면서' 그림을 만들어 버린 셈이라고 해야 할까. 앞의 맥락을 따라가며 그리니까(손가락 네 개 그렸으면 이제 하나 남았네, 하는 식으로) 지시도 더 잘 따르고, 그림 속 글자도 또렷하게 쓰고, 전체적인 구조도 한결 안정됐다고 한다. 문과 체질이 글 쓰는 재주로 그림 그리는 일을 해내기 시작한 거라고 할 수 있을 것 같다.

 

그래서, 손은, 정복됐을까

손은 어느새 멀쩡해졌는데, 물고기는 여전히.. 다음 약점은 또 어디서 튀어나올까.

 

그럼 이제 다 해결된 거냐. 그건 또 아니다. 2025년 말 기준으로도 손은 '예전보단 훨씬 낫지만, 완전히 끝난 건 아닌' 어정쩡한 상태라고 한다. 손이 여러 개 얽힌 복잡한 장면, 그리고.. 내가 늘 아쉬워하는 '과학적으로 정확해야 하는 도식' 같은 건 지금도 종종 어설프다. 당장 위의 손 잔뜩 그려놓은 그림과 열대어 지느러미, 팔 세개가 그 살아있는 증거 아닌가. 글 쓰는 지금 이 순간에도 현재진행형이라는 게 좀 함정이다.

 

그래서 나는 요즘도 그림을 받으면 손부터 센다. 손가락이 다섯 개인 걸 확인하고 안심하다가도, 문득 좀 무서운 생각이 든다. 예전엔 손가락이 여섯 개라 한눈에 '어, 틀렸네' 하고 잡아냈는데.. 이제 손은 멀쩡하니까, 나머지 틀린 곳은 내가 미처 못 알아채고 그냥 올리고 있는 건 아닐까?

 

AI가 손을 정복했다기보다, 어쩌면 우리가 틀린 곳을 못 찾게 된 건 아닐까 싶기도 하고. 다음 약점은 발가락일까, 팔 일까..

 

뭐, 아무튼 그래서 오늘도 나는 사람이 포함된 생성 이미지에서는 일단 손가락부터 센다.

---

글 닫기 전에..

AI 그림은 왜 손가락이 자꾸 많아질까?

손의 '구조'를 이해하고 그리는 게 아니라, 통계적으로 그럴듯한 손가락 모양을 이어 붙이기 때문이다. 그러다 보니 다섯 개에서 멈출 이유를 모른 채 여섯 개, 일곱 개로 새는 거다. 멈춤 버튼이 없는 셈.

 

요즘 AI도 손 못 그리나?

예전보단 훨씬 나아졌다. 다만 100%는 아니다. 손 하나 정도는 이제 곧잘 그리는데, 여러 손이 얽히거나 정확한 구조가 필요한 그림(예: 정확한 해부도, 열대어..이게 어렵나?..)에선 아직 삐끗한다.

 

왜 하필 손만 그렇게 못 그렸나?

손이 워낙 복잡해서다. 관절 많고, 포즈 무한하고, 서로 가려서 사진마다 모습이 제각각인 데다, 학습 데이터에 '제대로 펼쳐진 손'이 의외로 드물었다고 한다. 얼굴은 늘 정면을 보지만 손은 안 그러니까.

 

AI한테 손 좀 잘 그리게 하려면?

손 동작을 두루뭉술하게 두지 말고 구체적으로 지정하거나('두 손을 가지런히 모은' 식으로), 손이 화면에서 너무 작지 않게 잡거나, 후보를 여러 장 뽑아서 멀쩡한 걸 고르는.. 뭐 그런 잔기술이 있다고는 한다. 근데 솔직히 나는 아직도 그냥 속 편하게 다시 뽑는다.