Stable Diffusion으로 AI 그림 그리기에 한참 재미를 붙였습니다.
AI 그림이 사실 뽑기죠. 원하는 텍스트에 맞춰서 조합한 이미지 뽑기.
같은 프롬프트에서 모델, VAE 바꿔보고,
모델, VAE는 고정시켜 놓고 프롬프트 하나씩 바꿔보고 그러고 있습니다.
그러던 중 단어 한 두개에 따라 그림의 요소가 바뀐다는 것을 알게 되었어요.
장소에 따라 의상이 달라집니다.
그림 먼저 보세요.
편의상 첫번째 6장을 A세트, 두번째 6장을 B세트라고 할게요.
A, B 세트의 차이가 보이시나요?
가장 두드러지는 차이는 배경의 장소가 다르다는 점입니다.
A 세트는 산, 숲으로 나오고, B 세트는 도시에 있는 공원이에요.
의상도 각 장소에 맞춰서 나왔어요.
A세트는 야외활동에 적합한 의상, B세트는 도심에 맞는 의상입니다.
이게 프롬프트에 있는 하이킹(hiking) 때문이에요.
기본 데이터는 이렇습니다.
사용한 모델
Elldreth's Dream Mix
https://civitai.com/models/1254/elldreths-dream-mix
프롬프트
(((best quality, masterpiece))),
park background,
1 young woman,
dynamic angle,
looking viewer,
floating hair,
jacket,
t-shirt,
long pants,
hiking,
(slim pelvis, slim thigh:1.4),
부정 프롬프트
(worst quality, low quality:1.4), nsfw, duplicate, bad anatomy, belly, text
Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 2772103517, Size: 512x512, Model hash: 54a192c581, Model: elldrethsDreamMix_v10
A, B 세트의 차이점은 어디서 왔는가...
프롬프트 중 hiking 사용에 따라 차이가 생깁니다.
A세트: hiking이 있습니다.
hiking은 야외에서 되고, 복장이 따로 있습니다. 그렇다 보니,
- 프롬프트 내용에 backpack 없어도 배낭을 매고 있는 그림이 포함됩니다. (B세트에 보이죠?)
- 의상도 하이킹에 맞춘 등산복 형태로 나옵니다.
- 배경이 산이나 숲으로 나와요.
B세트: hiking을 뺐어요.
- 배경이 도시에 있는 공원으로 바뀌고,
- 의상도 도시에 맞춰서 나왔어요.
이번 프롬프트 연구의 결론
이런 결론이 나왔습니다.
▶ hiking 같은 상황을 특정할 수 있는 단어가 들어가면 그 값을 가지고 있는 소스만 참고하여 그림을 조합한다. 따라서 이렇게 상황 혹은 공간이 특정되면 이에 따라 의상과 포즈가 결정된다. (원본에 쓰인 그림이나 사진이 그랬을 것이니까)
▶ 모델마다 데이터가 다를 것이니, 같은 프롬프터라도 모델마다 먹히는게 있고 아닌게 있다.
▶ 모델의 데이터가 많으면 많을수록 이런 현상은 없을 것이다. 대응할 수 있는 경우의 수가 많아지니까.
댓글