Stable Diffusion

Stable Diffusion 소개

Stable Diffusion은 Stability AI의 오픈 웨이트 텍스트 이미지 생성 모델 계열입니다. 텍스트 프롬프트로 이미지를 만들며, 폐쇄형 서비스와 달리 자신의 컴퓨터에 다운로드해 실행할 수 있고, 장당 요금이 없으며 프롬프트를 클라우드 서비스로 보낼 필요가 없습니다. 오픈 이미지 생성의 물결을 시작한 모델 계열로, 지금도 커뮤니티 도구, 미세 조정 모델, 튜토리얼 생태계가 가장 큽니다.

세대는 세 가지입니다. 2022년에 출시된 SD 1.5는 작고 빠르며 커뮤니티 확장 라이브러리가 가장 넓습니다. 2023년 7월의 SDXL 1.0은 1024×1024 픽셀 해상도로 네이티브 생성하며 손과 짧은 텍스트를 더 잘 표현합니다. 2024년 10월의 Stable Diffusion 3.5는 Large, Large Turbo, Medium 버전으로 제공되며 세 세대 중 품질과 프롬프트 준수도가 가장 좋습니다. 대부분 ComfyUI나 AUTOMATIC1111 WebUI 같은 무료 인터페이스로 실행하거나 Stability AI의 웹 앱과 API를 이용합니다.

주요 기능

• 텍스트 이미지 생성: 사실적인 인물 사진부터 애니메이션, 제품 사진, 건축 렌더링까지 어떤 스타일의 이미지든 프롬프트로 만들 수 있습니다.
• 이미지 이미지 변환: 기존 사진을 출발점으로 삼아 구도를 유지한 채 스타일이나 세부 요소를 바꿀 수 있습니다.
• 인페인팅과 아웃페인팅: 이미지 일부를 지우고 다시 그리거나 원래 경계를 넘어 캔버스를 확장할 수 있습니다.
• ControlNet: 자세, 깊이 맵, 윤곽선, 스케치로 생성을 유도해 우연이 아니라 사용자가 정한 구도를 따르게 합니다.
• LoRA 미세 조정: 소수의 이미지로 소형 어댑터를 학습시켜 특정 스타일, 캐릭터, 제품, 얼굴을 일관되게 재현합니다.
• 커뮤니티 체크포인트: Hugging Face와 CivitAI에 수천 개의 미세 조정 모델이 있으며 수채화부터 사이버펑크까지 다양한 스타일을 다룹니다.
• 업스케일과 디테일 강화: 전용 업스케일러 모델로 이미지를 확대하고 섬세한 디테일을 보완합니다.
• 완전한 로컬 제어: 자신의 GPU에서 오프라인으로 실행해 프롬프트와 이미지를 비공개로 유지하고 사용량 제한 없이 원하는 만큼 생성할 수 있습니다.
• 오픈 웨이트: 모델 파일을 다운로드할 수 있고 각 라이선스 하에 무료로 사용할 수 있어 구독이나 벤더 종속이 없습니다.

사용 방법

1. 하드웨어에 맞는 모델을 선택합니다. SDXL은 8GB VRAM의 소비자용 GPU에서 잘 동작합니다. SD 3.5 Medium은 약 10GB, SD 3.5 Large는 더 많은 메모리가 필요합니다.
2. ComfyUI나 AUTOMATIC1111 WebUI 같은 무료 인터페이스를 설치한 뒤 Hugging Face에서 체크포인트를 다운로드해 models 폴더에 넣습니다.
3. 주제, 스타일, 조명, 분위기를 설명하는 프롬프트를 작성하고 흐릿함이나 저품질 같은 피해야 할 내용을 네거티브 프롬프트에 추가합니다.
4. 여러 장을 한 번에 생성해 가장 좋은 결과를 고른 뒤 시드, 샘플러, 스텝 수를 바꿔 다듬습니다.
5. 정밀한 제어가 필요할 때는 ControlNet을 사용해 캐릭터 자세나 방의 깊이 맵으로 유도합니다.
6. 일관된 스타일이나 캐릭터가 필요할 때는 LoRA를 추가하고 인페인팅으로 손, 얼굴, 작은 결함을 수정합니다.
7. 상업적 이용 전에 사용하는 모델의 라이선스를 확인하고, 프롬프트와 설정을 저장해 좋은 결과를 재현할 수 있게 합니다.

요금과 라이선스

모델 자체는 무료로 다운로드해 로컬에서 실행할 수 있어 하드웨어만 갖추면 장당 비용이 들지 않습니다. 라이선스는 버전에 따라 다릅니다. SD 1.5는 CreativeML OpenRAIL-M, SDXL은 OpenRAIL++-M, SD 3.5는 Stability AI 커뮤니티 라이선스로, 연구 용도와 연 매출 100만 달러 미만의 상업적 이용은 무료이며 그 이상은 엔터프라이즈 계약이 필요합니다. Stability AI는 로컬 GPU를 쓰고 싶지 않은 사용자를 위해 유료 호스팅과 API도 제공합니다.

장점

• 한 번 설정하면 무료이고 무제한입니다. 구독도, 장당 요금도, 일일 상한도 없습니다.
• 완전한 프라이버시와 제어: 모든 작업이 자신의 컴퓨터에서 이루어지며 원하는 체크포인트, LoRA, 확장 기능을 설치할 수 있습니다.
• 오픈 이미지 생성 분야에서 가장 깊은 생태계로, 수년간의 튜토리얼, 확장 기능, 커뮤니티 모델이 쌓여 있습니다.
• 재현 가능한 결과: 시드, 샘플러, 설정을 이용하면 좋은 이미지를 정확히 다시 만들 수 있습니다.
• ControlNet과 LoRA로 폐쇄형 도구에서는 좀처럼 얻기 어려운 정밀하고 반복 가능한 제어가 가능합니다.

단점

• 설정에 실제 노력이 듭니다. 소프트웨어 설치, 모델 찾기, 설정 조정은 초보자에게 친절하지 않습니다.
• 성능 좋은 GPU가 필요합니다. 내장 그래픽이나 성능이 낮은 카드에서는 느리거나 사용할 수 없으며, 가장 큰 모델은 12GB 이상의 VRAM을 요구합니다.
• 품질이 체크포인트와 프롬프트에 크게 좌우되며, 기본 상태에서는 최고의 폐쇄형 생성기만큼 세련되지 않습니다.
• 프롬프트 준수와 이미지 안 텍스트의 가독성이 최신 폐쇄형 모델에 뒤처집니다.
• 라이선스 조건이 버전마다 달라 상업적 이용자는 사용하는 모델의 라이선스를 반드시 읽어야 합니다.