로컬 LLM으로 ComfyUI 자동화하기 - 프롬프트 생성부터 이미지 검수까지

소개

ComfyUI를 사용할 때 매번 프롬프트를 수동으로 입력하고 이미지를 생성하는 과정이 번거롭다고 느낀 적이 있나요? 이 영상에서는 로컬 LLM을 활용해 프롬프트를 자동으로 생성하고, 생성된 이미지를 검수하는 워크플로우를 구축하는 방법을 소개합니다.

ComfyUI 기본 LLM 템플릿 사용

ComfyUI에는 기본적으로 LLM 템플릿이 제공됩니다. 이 템플릿을 사용하면 자연어로 프롬프트를 입력하여 이미지를 생성할 수 있습니다. 예를 들어, “안녕”이라고 입력하면 LLM이 응답을 생성합니다.

경량 모델의 한계

ComfyUI의 기본 LLM 템플릿은 경량 모델로, 복잡한 프롬프트를 처리하는 데 한계가 있습니다. 이를 극복하기 위해 더 강력한 로컬 LLM을 사용하는 방법을 소개합니다.

Ollama와 LM Studio

로컬 LLM을 실행하기 위해 Ollama와 LM Studio라는 도구를 사용할 수 있습니다. Ollama는 로컬 모델을 쉽게 실행할 수 있는 프로그램이며, LM Studio는 더 다양한 모델을 지원합니다.

로컬 LLM 모델 연결

LM Studio를 사용하여 로컬 LLM 모델을 ComfyUI에 연결할 수 있습니다. 이를 통해 더 복잡한 프롬프트를 처리하고 이미지를 생성할 수 있습니다.

Deno LLM Loader

ComfyUI에서 로컬 LLM 모델을 사용하기 위해 Deno LLM Loader라는 노드를 사용할 수 있습니다. 이 노드를 사용하면 LM Studio에 연결하여 모델을 실행할 수 있습니다.

컨텍스트 윈도우와 VRAM 사용량

로컬 LLM 모델을 사용할 때 컨텍스트 윈도우의 크기에 따라 VRAM 사용량이 달라집니다. Flash Attention과 K/V Cache 설정을 통해 VRAM 사용량을 최적화할 수 있습니다.

Local LLM Reviewer

생성된 이미지를 검수하기 위해 Local LLM Reviewer라는 노드를 사용할 수 있습니다. 이 노드는 LLM 모델을 사용하여 이미지를 평가하고 합격/불합격 판정을 내립니다.

자동화 워크플로우 구축

로컬 LLM 모델과 Local LLM Reviewer를 사용하여 자동화 워크플로우를 구축할 수 있습니다. 이를 통해 프롬프트를 자동으로 생성하고 이미지를 검수하여 저장할 수 있습니다.

결론

로컬 LLM을 활용하여 ComfyUI에서 프롬프트를 자동으로 생성하고 이미지를 검수하는 워크플로우를 구축하는 방법을 소개했습니다. 이를 통해 이미지 생성 과정을 자동화하고 생산성을 향상시킬 수 있습니다.