AI 숏폼에서 캐릭터 얼굴이 매 컷 바뀔 때 — 일관성 잡는 3가지 원칙

브랜드 마스코트로 릴스를 만들어 보려고 이미지 여덟 장을 뽑으면, 대개 여덟 마리가 나옵니다. 귀 모양이 조금씩 다르고, 몸 색의 채도가 컷마다 튀고, 눈 사이 간격이 미묘하게 달라집니다. 한 장씩 볼 때는 다 괜찮아 보이는데 순서대로 이어 붙이는 순간 문제가 드러납니다. 시청자는 “그림이 좀 어색하다”가 아니라 **“컷마다 다른 애가 나온다”**로 인식합니다.

일반 소재 영상이면 넘어갈 수도 있습니다. 그런데 캐릭터가 브랜드 자산인 경우에는 얘기가 달라집니다. 마스코트는 사실상 로고와 같은 역할을 하기 때문에, 매 컷 생김새가 흔들리면 영상의 완성도가 아니라 브랜드의 신뢰도가 깎입니다. 그래서 AI 숏폼에서 실제로 어려운 부분은 “예쁜 이미지 한 장 뽑기”가 아니라 같은 캐릭터를 다섯 장면 내내 유지하기입니다.

이 글은 그 일관성 문제만 떼어내서 정리한 것입니다. 근거는 데키랩 채널의 AI 동물 릴스 워크플로우 영상(조회 18.8만, 해당 채널 최다 조회 영상)에서 공개한 11단계 파이프라인이고, 여기에 인페인팅처럼 널리 알려진 개념 설명을 덧붙였습니다. 먼저 밝혀 둘 것이 있습니다. 저희가 유료 플랜을 결제해 이 파이프라인으로 시리즈를 장기간 양산해 본 결과는 아닙니다. 아래 점수는 공개된 워크플로우와 각 도구의 공식 사양을 정리한 기준이며, 도구 버전과 요금제는 확인 시점에 따라 달라질 수 있습니다.

일관성은 네 지점에서 깨진다

“AI가 캐릭터를 못 지킨다”는 말은 너무 뭉뚱그린 표현입니다. 실제로는 깨지는 구간이 정해져 있고, 구간마다 대응 방법이 다릅니다.

단계	깨지는 증상	대응
1. 캐릭터 원본 생성	기본형 자체가 애매해서 이후 전부 흔들림	만족할 때까지 반복 생성, 원본 1장을 기준 자산으로 확정
2. 장면 확장	컷마다 다른 개체가 등장	리믹스로 원본 스타일 상속
3. 국소 오류	간판·달력 글자가 깨짐, 소품만 이상함	브러시로 해당 부위만 지정해 재생성(인페인팅)
4. 영상화	이미지와 다른 얼굴로 움직임	영상 프롬프트에서 외형을 빼고 행동만 기술

여기서 핵심은 2~4번입니다. 이 세 가지가 도구를 바꿔도 그대로 통하는 범용 원칙입니다.

원칙 1 — 리믹스로 스타일을 상속시킨다

새 장면이 필요할 때 프롬프트만 바꿔 처음부터 다시 생성하면, 매번 새 캐릭터가 나옵니다. 대신 확정한 캐릭터 이미지를 연 상태에서 리믹스(Remix)를 걸어 장면을 바꾸면 원본의 스타일과 형태를 상속한 새 컷이 나옵니다. 참조 이미지 방식과 취지는 같지만, 작업 동선이 “원본에서 뻗어 나간다”는 점이 중요합니다. 원본을 고정점으로 두면 다섯 번째 컷도 첫 번째 컷을 기준으로 삼게 됩니다.

리믹스를 쓰기 전에 스토리를 먼저 설계해야 합니다. 원칙은 1장면 = 1이미지이고, 기준은 “그 한 장만 봐도 상황이 읽히는가”입니다. 예를 들어 기상 → 다이빙 → 사냥 → 요리 → 파티처럼 장면만 나열해도 서사가 되는 흐름을 먼저 잡고, 그다음 각 장면을 리믹스로 찍어냅니다.

캐릭터 원본을 만들 때는 한국어로 묘사한 뒤 영어 프롬프트로 바꿔 받는 방식이 편합니다.

아래 캐릭터를 이미지 생성용 영어 프롬프트로 바꿔줘.
- 종류/체형:
- 색과 질감:
- 표정과 성격:
- 화풍(예: 3D 렌더, 파스텔 톤):
- 카메라: 정면 상반신, 배경은 단색
조건: 한 문단, 쉼표로 구분, 고유명사·브랜드명 없이.

Sora 기준으로는 비율을 2:3(세로)으로 두고 Image 모드에서 캐릭터를 뽑습니다. 릴스·쇼츠는 결국 세로 프레임이므로 처음부터 세로로 만드는 편이 나중에 크롭으로 캐릭터가 잘리는 사고를 막아 줍니다.

작업 중 가장 지키기 어려운 규칙은 이것입니다.

매 장면마다 원본과 나란히 놓고 비교하고, 일관성이 깨졌으면 같은 프롬프트로 다시 생성한다.

프롬프트를 고쳐 가며 붙잡으려 하면 오히려 캐릭터가 더 멀어집니다. 결과가 나쁠 때 손대야 할 것은 프롬프트가 아니라 시도 횟수인 경우가 많습니다. 컷 하나를 억지로 통과시키면 그 컷이 다음 리믹스의 기준이 되면서 오차가 누적됩니다.

원칙 2 — 틀어진 부분만 브러시로 고친다

컷 전체는 완벽한데 벽에 걸린 달력 글자만 뭉개져 있는 경우가 자주 생깁니다. 이때 전체를 다시 생성하면 글자는 고쳐질지 몰라도 캐릭터가 또 바뀝니다. 고친 것보다 잃은 게 커집니다.

해결은 리믹스 → 브러시로 수정할 부위만 칠하기 → 그 부분에 들어갈 텍스트나 대상을 다시 명시하는 순서입니다. 이미지 생성 도구 일반에서 인페인팅이라고 부르는 방식이고, 이 파이프라인에서는 주로 텍스트 깨짐을 잡는 데 씁니다.

이 원칙을 한 문장으로 줄이면 이렇습니다. 재생성 범위를 최소로 유지할수록 캐릭터가 오래 버팁니다. 소품을 추가하거나, 달력·시계처럼 서사를 보조하는 컷을 끼워 넣거나, 구도가 밋밋할 때 고프로 앵글 같은 시점 변화를 주는 것도 전부 원본을 버리지 않은 채로 하는 편이 안전합니다.

원칙 3 — 영상 프롬프트에서 외형을 빼라

가장 자주 하는 실수가 이미지-투-비디오 단계에서 나옵니다. 이미지를 올려놓고 프롬프트에 캐릭터 외형을 다시 적는 것입니다. 그러면 모델은 이미지와 텍스트라는 두 개의 지시를 동시에 받고, 그 사이에서 얼굴을 재해석합니다.

외형과 배경은 업로드한 이미지가 이미 책임지고 있습니다. 프롬프트는 피사체의 행동만 담당해야 합니다.

[나쁜 예]
주황색 털의 통통한 고양이가 파란 앞치마를 입고 주방에서 요리를 한다,
3D 렌더, 파스텔 톤, 따뜻한 조명

[좋은 예]
팬을 두 손으로 들고 가볍게 흔든 뒤 고개를 들어 정면을 본다.
카메라는 천천히 앞으로 다가간다.

같은 논리로, 스타일 키워드(“3D 렌더”, “시네마틱”)도 영상 프롬프트에서는 빼는 편이 낫습니다. 그 정보는 이미 이미지 픽셀 안에 들어 있습니다.

전체 흐름 요약

단계	도구	핵심 설정
프롬프트 작성	ChatGPT	한국어 묘사 → 영어 프롬프트 변환
캐릭터 생성	Sora	비율 2:3, Image 모드, 만족할 때까지 반복
장면 5컷	Sora 리믹스	1장면 1이미지, 매번 원본과 비교
오류 수정	Sora 리믹스 + 브러시	부위 지정 후 텍스트 재언급
영상화	Kling 이미지 투 비디오	이미지 업로드 후 행동만 프롬프트, 클립 약 5초
편집	필모라 등	9:16 프로젝트, 순서 배치, 디졸브 트랜지션
업로드	인스타·유튜브	편집에서 음악을 빼고 플랫폼에서 음악 추가

두 가지만 덧붙입니다. 첫째, 음악은 편집 단계에서 넣지 않는 편이 좋습니다. 릴스와 쇼츠는 플랫폼에서 음원을 붙일 때 추천 노출 측면에서 유리한 구조이고, 영상에 음악을 구워 넣으면 그 경로를 스스로 막게 됩니다. 둘째, 장면과 장면을 자연스럽게 잇고 싶다면 스타트 프레임과 엔드 프레임을 지정하는 기능을 쓰게 되는데, 원 출처 기준으로 이 기능은 유료 전용이었습니다. 도구 버전 표기(예: Kling 모델 2.x)는 갱신이 잦으므로, 실제 화면에서 최신 모델을 고르시면 됩니다.

브랜드 마스코트에 그대로 붙이는 법

이 워크플로우는 동물 릴스로 포장돼 있지만, 실체는 캐릭터가 반복 등장하는 모든 숏폼의 표준 레시피입니다. 실무에서는 이렇게 씁니다.

• 캐릭터 시트를 자산으로 관리합니다. 고객사 마스코트의 확정 이미지 1~2장을 정면·측면으로 만들어 두고, 이후 모든 콘텐츠는 그 파일에서 리믹스로 뻗어 나가게 합니다. 담당자가 바뀌어도 기준점이 남습니다.
• 웹 제작 수주에 SNS 운영을 붙입니다. 사이트를 만들며 잡은 브랜드 톤을 그대로 마스코트 숏폼 시리즈로 확장하면, 별도 촬영 없이 월 단위 콘텐츠 상품이 나옵니다.
• 제품 시연에도 같은 구조가 통합니다. 캐릭터 자리에 제품 사진을 놓고, 장면만 바꾸고, 영상 프롬프트는 “제품이 회전한다” 같은 행동으로 제한하면 됩니다.

점수: 7.6

좋은 점

• 일관성 문제를 도구 성능 탓으로 돌리지 않고 작업 순서로 해결합니다. 리믹스·인페인팅·행동 프롬프트 세 원칙은 도구를 바꿔도 그대로 적용됩니다.
• 스토리를 먼저 설계하고 1장면 1이미지로 쪼개는 방식이라, 중간에 막혀도 어느 컷이 문제인지 바로 드러납니다.
• 이미지 단계에서 품질을 확정하고 영상 단계는 움직임만 담당하게 분리해서, 비싼 영상 생성 크레딧을 덜 태웁니다.
• 편집 도구 의존도가 낮습니다. 마지막 병합은 무료 편집기로도 대체 가능합니다.

아쉬운 점

• 재생성 반복을 전제로 합니다. 컷 하나를 위해 여러 번 돌려야 하고, 그 횟수는 예측이 안 됩니다. 무료 티어에서는 이미지 생성 횟수 제한과 영상 생성 개수 제한(원 출처 기준 Kling 무료는 영상 8개 안팎)에 금방 걸립니다.
• 장면 간 매끄러운 연결(스타트·엔드 프레임)이 유료 기능이라, 무료로는 컷 전환이 다소 툭툭 끊깁니다.
• 도구 세 개(ChatGPT·Sora·Kling)와 편집기를 오가야 해서 창 전환 비용이 큽니다. 자동화 없이 사람이 손으로 옮깁니다.
• 텍스트가 많이 들어가는 컷은 여전히 취약합니다. 브러시 수정으로 잡더라도 시도 횟수가 늘어납니다.
• 상업적 이용 범위와 캐릭터 저작권 처리는 각 서비스 약관에 달려 있는데, 이 부분은 저희가 확인해 정리하지 못했습니다. 고객사 납품용이라면 결제 전에 약관을 직접 확인하시는 편이 안전합니다.

이럴 때 쓰세요: 촬영 없이 브랜드 마스코트나 고정 캐릭터가 반복 등장하는 숏폼 시리즈를 주 단위로 찍어내야 할 때.

대안과 주의사항

Sora와 Kling은 이 구조에서 교체 가능한 부품입니다. 중요한 것은 “원본 상속 → 국소 수정 → 행동만 지시”라는 순서이지 특정 브랜드가 아닙니다. 같은 흐름을 클로드 안에서 처리하고 싶다면 여러 생성 모델을 묶어 제공하는 Higgsfield 계열의 MCP 연동을 검토해 볼 수 있습니다. 다만 그 경로 역시 저희가 이 파이프라인으로 끝까지 돌려본 것은 아닙니다.

요금은 도구마다 변동이 잦습니다. 원 출처 기준으로는 ChatGPT 유료 플랜과 Kling 유료 이용이 사실상 권장 조건이었지만, 실제 금액과 무료 한도는 Sora와 Kling AI 공식 요금 페이지에서 확인하시기 바랍니다. 무료로 감을 잡고 싶다면 캐릭터 확정과 장면 5컷까지만 만들어 보고, 영상화 단계에서 결제 여부를 판단하는 순서를 권합니다. 어차피 이 파이프라인에서 승패가 갈리는 지점은 영상이 아니라 이미지 단계입니다.