Gen-2 Runway를 통하여 스토리 보드 만들기

Gen-2 Runway를 여러가지 실험해보면서 오늘은 이것도 가능하지 않을까 싶어서 도전해봅니다. 바로 스토리보드를 영상으로 만드는 것이에요. 4초 정도의 짤막한 영상을 Text to Video로 만들 수 있는데 이런 영상을 이어 붙히거나 Gif형식으로 만들게 되면 스토리 보드 중간 중간에 이미지로 사용하기에 정말 좋을 것 같더라구요. 한번 해보겠습니다.

 

 

 

 

1. 배경이 되는 곳과 장면 설정

 

뭔가 Gen-2 Runway가 어느정도까지 구현해낼 수 있을까 하는 실험을 통해서 자연 배경이나 건물 등은 잘 표현하는 반면에 얼굴묘사는 서양인은 그래도 잘 구현하는 반면에 동양인은 많이 퀄리티가 부족하다는 것을 실험결과 알 수 있었어요. 그래서 잘 묘사하는 부분보다 못 구현하는 부분도 어떻게 프롬프트를 쓰면 그래도 최대한 자연스럽게 만들어낼 수 있을지를 시도해보았습니다.

 

배경이 되는 곳은 조선시대로 잡아 보았습니다. 한옥이 배경이 되는 것으로 한옥에 대한 묘사를 영상에 잘 담길 수 있을지에 대한 실험입니다.

 

 

 

한옥에 대한 묘사가 꽤 그럴싸 합니다. 일부러 anime 스타일을 가미해서 조금 더 건축물에 대한 묘사를 환타지한 느낌으로 뽑아내고자 하였어요. 다음은 한옥건물 안에 있는 인물에 대한 묘사입니다. 2명의 무사들이 한옥에 있는 것을 한번 뽑아내 볼까요?

 

 

 

 

분위기는 그럴싸 하나 얼굴묘사가 역시나 조금은 아쉽다는 느낌을 지울 수 없습니다. 미드저니 이미지를 통해서 Gen-2에 적용하더라도 얼굴이 정확히 묘사가 안 되고 일그러지는 것들을 확인할 수 있었는데요. 얼굴 인식에 대한 부분은 Gen-2에서 차차 개선해나가야할 부분이 아닐까 생각이 듭니다.

 

 

 

 

지금까지는 그래도 결과물이 나름 나쁘지 않았는데, 역동적인 동작을 요구하였을 때, 저렇게 말도 안 되는 장면이 등장하는 것을 확인 할 수 있었습니다. 달리기 Running은 분명 잘 인식한다고 하였었는데 달리는 것 같긴 하지만 팔다리가 없네요 ㅠㅠㅠㅠㅠ. 우측 하단에 보시면 이상한 로고도 들어간 것이 보이는데, 저것은 무엇인지 또..

 

 

 

 

와 이건 더 충격적인데 달리기를 넣었더니 달리기 선수 복장을 한 아이가 나와서 갑자기 다리가 탈골되는 사태가 벌어집니다.. 아무래도 동작이 많이 들어간 영상을 만들 때 Gen-2를 사용하는 것은 무리가 있겠습니다.

 

 

 

 

 

그나마 분위기에 맞는 영상이 만들어졌습니다.. 그래도 발 부분이 부자연스러운 것을 볼 수 있습니다. 프롬프트에 조건이 매우 심플하게 들어가야지만 정확한 상황묘사가 아직은 가능하다는 것을 알 수 있습니다.

 

이번엔 인물을 아예 배제한 상태로 다시 장면을 조선시대 시장으로 설정을 해보고 영상을 만들어 보겠습니다.

 

 

 

 

이번엔 정말 나쁘지 않은 퀄리티의 한국 전통 시장의 모습이 연출 되었습니다! 배경에 대해서 뽑아내는 영상은 기가 막히네요. 인물에 대한 묘사와 동작을 넣지 않는 영상을 제작할 때는 정말 괜찮은 소스의 영상을 뽑아내기에 괜찮습니다. 이번엔 약간만 추가해보겠습니다. 시장에 검을 찬 무사가 추가 될 수 있는지 보겠습니다.

 

 

 

 

뒷모습은 그래도 나름 나쁘지 않게 표현이 됩니다. 분위기에도 잘 맞는 시장에 검을 찬 무사가 추가되었습니다. 검의 디테일은 조금 아쉽긴 하네요.

 

 

 

 

 

2. 영상을 이어 붙혀 영상으로 만들기

 

 

 

 

영상을 이어 붙혀 대충 스토리라인을 만들어보았습니다~!! 나름 나쁘지 않은데요? 영상에 손은 하나도 안 대고 자막만 대충 상황에 맞게 스토리 이어지게 붙혔는데 저퀄이지만 상황이 이해가 되는 트레일러 영상 하나가 뚝딱 완성되었습니다. 한시간도 안 걸려서 만든 영상입니다. 이렇게 AI 기술을 통해 이런 영상 제작이 가능해진 시대라니 정말 놀랍습니다!! 다음 시간엔 더 고퀄리티의 창작물을 만들기 위해서는 어떤 방법들을 사용하면 좋을지에 대해 연구하고 돌아오겠습니다! 감사합니다^^

 

 

Gen-2 Runway 실험 요약
1. 시대적 배경과 장소적 묘사 영상은 매우 뛰어나다.
2. 인물에 대한 얼굴 묘사가 매우매우 아쉽다.

3. 동작에 대한 묘사도 부자연 스럽다.