Faceswap 설치하고 사용하기 기록과정 Part 3 - Convert

 

FaceSwap convert

InputA로 넣었던 비디오랑 

그 비디오의 alignment 

마지막으로 모델 폴더!!를 넣고 

Preview를하면 frame 5개에 대한 샘플결과가 나온다. 

 

 

 

12500iteration 결과

 

 

그결과 많이 뭉개지는데 그래도 부드럽게 형태가 다른 얼굴을 복원하려고 하는 것을 알 수 있다. 

 

 

12500 iteration 결과인데 Original > Swap 부분이 잘 되어야 convert 결과도 잘 나올 것 같다. 

 

 

 

 

이번에는 swap 대상비디오에 실험해보았다

 

Swap > Swap 결과가 좋길래 한번 swap에 쓰였던 비디오를 대상으로 preview를 뽑아보았다. 

 

 

 

Swap video를 대상으로 넣었을 때

 

Swap > Swap 만큼나오지는 않고 Original > Swap 성능을 따라가는 것 같았다. 

 

 

 

 

 

Convert 해보자!

 

Input Dir : 추출하고 싶은 동영상 (얼굴이 없어지는 동영상) 

Output DIr : 빈 폴더 

Alignments: Inputdir에 넣은 동영상에 대한 alignment .fsa 

Model Dir : 모델 디렉토리 

 

Color Adjustment : None 

Mask Type : 처음에는 Vgg-clear를 골랐지만, 오류가 나서 그냥 None을 했다. 

Writer : Ffmpeg (튜토리얼에서 사용하는거 그냥고름) 

 

 

 

 

Convert ing.. ( Mask : Vgg-Clear)

Tutorial에서 Vgg-clear 옵션을 사용한다. 

하지만 내가 Vgg-Clear 옵션을 선택했을 때 오류가 났다. 

 

04/27/2023 11:16:14 INFO     Using configuration saved in state file
04/27/2023 11:16:16 INFO     Loaded model from disk: 'C:\Users\user\Downloads\model_1\original.h5'
04/27/2023 11:16:16 ERROR    You have selected the Mask Type `vgg-clear` but at least one face does not have this mask stored in the Alignments File.
04/27/2023 11:16:16 ERROR    You should generate the required masks with the Mask Tool or set the Mask Type option to an existing Mask Type.
04/27/2023 11:16:16 ERROR    A summary of existing masks is as follows:
04/27/2023 11:16:16 ERROR    Total faces: 430, Masks: {'components': 430, 'extended': 430, 'bisenet-fp_face': 430}

 

 

이는 내가 Extract할 때 mask를 만들지 않아서 참고할 수 없다는 것이었다. 

 

내가 갖고 있는 마스크는 components, extendeed bisenet-fp_face 뿐이라, 이 세 옵션만 선택할 수 있다!! 

 

vgg-clear를 쓰고 싶으면 .fsa 파일을 만드는 Extraction 단계에서 Vgg-clear Masker도 선택해서 추출하도록 하자. 

 

 

 

Convert ing.. ( Mask : None)

 

하는 도중에는 게속 Preview에서 컷이 나옴 

 

정말로 2분도 안 돼서 끝났다. 

 

하지만 Mask를 None으로 하니까 이렇게 네모가 둥둥 떠다님 

 

 

 

 

Convert ing.. ( Mask : Bisenet-Fp Face)

네모의 원인을 mask로 보고 

lightweight~ 라는 설명을 지닌 Bisenet-Fp Face를 선택했다.

 

 

2분 후 결과를 봤는데 네모는 사라지고 조금 더 자연스러워졌다! 

 

 

 

Convert ing.. ( Mask : Components)

 

내가 가진 마스크 중 또 다른 하나는 Components다. 

 

bisenet-fp face보다 덮어지는 면적이 작다. 이마는 바꾸지 않는다. 

 

 

 

Convert ing.. ( Mask : Extended) 

 

내가 가진 마스크 중 마지막 하나는 Extended다. 

 

components랑 크게 달라졌다고 느껴지지 않았다.