์ฑ ๋ด ๋ธ๋ผ์ฐ์ ๋ ์ฌ์ฉ์์ ๊ธฐ๋ณธ ๋ธ๋ผ์ฐ์ ์ ํ์ ๋ฌด๋จ์ผ๋ก ๋์ฒดํ์ฌ ํ๋ผ์ด๋ฒ์๋ฅผ ์นจํดํ๋ค.
์ธ๊ธฐ ์ฑ๋ค์ ์๋ฐ์คํฌ๋ฆฝํธ ์ฃผ์ ์ผ๋ก ์ฌ์ฉ์์ ์น ํ๋์ ๊ฐ์ยท์กฐ์ํ ์ ์๋ค.
์์คํ ์ ๊ณต ํญ ๋ฐฉ์ ๋์ ๊ณผ ๋ฒ์ ๊ท์ ๋ก ์ฌ์ฉ์ ๋ธ๋ผ์ฐ์ ์ ํ๊ถ ๋ณด์ฅ์ด ํ์ํ๋ค.
2022๋ 3๋ถ๊ธฐ๋ฅผ ๊ธฐ์ ์ผ๋ก ํ๋๋ณ ์ ๊ณ ๊ฑด์๊ฐ ์ต๊ณ ์ ์ ๋๋ฌํ ๋ค ๊ธ๊ฐํ๊ณ ์์.
์ ๋ก๊ธ๋ฆฌ ํ๊ฒฝ๊ณผ ์ ๋ฌธ ์๊ธ๊ฒฐ์ฑ ์๋น์ค ํ๋๋ก 2020๋ ๋ ์ด ๋ฒค์ฒํ๋๊ฐ ํญ์ฆํ์.
์๊ธ ๊ณต๊ธ ๊ฐ์๋ก ๋ฒค์ฒยทAI ์คํํธ์ ์ ํฌ์์กยท๊ฐ์น ํ๊ฐ๊ฐ ํ๋ฝํ ์ ๋ง์.
๋ง์ ๋ถ๋ฆฌ์ธ ํ๋๋ ๋ฐ์ ์์ ์ ๋ด์ datetime์ผ๋ก ๋์ฒดํด ๋ ํ๋ถํ ๋ฐ์ดํฐ๋ฅผ ์ป์ ์ ์๋ค.
์ํ๋ ์ญํ ํ์์ฉ ๋ถ๋ฆฌ์ธ ๋์ enum์ ์ฌ์ฉํด ์ฝ๋ ์ ์ง๋ณด์์ฑ๊ณผ ํ์ฅ์ฑ์ ๋์ผ ์ ์๋ค.
๋ถ๋ฆฌ์ธ์ ์์ ์กฐ๊ฑด ํ๊ฐ์ฉ์ผ๋ก๋ง ์ฌ์ฉํ๊ณ , ๋๋จธ์ง๋ ๊ทผ๋ณธ ๋ฐ์ดํฐ์ ๋ง๋ ํ์ ์ ์ ์ฅํด์ผ ํ๋ค.
๊ฒฐ์ ์ ๋ณด ๊ฐฑ์ ์์ฒญ ์คํธ ๋ฉ์์ง๊ฐ ๋ฐ๋ณต ๋ ธ์ถ๋์๋ค.
์ฐฐ์ค ์ฒธ์ด๋ผ๋ ๊ณ์ ์ด ์คํ ํผ๋ ํ์์ผ๋ก ์ ๊ทผํ๋ค.
๋ฏธ๊ตญ ์ฌ์ฑ ํ์ 2๋ช ์ ์๊ณ ์๋์ง ๋ฌป๋ ํผ์ฑ ์ํน์ด ์ ๊ธฐ๋์๋ค.
Nick Smith์ ๊ทธ๋ฃน ๋น๋ก์์ ์ถ๊ฐ ๋น์ฉ ์์ด ๋ณ๊ฒฝ ๊ฐ๋ฅํ ๋ณ์นญ ์ฐธ์กฐ๋ฅผ ์์ ํ๊ฒ ์ง์ํ๋ค.
๊ฐ์ฒด ๋ณ๊ฒฝ ์ ์ ์ฒด๊ฐ ์๋๋ผ ์์ ๊ทธ๋ฃน์ ์ฐธ์กฐ๋ง ๋ฌดํจํํด ๋์ฑ ์ ๋ฐํ ๋ฉ๋ชจ๋ฆฌ ์์ ์ ๊ตฌํํ๋ค.
ํจ์ ์๊ทธ๋์ฒ์ ๊ทธ๋ฃน ์ฃผ์๊ณผ ๊ฒฝ๋ก๋ฅผ ๋ช ์ํด ํธ์ถ ์์ ์ ์ฐธ์กฐ ๋ฌดํจํ๋ฅผ ์ ํํ ์ ์ดํ ์ ์๋ค.
๋ฏธ ์๋ฌด๋ถ๊ฐ ๊ตญ๋ด์ด์์ฐ์ ์์์ผ๋ก ๊ฒฝ์ ์งํ๋ฅผ ๋ธ๋ก์ฒด์ธ์ ๊ณต๊ฐํ๊ธฐ๋ก ํ๋ค.
์์คํ ๋์์ ์ ๋ฝ์ฐํฉ ๋ฑ ์ ๋ถ๋ค์ด ๋ธ๋ก์ฒด์ธ ๊ธฐ๋ฐ ์์คํ ์ผ๋ก ๊ณต๊ณต ์๋น์ค ๋ณด์์ ๊ฐํํ๋ค.
๋ธ๋ก์ฒด์ธ์ ๋ฐ์ดํฐ ์ ์ฅ๊ณผ ๊ณต์ ํฌ๋ช ์ฑ์ ํ๋ณดํ๋ ์ ๋ณด ์ ํ์ฑ ๋ฌธ์ ๋ ํด๊ฒฐํ์ง ๋ชปํ๋ค.
๋ฏธ๊ตญ์์ ๋น๊ณค์ธต ํ๊ธ ์ง์์ด ํฐ ํจ๊ณผ๋ฅผ ๋ณด์ด์ง ์๋ ๋ฐ๋ฉด ๊ฐ๋ฐ๋์๊ตญ์์๋ ๋ค์ํ ๊ธ์ ์ ์ฑ๊ณผ๋ฅผ ๋ณด์๋ค.
์ผ๋ ๊ฐ์ ๊ทน๋น๊ตญ์์ ํ๊ธ ์ง์์ด ์์ฐ ์ฆ๊ฐ์ ๊ฑด๊ฐ ๊ฐ์ ๋ฑ ์ค์ง์ ๋ณํ๋ฅผ ์ด๋์ด๋๋ค.
๋น๊ณค์ธต์ ๋ฐฐ๊ฒฝ๊ณผ ํ๊ฒฝ ์ฐจ์ด๋ก ์ธํด ํ๊ธ ์ง์์ ํจ๊ณผ๊ฐ ๊ตญ๋ณ๋ก ๋ฌ๋ผ์ง๋ค.
์ ์๋ ์ ์ ์งํ ๊ณต๊ฐ ํ ํ ํฌ ๊ธฐ์ ์์ ์ฒด๊ณ์ ์ผ๋ก ๋ฐฐ์ ๋ ๊ฒฝํ์ ๊ณ ๋ฐํ๋ค.
๊ธฐ์ ๋ค์ ์ ์ ๊ฑด๊ฐ ํํ์ ๋ด์ธ์ฐ์ง๋ง ์ค์ ๋ก๋ ์ ์ ํ ๋ฐฐ๋ ค์ ์ง์์ ์ ๊ณตํ์ง ์๋๋ค.
ํฌ๋ช ์ฑ๊ณผ ์นจ๋ฌต ์ฌ์ด์ ์ ํ์ ๊ฐ์ธ๊ณผ ์ฌํ์ ์น๋ช ์ ๋น์ฉ์ ๊ฐ์ ธ์จ๋ค.
fal.ai์ WebSocket๊ณผ LCM ๋ชจ๋ธ ์ต์ ํ๋ก 100ms ์ดํ ๋ ๋๋ง, 10FPS ์ค์๊ฐ ๊ทธ๋ํฝ ๊ตฌํ.
์ด๋ฏธ์ง ํ๋ ์ ๊ธฐ๋ฐ i2i ๋ชจ๋ธ ์ฌ์ฉ์ด ControlNet๋ณด๋ค ๊ฒ์ ๋ ์ด์์ ์ผ์น์ฑ์์ ๋ ์ฐ์ํ ๊ฒฐ๊ณผ๋ฅผ ๋ณด์ฌ์ค.
์์ฒด LoRA ํ๋ จ์ผ๋ก ๊ณ ํ์ง ์คํ์ผ ์ผ๊ด์ฑ ํ๋ณด๋ฅผ ์๋ํ์ผ๋ ์ค์๊ฐ ์ฑ๋ฅ ์ ํ๋ก ์ ์ฉ ์ด๋ ค์.
๋ค์ํ GPU ํ์ดํ๋ผ์ธ์์ ์ฌ์ฉํ ์ ์๋ ์ ๋ํฉ ์๊ณ ๋ฆฌ์ฆ์ ํฌํฐ๋ธ ์ ฐ์ด๋๋ก ๊ตฌํ.
Chained Scan์ฉ Decoupled Fallback ๊ธฐ๋ฒ์ผ๋ก ๋น๋ณด์ฅ ์ฅ์น์์๋ ์์ ํ๊ฒ ์ฐ์ฐ ๊ฐ๋ฅ.
CUDA(CUB) ๋๋น ์ฑ๋ฅ ๋ฒค์น๋งํฌ๋ก ์ฝ๋ ํ์ง๊ณผ ์ด๋์ฑ ๊ฒ์ฆ.