GB202๋ 750mmยฒ ๋ค์ด์ 92.2B ํธ๋์ง์คํฐ, 192 SM์ ํ์ฌํ ์๋น๋์ ์ต๋ ๊ท๋ชจ GPU์ ๋๋ค.
SM๊ณผ GPC ๋น์จ์ 1:16์ผ๋ก ๋๋ ค ์ปดํจํ ์ฑ๋ฅ์ ํ์ฅํ์ง๋ง ์์ ์ํฌ๋ก๋์์ ๋์คํจ์น ์ ์ฝ์ด ๋ฐ์ํ ์ ์์ต๋๋ค.
๋ธ๋์ฐ์ ์๋ธ์ฑ๋ ์ค์์น๋ฅผ ์ ๊ฑฐํด ๊ทธ๋ํฝ๊ณผ ์ปดํจํธ ์์ ์ ๊ฐ์ ํ์์ ์ค์ฒฉ ์คํํ ์ ์์ต๋๋ค.
+7 more insights
์ง์์ IPv4๋ง ์ฅ์ ๊ฐ ๋ฐ์ํ์ง๋ง IPv6๋ ์ ์ ์๋ํด ์ผ๋ถ ์น์ฌ์ดํธ๋ ์ ์ ๊ฐ๋ฅํ๋ค.
CG-NAT์ผ๋ก ์ธํ IPv4 ์ฐ๊ฒฐ ๋ฌธ์ ๋ฐ์ ์๋ฆฌ์ NAT ๋์ ์๋ฆฌ๋ฅผ ์ค๋ช ํ๋ค.
Hetzner VPS์ IPv6 ์ฃผ์๋ฅผ ์ด์ฉํด WireGuard ํฐ๋์ ๊ตฌ์ถํด IPv4 ํธ๋ํฝ์ ๋ณต์ํ๋ค.
+3 more insights
์ ํ์ด ์ง๊ฐ ์ฑ์์ F1 ์ํ ๊ด๊ณ ์๋ฆผ์ ๋ณด๋ธ ๊ฒ์ ์ฌ์ฉ์ ์ ๋ขฐ๋ฅผ ์์์ํจ๋ค.
๋์งํธ ์๋ ์ ์๋ ๋ก๊ทธ ์ง๊ฐ์ฒ๋ผ ๊ด๊ณ ์๋ ์ฒญ์ ๊ณต๊ฐ์ด ๋์ด์ผ ํ๋ค.
์ฌ์ฉ์๋ ๊ด๊ณ ์์ ์ผ๋ก ๊ฐ์ธ์ ๋ณด ์ถ์ ์ํน์ ๊ฐ๊ฒ ๋ ์ ์๋ค.
+2 more insights
์งํ์ ์ผ๋ก ์ ์ ๋ถ์ด์ฆ์ ์์๋ฅ๋ ฅ์ ๋จ์ด๋จ๋ฆฌ์ง๋ง 1% ์ ์ธ๊ณ ์ ๋ณ๋ฅ ๋ก ์ฌ๋ผ์ง์ง ์๋ ์งํ์ ์์๊ป๋ผ์ ๋๋ค.
์ ๋ฒฝ๊ฒฝ์ฌ ์ ์ํจ์ ๋ชจ๋ธ์ ์ธ์งยท์ธ์ดยท์ฌํ์ ๋ฅ๋ ฅ์ ํฅ์์ํค๋ ์ ์ ํ์ง์ด ์ผ์ ํ๊ณ์ ์ ๋์ผ๋ฉด ์ ์๋๊ฐ ๊ธ๊ฒฉํ ๋จ์ด์ง๋ค๊ณ ์ค๋ช ํฉ๋๋ค.
์์ฐ์ ํ์ ๊ฐ์ฒด ์ ๋ฐ์ ์ ์ ์ ์ ๋ฌ์ ๊ทน๋ํํ๊ธฐ ์ํด ํ๊ณ์ ๋ฐ๋ก ์๋๋ก ํ๊ท ํน์ฑ ๋ถํฌ๋ฅผ ์ ์งํด ์์๋ ์ ๋ฒฝ์ ๋์ด ๋ฐ๋ณํฉ๋๋ค.
+4 more insights
์๊ฐ๋ ์นจ์ค ๋ฒฝ ๋ด๋ถ์ ํ๋ ์๊ธ๋ผ์ค ๊ด์ฐฐ์ฐฝ์ด ์๋ ์ค๋ด ๋ฒํต์ ์ค์นํ์๋ค.
์ค๋ด ๋ฒฝ ๋ฒํต์ ๊ณ ๋๋ถํฐ ๋ฒฝ ๋ด๋ถ์ ๋ฒ์ ๊ธฐ๋ฅด๋ ์ ํต์ ์ธ ์๋ด ๋ฐฉ์์ด๋ค.
์๊ณ ๋ณด๋์ ๋จ์ด์ฌ๋ฅผ ์ ๊ฑฐํ๊ณ ๋ชฉ์ฌ๋ฅผ ์ ๋ฆฌํ ๋ค ๋๋๋ฌด ๊ด์ผ๋ก ๋ฒ์ ์ถ์ ๊ตฌ๋ฅผ ํ๋ณดํ์๋ค.
+2 more insights
JSON์ ๊ณ์ธต์ ๊ตฌ์กฐ๋ก ๊ตฌ์ฑ๋์ด ์์ด ์ ์คํฌ๋ฆฝํธ์์ ์ง์ ํ์ฑํ๊ธฐ ์ด๋ ต๋ค.
jq๋ Python ๊ฐ์ ๋๊ตฌ๋ ์ถ๊ฐ ์์กด์ฑ์ด ํ์ํ์ง๋ง, awk๋ POSIX ์์์ ๋ฐ๋ก ์ฌ์ฉ ๊ฐ๋ฅํ๋ค.
get_json_value ํจ์๋ JSON ๋ฌธ์์ด๊ณผ ์ ํ๊ธฐ๋ฒ ํค ๊ฒฝ๋ก๋ฅผ ๋ฐ์ ๊ฐ์ ์ถ์ถํ๋๋ก ์ค๊ณ๋์๋ค.
+3 more insights
360 ๊ณ์ฝ์ ๋งบ์ ์ธ๋ ๋ ์ด๋ธ์ด ์ํฐ์คํธ ์์ ๋๋ถ๋ถ์ ํ์ํด ์ค์ฐ์ธต ๋ฎค์ง์ ์ด ์ค์ง์ ์์ต์ ์ป๊ธฐ ์ด๋ ค์์ก๋ค.
์คํธ๋ฆฌ๋ฐ ํ๋ซํผ์ ์ฌ์๋น ์์ก๋ง ์ง๊ธํด ์จ๋ฒยทํฐ์ผยท๋จธ์ฒ๋ค์ด์ฆ ์ธ ๋ค๋ฅธ ์์ต์์ด ์ค์ด๋ค์๋ค.
๋ผ์ด๋ธ ํฌ์ด๋ ์ด์๋นยท๋ฌผ๊ฐ ์์นยท๋น์ ๋น์ฉ ๋ฑ์ผ๋ก ์์ต๋ณด๋ค ๋น์ฉ์ด ๋ ์ปค์ ธ ๋ ์ด์ ์์ ์ ์์ ์์ด ์๋๋ค.
+2 more insights
ARRL ํ๋๋ฐ์ด๋ ๋งค๋ 6์ ๋ค ๋ฒ์งธ ์ฃผ๋ง์ ๋ฏธ๊ตญ๊ณผ ์บ๋๋ค์์ ๊ฐ์ต๋๋ ์ต๋ ๊ท๋ชจ์ ์๋ง์ถ์ด ๋ฌด์ ์ด์ ํ์ฌ์ด๋ค.
2025๋ ํ๋๋ฐ์ด๋ 6์ 28์ผ๋ถํฐ 29์ผ๊น์ง ์ด๋ฆฐ๋ค.
์ฐธ๊ฐ์๋ค์ ๋น์ ํต์ ์ฐ์ต, ๊ณต๊ณต ์๋น์ค, ์ง์ญ ์ฌํ ํ๋ณด, ๊ธฐ์ ์ฐ๋ง๋ฅผ ๊ฒฐํฉํ ํ๋์ ์ํํ๋ค.
+7 more insights
์๊ตญ ์ฌ๊ถ ์ ์ฒญ ๊ณผ์ ์ ํผ์ฆ ๊ฒ์์ผ๋ก ๋น์ ํ์ฌ ์ค๋ช ํจ.
์ฌ๊ถ ๋ฐ๊ธ์ ์ํด ์๋ฅ ์์ง๊ณผ ๊ฐ์กฑ ๊ด๊ณ ์ฆ๋ช ์ด ์ฌ๊ท์ ์ผ๋ก ์ด๋ฃจ์ด์ง.
Bureaucratic Logic์ ๊ตฌ์ถํ์ฌ ๋ฒ์ ๊ท์น๊ณผ ์ฆ๊ฑฐ ์์ง์ ํ๋ก๊ทธ๋๋ฐ์ผ๋ก ๋ชจ๋ธ๋งํจ.
+2 more insights
vLLM V1์ OpenAI ํธํ API ์๋ฒ, AsyncLLM, EngineCore, Scheduler, ModelExecutor, ModelRunner, KVCacheManager ๋ฑ์ผ๋ก ๊ตฌ์ฑ๋์ด ๋๊ท๋ชจ LLM ์ถ๋ก ์ ํจ์จ์ ์ผ๋ก ์ฒ๋ฆฌํฉ๋๋ค.
ํด๋ผ์ด์ธํธ์ HTTP ์์ฒญ์ API ์๋ฒ์์ AsyncLLM์ผ๋ก ์ ๋ฌ๋๊ณ , ๋น๋๊ธฐ IPC๋ฅผ ํตํด EngineCore์ ๋ด๋ถ ํ์ ์ ์ฅ๋ฉ๋๋ค.
Scheduler๋ ์ฐ์ ๋ฐฐ์น ์๊ณ ๋ฆฌ์ฆ์ผ๋ก ์ฌ๋ฌ ์์ฒญ์ ํ๋กฌํํธ ์ฒ๋ฆฌ(prefill)์ ๋์ฝ๋ฉ ๋จ๊ณ๋ฅผ ํ ํฐ ์์ฐ(max_num_batched_tokens)์ ๋ง์ถฐ ๊ณตํํ๊ฒ ๋ฐฐ์นํฉ๋๋ค.
+2 more insights