SparseLoCo는 Top-k 희소화와 2비트 양자화를 결합해 통신량을 97~99%까지 대폭 절감합니다.
오류 피드백을 활용해 외부 모멘텀을 근사해도 학습 성능을 유지합니다.
희소 집계 방식이 오히려 모델 성능을 향상시키는 효과를 보였습니다.
Get notified when new stories are published for "해커뉴스 🇰🇷 한국어"
No Sign-In needed. One-Click Subscribe.