Model Qwen2.5 Coder Triton

Model Qwen2.5-Coder-3B-KernelBook adalah versi yang dilatih khusus untuk mentranspilasi kode PyTorch nn.Module menjadi kernel Triton berkinerja tinggi.

Fine-tuning dilakukan menggunakan dataset GPUMODE/KernelBook yang berisi 18.162 pasangan kode PyTorch dan Triton yang dihasilkan oleh torch.compile.

Pelatihan satu epoch pada GPU NVIDIA H100 80GB menghasilkan loss akhir 0,0922 dan akurasi token rata-rata 98,34%.

Model ini menggunakan teknik Low-Rank Adaptation (LoRA) dan dijalankan dengan PyTorch 2.5.0, Transformers, PEFT, dan TRL.

Penggunaan model memerlukan format prompt terstruktur: berikan kode PyTorch dan minta kode Triton sebagai output.

Direkomendasikan menggunakan versi PyTorch 2.5.0 untuk hasil terbaik sesuai dataset pelatihan.