Nvidia Blackwell Mimarili RTX 5080 & 5090 ile LLM Training

Source: Nvidia

Yeni Blackwell mimarisi şuan ki güncel LLM Finetuning araçlarıyla eğitim sırasında hatalar veriyor. Bu yazıma bizzat RTX 5080 ile nasıl eğitim ortamı yarattigimi anlatacağım.

Şuan RTX 5000 Serisi Proxmox 8.3'de hata verip sistemin çalışmasını engelliyor. O nedenle bende evdeki Ai Lab’ima Windows 11 kurduktan sonra Docker ve WSL 2 yardımıyla LLM Fine tuning’lerime başladım.

Ilk olarak Docker Desktop’i ve WSL 2'i windows makinenize kurun. Ardından aşağıdaki komutla Pytorch imajını makinenize çekin.

docker pull pytorch/pytorch

Sonra GPU’nuz ile imajı çalıştırmak için su komutu çalıştırın.

docker run --gpus all -it pytorch/pytorch

Imaj çalıştığında sırayla Transformers kütüphanelerini yükleyin:

pip install transformers datasets peft accelerate bitsandbytes torch

Ardından eski torch sürümlerini kaldırıp yenileri su komut ile yükleyin:

pip unistall torch torchvision torchaudio 

pip install --upgrade pip setuptools wheel

pip install --pre torch --index-url https://download.pytorch.org/whl/nightly/cu128

apt-get update && apt-get install -y build-essential cmake

Ortaminiz hazır! Keyifli finetuning’ler…