Hugging Face i Google spojili snage: PyTorch sada radi nativno na TPU čipovima

jakovradojevic
4 Min Read

Hugging Face je objavio vest koja bi mogla da promeni svakodnevicu svakoga ko radi sa mašinskim učenjem. Naime, predstavljen je TorchTPU — nativni PyTorch backend za Googleove Tensor Processing Unit (TPU) čipove. Drugim rečima, više nema mučenja sa torch_xla ili prelaska na JAX. TPU je sada jednostavno još jedan uređaj u PyTorch svetu.

Hugging Face i Google spojili snage: PyTorch sada radi nativno na TPU čipovima

Šta je zapravo TPU i zašto je ovo važno?

TPU je skraćenica za Tensor Processing Unit — Googleov sopstveni AI akcelerator. To su čipovi napravljeni za jedan posao: matričnu matematiku na kojoj neuralne mreže provode najveći deo vremena. Google ih razvija već oko deset godina i koristi ih za treniranje i serviranje sopstvenih modela, uključujući Gemini. Dostupni su na Google Cloud-u, od jednog čipa do podova sa hiljadama čipova.

Problem je oduvek bio softver. TPU stack je izrastao oko TensorFlow-a i JAX-a, pa su PyTorch korisnici morali da se prilično pomuče da bi ušli u taj svet. Do sada je to značilo prolazak kroz PyTorch/XLA (torch_xla), koji je radio — ali sa svojim quirks-ima. Tenzori su bili “lazy”, pa kod nije uvek radio kada ste mislili da radi, male izmene su mogle da pokrenu rekompilaciju grafa, a debagovanje je bilo noćna mora.

Hugging Face je ranije napravio Optimum TPU kao zaobilazno rešenje za inference i treniranje na TPU-ima. Sada, kada TorchTPU donosi nativnu podršku, Optimum TPU više nije neophodan za pokretanje Hugging Face modela kroz Transformers i Diffusers.

Šta tačno donosi TorchTPU?

TorchTPU dodaje TPU kao novi backend u PyTorch. Pišete običan PyTorch kod, a ispod haube dobijate Pallas kernele optimizovane za TPU, podršku za distribuiran trening i torch.compile integraciju kada želite više brzine. Instalacija na TPU VM-u je jedan komand:

pip install torch-tpu --extra-index-url https://download.pytorch.org/whl/cpu

Dodatni indeks je tu da povuče CPU build torch-a, jer bi inače pip skinuo mnogo veći CUDA build koji na TPU-u nije potreban.

Hugging Face i Google spojili snage: PyTorch sada radi nativno na TPU čipovima

Transformers, Diffusers i Kernels — sve na TPU-u

Transformers v5 je napravljen oko jedne ideje: da bude izvor istine za definicije modela, kako bi mogli da rade bilo gde. To “bilo gde” sada uključuje i TPU. Dovoljno je proslediti device_map=”tpu” i model se učitava direktno na čip:

model = AutoModelForCausalLM.from_pretrained(model_id, device_map="tpu")

Model podrazumevano radi u eager modu, ali možete koristiti i torch.compile za bolje performanse ili ga pokrenuti u distribuiranom okruženju.

Ni generisanje slika i videa nije izostavljeno. TPU je sada first-class uređaj i u Diffusers biblioteci, pa se prototipovi i debagovanje mogu raditi direktno na TPU-u. Za one koji vole da znaju da su kernele testirane pre nego što ih pustite u produkciju — Hugging Face tim je to odradio umesto vas.

Hugging Face i Google spojili snage: PyTorch sada radi nativno na TPU čipovima

Šta ovo znači za domaću AI scenu?

Za developere u Srbiji koji koriste Google Cloud i TPU-ove za treniranje ili serviranje modela, ovo je konkretno olakšanje. Nestaje potreba za učenjem JAX-a ili hrvanjem sa torch_xla-om samo da bi se iskoristio TPU hardver. Cela Hugging Face ekosistema — Transformers, Diffusers, Kernels — sada radi nativno, a prelazak sa GPU-a na TPU svodi se na promenu jednog parametra.

Detalje možete pronaći u originalnom Hugging Face blog postu.

Share this Article
Leave a comment