Hugging Face je predstavio TorchNeuron, novi PyTorch backend za AWS Trainium, koji će od 20. oktobra 2026. biti dostupan kao javna beta. Ova vest je posebno značajna za developere i istraživače koji rade sa velikim AI modelima, jer omogućava jednostavnije i efikasnije pokretanje modela na AWS-ovim specijalizovanim čipovima.

Do sada je Hugging Face iskustvo na AWS Trainium i Inferentia čipovima bilo omogućeno kroz optimum-neuron biblioteku, koja se oslanjala na torch-neuronx paket zasnovan na PyTorch XLA. Iako je to u to vreme bio logičan izbor, zahtevao je razmišljanje kao kompajler: lenje tenzore umesto eager izvršavanja, samo statičke oblike i rekompilaciju za svaki prekid grafa. Optimum Neuron je postojao upravo da sakrije tu složenost, ali je to činio kroz održavanje prilagođenog koda.
TorchNeuron menja ovaj pristup iz korena. Integriše se direktno u PyTorch i izlaže Neuron kao nativni uređaj, sa eager izvršavanjem, PyTorch-ovim sopstvenim distribuiranim primitivima (DTensor, FSDP2) i torch.compile. Za Hugging Face biblioteke, Trainium postaje uređaj kao i svaki drugi — Transformers, Diffusers, Accelerate, PEFT i TRL rade na njemu direktno, sa istim klasama i skriptama koje biste koristili na bilo kom drugom akceleratoru.

Ovo je posebno važno za Transformers biblioteku, gde je podrška za generisanje teksta sada nativna za širok spektar modela. Sa TorchNeuron-om, čak 89% od top 100 najkorišćenijih arhitektura modela za generisanje teksta je podržano odmah, u poređenju sa 46% koliko je nudio Optimum Neuron v0.4.5. Dovoljno je proslediti argument device_map=neuron u kodu i vaš model će biti premešten na Neuron uređaje.
Primer generisanja teksta sa tenzorskim paralelizmom, koji omogućava potpuno iskorišćavanje Neuron instanci, sada je znatno jednostavniji. Preporučuje se korišćenje statičkog keša za generisanje kako bi se sprečile česte rekompilacije, što je ranije bio čest problem.

Za one koji žele da saznaju više o tehničkim detaljima, Hugging Face je objavio detaljan blog post na svom zvaničnom sajtu, a dodatne informacije mogu se naći i na PyTorch blogu. Instalacija je jednostavna — dovoljno je pokrenuti pip install torch-neuronx i započeti sa radom.
Ova promena predstavlja značajan korak napred za AI zajednicu, jer smanjuje barijere za korišćenje specijalizovanog hardvera i omogućava brži razvoj i implementaciju modela. Hugging Face preporučuje Neuron korisnicima da sada koriste ove biblioteke direktno, umesto da idu preko Optimum Neuron-a, što će dodatno ubrzati radne tokove i olakšati deljenje modela na HF hub-u.