{"id":4392,"date":"2026-10-20T15:26:58","date_gmt":"2026-10-20T15:26:58","guid":{"rendered":"https:\/\/11000.dev\/index.php\/2026\/10\/20\/pytorch-2-15-donosi-fp8-na-mac-lokalni-llm-modeli-rade-i-do-65-puta-brze\/"},"modified":"2026-10-20T15:26:58","modified_gmt":"2026-10-20T15:26:58","slug":"pytorch-2-15-donosi-fp8-na-mac-lokalni-llm-modeli-rade-i-do-65-puta-brze","status":"publish","type":"post","link":"https:\/\/11000.dev\/index.php\/2026\/10\/20\/pytorch-2-15-donosi-fp8-na-mac-lokalni-llm-modeli-rade-i-do-65-puta-brze\/","title":{"rendered":"PyTorch 2.15 donosi FP8 na Mac: lokalni LLM modeli rade i do 6,5 puta br\u017ee"},"content":{"rendered":"<p>Tim Hugging Face-a, koji aktivno doprinosi razvoju PyTorch-a, objavio je detaljan pregled novog izdanja PyTorch 2.15, a vest je posebno zanimljiva svima koji modele ve\u0161ta\u010dke inteligencije pokre\u0107u na Mac ra\u010dunarima. Fokus ovog izdanja je MPS backend (Metal Performance Shaders), \u010diji je cilj da Mac pretvori u ozbiljnu platformu za treniranje i izvr\u0161avanje PyTorch modela.<\/p>\n<p><figure class=\"wp-block-image size-large\"><img decoding=\"async\" src=\"https:\/\/11000.dev\/wp-content\/uploads\/2026\/10\/thumbnail-14.png\" alt=\"PyTorch 2.15 donosi FP8 na Mac: lokalni LLM modeli rade i do 6,5 puta br\u017ee\" \/><\/figure>\n<\/p>\n<p>Da bi do\u0161li do ovih pobolj\u0161anja, in\u017eenjeri su pokretali stvarne modele sa Hugging Face Hub-a iz domena jezika, slika i videa, pronalazili mesta gde MPS zaostaje i popravljali ih direktno u PyTorch-u \u2014 sve \u010de\u0161\u0107e zamenjuju\u0107i MPSGraph namenskim Metal kernelima.<\/p>\n<h2>FP8 kona\u010dno sti\u017ee na Mac<\/h2>\n<p>Najve\u0107a novost je podr\u0161ka za <strong>FP8<\/strong> format. Vrednosti tipa <strong>float8_e4m3fn<\/strong> sada se \u010duvaju u upola manje prostora nego BF16, a uz skalirano matri\u010dno mno\u017eenje rade i sve ostale operacije koje su do sada bile dostupne na CUDA i CPU platformama. To je va\u017ean korak ka efikasnijem lokalnom radu sa velikim modelima.<\/p>\n<p><figure class=\"wp-block-image size-large\"><img decoding=\"async\" src=\"https:\/\/11000.dev\/wp-content\/uploads\/2026\/10\/moe-decode-throughput.png\" alt=\"PyTorch 2.15 donosi FP8 na Mac: lokalni LLM modeli rade i do 6,5 puta br\u017ee\" \/><\/figure>\n<\/p>\n<h2>MoE modeli dekodiraju 5\u20136,5 puta br\u017ee<\/h2>\n<p>Modeli sa me\u0161avinom eksperata (Mixture-of-Experts) ostvarili su najdramati\u010dniji skok. Zahvaljuju\u0107i nativnom grupisanom matri\u010dnom mno\u017eenju sa posebnom putanjom za dekodiranje, manjem broju GPU-CPU sinhronizacija i br\u017eem top-k rutiranju, rezultati su impresivni. Na M3 Ultra \u010dipu uz torch.compile, <strong>Qwen3.6-35B-A3B<\/strong> ska\u010de sa 9,4 na 61,3 tokena u sekundi, dok <strong>LFM2.5-8B-A1B<\/strong> ide sa 23,6 na \u010dak 123,6 tokena u sekundi.<\/p>\n<p>Ni gu\u0161\u0107i modeli nisu zanemareni \u2014 linearne operacije sa jednim redom sada koriste specijalizovane matrica-vektor kernele, a softmax nad vokabularom je oko <strong>8 puta br\u017ei<\/strong>. Sve to zajedno zna\u010di manje vremena po tokenu za svaki LLM.<\/p>\n<h2>Video generisanje koje staje u memoriju<\/h2>\n<p>Jedan od najupe\u010datljivijih primera optimizacije ti\u010de se video generisanja. Dekodiranje videa pomo\u0107u tiled VAE kod modela Wan2.2 ranije je guralo memoriju drajvera do neverovatnih <strong>270 GiB<\/strong>. Sada maksimum dosti\u017ee oko <strong>8 GiB<\/strong> \u2014 \u0161to je razlika koja od nemogu\u0107e misije pravi realnu opciju na prose\u010dnom Mac ra\u010dunaru.<\/p>\n<p><figure class=\"wp-block-image size-large\"><img decoding=\"async\" src=\"https:\/\/11000.dev\/wp-content\/uploads\/2026\/10\/softmax-sampling.png\" alt=\"PyTorch 2.15 donosi FP8 na Mac: lokalni LLM modeli rade i do 6,5 puta br\u017ee\" \/><\/figure>\n<\/p>\n<h2>Vi\u0161e linearne algebre na GPU-u<\/h2>\n<p>Izdanje donosi i ozbiljna unapre\u0111enja u domenu linearne algebre: kompleksne LU dekompozicije i trougaone solve operacije, br\u017ee inverzije malih matrica i br\u017eu QR dekompoziciju. Tu su i br\u017ee putanje za konvolucije, padding, dropout, interpolaciju unazad i redukcije \u2014 \u0161to \u0107e osetiti svi koji na Macu treniraju modele, ne samo one koji ih izvr\u0161avaju.<\/p>\n<h2>Vi\u0161e kontrole iz Pythona i nova ograni\u010denja<\/h2>\n<p>Razvojni tim je dodao i javne <strong>MPS stream-ove<\/strong> i pouzdanije merenje vremena doga\u0111aja, \u0161to programerima daje ve\u0107u kontrolu nad izvr\u0161avanjem. Va\u017eno je napomenuti i nova sistemska ograni\u010denja: MPS sada zahteva <strong>macOS 15<\/strong> ili noviji, a PyTorch 2.15 tra\u017ei <strong>Python 3.11<\/strong> ili noviji.<\/p>\n<p>Za kraj, autori najavljuju \u0161ta donosi PyTorch 2.16: attention koji u potpunosti radi na Metal-u, jo\u0161 migracija sa MPSGraph na Metal i dodatno ubrzanje dekodiranja LLM modela. Detaljan tehni\u010dki pregled dostupan je na <a href=\"https:\/\/huggingface.co\/blog\/mps-pytorch-2-15\" target=\"_blank\" rel=\"noopener\">zvani\u010dnom Hugging Face blogu<\/a>.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Tim Hugging Face-a, koji aktivno doprinosi razvoju PyTorch-a, objavio je detaljan pregled novog izdanja PyTorch 2.15, a vest je posebno zanimljiva svima koji modele ve\u0161ta\u010dke inteligencije pokre\u0107u na Mac ra\u010dunarima. Fokus ovog izdanja je MPS backend (Metal Performance Shaders), \u010diji je cilj da Mac pretvori u ozbiljnu platformu za treniranje i izvr\u0161avanje PyTorch modela. Da [&hellip;]<\/p>\n","protected":false},"author":1,"featured_media":4387,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"content-type":"","footnotes":""},"categories":[103,104],"tags":[],"class_list":["post-4392","post","type-post","status-publish","format-standard","has-post-thumbnail","category-ai","category-tehnologija"],"_links":{"self":[{"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/posts\/4392","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/comments?post=4392"}],"version-history":[{"count":0,"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/posts\/4392\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/media\/4387"}],"wp:attachment":[{"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/media?parent=4392"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/categories?post=4392"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/tags?post=4392"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}