NPU’lar: Bilgisayar Dünyasının Yeni Gözdesi

CPU’lar ve GPU’lar artık eskide kaldı. Günümüzde teknoloji dünyasının en sıcak konusu NPU’lar ve donanım üreticileri NPU performansını öve öve bitiremiyor. NPU, yapay zeka görevlerini güç verimliliği yüksek bir şekilde hızlandırmak için tasarlanmış bir bilgisayar bileşenidir ve güçlü yapay zeka özelliklerine sahip yeni Windows masaüstü uygulamalarının önünü açmayı hedefliyor. En azından plan bu şekilde. Zamanla tüm bilgisayarlar NPU’lara sahip olacak, ancak şu anda yalnızca bazı bilgisayarlarda bulunuyor. İşte NPU’lar hakkında bilmeniz gereken her şey ve neden bilgisayar endüstrisinde bu kadar popüler oldukları.

NPU, "neural processing unit" (sinirsel işlem birimi) anlamına gelir. Yapay zeka ve makine öğrenimi görevleri için optimize edilmiş özel bir işlemci türüdür. Adı, yapay zeka modellerinin sinir ağlarını kullanmasından gelir. Sinir ağı, basitçe ifade etmek gerekirse, bilgileri birbirleri arasında ileten birbirine bağlı düğümlerden oluşan geniş bir ağdır. (Tüm bu fikir, insan beyninin çalışma şeklinden esinlenilmiştir.)

NPU, haricen satın alıp takabileceğiniz ayrı bir cihaz değildir (örneğin bir GPU gibi). Bunun yerine, bir NPU, Intel’in Core Ultra, AMD’nin Ryzen AI ve Qualcomm’un Snapdragon X Elite ve Snapdragon X Plus gibi modern bir işlemci platformunun bir parçası olarak "paketlenir". Bu platformlar, entegre bir GPU ve NPU ile birlikte bir CPU’ya sahiptir.

Uzun yıllardır bilgisayarlar görevleri merkezi işlem birimi (CPU) veya grafik işlem birimi (GPU) üzerinde çalıştırıyordu. AI PC’lerde (yani NPU’lu bilgisayarlarda) durum hala bu şekilde. CPU, bilgisayardaki çoğu görevi çalıştırır. Ancak GPU, adına rağmen, sadece grafik ve oyun görevleri için değildir. GPU aslında farklı bir tür hesaplama görevi için optimize edilmiştir, bu nedenle GPU’lar kripto para madenciliği ve yüksek performanslı yerel yapay zeka modellerini çalıştırma gibi oyun dışı çabalar için kritik öneme sahip olmuştur. Aslında, GPU’lar bu tür yapay zeka görevlerinde çok iyidir, ancak GPU’lar oldukça güç tüketicidir.

İşte NPU’ların devreye girdiği nokta. Bir NPU, yapay zeka görevlerini hesaplamada bir CPU’dan daha hızlıdır, ancak bir GPU ile karşılaştırıldığında o kadar hızlı değildir. Buradaki denge, bir NPU’nun aynı yapay zeka görevlerini hesaplarken bir GPU’dan çok daha az güç kullanmasıdır. Ayrıca, NPU yapay zeka ile ilgili görevleri yerine getirirken, CPU ve GPU’nun her ikisi de kendi görevlerini ele almakta serbest kalır, bu da genel sistem performansını artırır.

Eğer PC’nizin donanımında Stable Diffusion (veya başka bir yapay zeka modeli) gibi bir yapay zeka görüntü oluşturma yazılımı çalıştırıyorsanız ve maksimum performansa ihtiyacınız varsa, bir GPU sizin için en iyi seçenek olacaktır. Bu nedenle Nvidia, GPU’larını NPU’lara göre "premium AI" donanımı olarak tanıtıyor.

Ancak, normal bir CPU için çok zorlayıcı olabilecek ancak GPU’nun en üst düzey gücüne ihtiyaç duymayan yapay zeka özelliklerini çalıştırmak istediğiniz zamanlar vardır. Veya belki de bir dizüstü bilgisayarda çalışıyorsunuzdur ve yapay zeka özelliklerinden yararlanmak istiyorsunuzdur, ancak GPU’nun pilinizi bitirmesini istemiyorsunuzdur.

Bir NPU ile bir dizüstü bilgisayar, çok fazla ısı üretmeden ve aşırı pil ömrü harcamadan yerel (cihaz üzerinde) yapay zeka görevlerini gerçekleştirebilir ve bu yapay zeka görevlerini PC’nizin yaptığı diğer işlerden CPU ve GPU kaynaklarını almadan gerçekleştirebilir. Ve yapay zeka ile ilgilenmeseniz bile, NPU’ları başka kullanımlar için de kullanabilirsiniz. CES 2024’te HP, video akışı görevleri için NPU’yu kullanan ve GPU’yu oyunun kendisini çalıştırmak için serbest bırakan oyun akışı yazılımını sergiledi. NPU’nun ekstra işlem gücünü kullanarak, akış yazılımı herhangi bir GPU kaynağı tüketmez… ve aynı tür görev için CPU kullanmaktan çok daha hızlıdır.

Bir AI PC ile, NPU hem işletim sistemi hem de sistemde bulunan uygulamalar tarafından kullanılabilir. Örneğin, Intel Meteor Lake donanımına sahip bir dizüstü bilgisayarınız varsa, yerleşik NPU, web kameranızı kullanan herhangi bir uygulamada arka plan bulanıklığı ve zorunlu göz teması gibi özellikler sağlayan yapay zeka destekli web kamerası efektleri olan Windows Studio Effects’i çalıştırmanıza olanak tanır.

Microsoft’un Copilot+ PC’leri (ilk dalgası Qualcomm Snapdragon X çiplerinden güç alan), platforma yerleşik NPU’ları kullanan kendi yapay zeka destekli özelliklerine sahiptir. Örneğin, Microsoft’un gecikmeli Windows Recall özelliği bir NPU gerektirecektir.

Kasım 2024’te, AMD ve Intel PC’ler, daha önce Qualcomm PC’lere özel olan aynı Copilot+ PC özelliklerine erişebilecekler, ancak yalnızca yeni AMD Ryzen AI 300 serisi ve Intel Core Ultra Series 2 (Lunar Lake) işlemcilere sahip AMD ve Intel PC’ler bu özelliklere erişebilecekler.

Ve bunlar sadece Windows’a yerleşik özellikler; uygulama geliştiricileri de NPU’yu çeşitli şekillerde kullanabilecekler. Bir bilgisayarın NPU’su tarafından desteklenen yapay zeka destekli ses ve fotoğraf düzenleme sunan Audacity ve GIMP için eklentiler görmeye şaşırmayın.

Olasılıklar sonsuz, ancak donanım için hala erken günler, bu yüzden tam potansiyelinin farkına varılması biraz zaman alacak. Yapay zeka özelliklerine sahip mevcut uygulamaların çoğu (Microsoft’un Copilot sohbet robotu dahil) henüz bir NPU kullanmıyor. Bunun yerine, yapay zeka modellerini uzak bulut sunucularında çalıştırıyorlar. Bu nedenle, Microsoft Copilot, ChatGPT, Google Gemini, Adobe Firefly ve diğer yapay zeka çözümleri gibi şeyleri eski bir Windows PC, bir Chromebook, bir Mac, bir Android telefon veya başka bir cihazda çalıştırabilirsiniz.

Ancak bu hizmetlerin yapay zeka modellerini bulutta çalıştırması pahalıdır. Örneğin, Microsoft, veri merkezlerinde Copilot AI görevlerini çalıştırmak için çok para harcıyor. Şirketler, bu yapay zeka görevlerini yerel PC’nize yüklemeyi ve kendi bulut bilişim masraflarını azaltmayı çok isterler.

Elbette, bu sadece maliyet tasarrufu ile ilgili değil. Hesaplama açısından ağır yapay zeka görevlerini yerel cihazınızda çalıştırma yeteneğinden de yararlanıyorsunuz. Örneğin, bu yapay zeka özellikleri çevrimdışı olduğunuzda bile çalışmaya devam edecek ve tüm verilerinizi her zaman bulut sunucularına yüklemek yerine özel tutabilirsiniz. (Bu, şirketlerin kendi iş verileri üzerindeki kontrolü gizlilik ve güvenlik nedenleriyle korumak istemesi açısından da önemlidir.)

NPU performansı, saniyede trilyon işlem anlamına gelen TOPS cinsinden ölçülür. Bunun ne anlama geldiğine dair bir fikir vermek gerekirse, düşük kaliteli bir NPU yalnızca 10 TOPS’u işleyebilirken, Microsoft’un Copilot+ PC markası için hak kazanan PC’lerin en az 40 TOPS’u işlemesi gerekir.

2024 sonbaharı itibariyle aşağıdaki NPU’lar mevcuttur: (Makaledeki liste)

NPU’ların sadece PC’lerde olmadığını belirtmekte fayda var. Apple’ın Neural Engine donanımı, pazarlama açısından büyük ilgi gören ilk büyük NPU’lardan biriydi. Google’ın Pixel cihazları için Tensor platformu da bir NPU içerirken, Samsung Galaxy telefonları da NPU’lara sahip.

Açıkçası, en yeni teknolojileri kullanmak riskli olabilir. Yapay zeka özellikleri için PC’nizi geleceğe hazırlama umuduyla Meteor Lake dizüstü bilgisayar almaya çalıştıysanız, Microsoft daha sonra Meteor Lake NPU’larının Copilot+ PC özellikleri için çok yavaş olduğunu duyurduğunda aslında zarar görmüş oldunuz. (Intel aynı fikirde değildi ve bu dizüstü bilgisayarların başlangıçta birlikte geldiği tüm özelliklere sahip olduğunuzu belirtti.)

Bunun olumlu yanı mı? Copilot+ PC özellikleri henüz o kadar ilgi çekici değil. Özellikle Windows Recall’ın gecikmesiyle birlikte, Copilot+ PC’ler hakkında dikkate değer bir şey yok. En büyük yapay zeka araçlarının çoğu (ChatGPT, Adobe Firefly, vb.) NPU bile kullanmıyor.

Yine de, yeni bir dizüstü bilgisayar alıyor olsaydım, mümkünse bir NPU almak isterdim. Aslında bir tane almak için çaba göstermenize gerek yok; bu sadece modern donanım platformlarıyla birlikte gelen bir şey. Ve bu modern işlemci platformları, büyük pil ömrü kazanımları gibi başka büyük özelliklere de sahip.

Öte yandan, hızlı NPU’lar şu anda yalnızca en yeni dizüstü bilgisayarlarda bulunuyor ve genellikle en yeni modeller kadar hızlı olan eski dizüstü bilgisayarlarda harika fırsatlar bulabilirsiniz. Önceki nesil bir dizüstü bilgisayar indirimli ise, sadece bir NPU için çok daha fazla para harcamak mantıklı olmayabilir, özellikle de çalıştırmayı planladığınız herhangi bir yapay zeka aracınız yoksa.

Bu yazının yazıldığı sırada, büyük yapay zeka araçlarının çoğu hala bulutta çalışıyor veya en azından bunu bir seçenek olarak sunuyor, böylece bunları herhangi bir Windows dizüstü bilgisayarda, Chromebook’ta ve hatta Android tabletlerde ve iPad’lerde bile çalıştırabileceksiniz.

Masaüstü bilgisayarlar için NPU durumu farklıdır. Intel’in masaüstü CPU’larında henüz NPU yok. Ryzen AI NPU’lu bir AMD masaüstü çipi arayabilirsiniz, ancak AMD’nin Ryzen 7000 ve 8000 serisi çiplerinin hiçbiri Copilot+ PC özelliklerini desteklemiyor. Yani, bir masaüstü PC topluyorsanız, şimdilik NPU’yu bir kenara bırakın. Henüz o kadar önemli değil.

Yüksek performanslı bir NPU’lu bir PC mi arıyorsunuz? Surface Laptop 7 gibi Arm tabanlı Windows dizüstü bilgisayarları ve Asus ProArt PX13 gibi AMD Ryzen AI 300 serisi dizüstü bilgisayarları göz önünde bulundurun. Ayrıca, Lunar Lake ile güçlendirilen Intel dizüstü bilgisayarlarının incelemeleri için de bizi izlemeye devam edin. O zamana kadar, bilmeniz gereken tüm AI PC jargonunu yakalayın.

Daha fazla okuma: Bir Copilot+ dizüstü bilgisayar satın almadan önce bilinmesi gereken temel şeyler