Yerel AI Söyleşi Robotları ChatGPT’ye Alternatif Sunuyor
Open AI’ın ChatGPT adlı AI söyleşi robotu, yapay zekayı canlandırdı ve medya gündemine oturdu. Ancak Open AI’ın AI modelleri dışında, ilgiyi hak eden başka söyleşi robotları da bulunmaktadır. Dahası, ChatGPT’nin aksine, bunlar PC’de yerel olarak kullanılabilir ve sınırsız bir süre için ücretsiz olarak kullanılabilir.
İşte eski donanımlarda da çalışan dört yerel söyleşi robotunu sizlere tanıtacağız. Onlarla sohbet edebilir veya metinler oluşturabilirsiniz.
Sunulan söyleşi robotları genellikle iki bölümden oluşur: ön uç ve bir AI modeli, yani büyük dil modeli. Aracı yükledikten sonra ön uçta hangi modelin çalışacağına siz karar verirsiniz. Temel bilgileri biliyorsanız, işletim zor değildir. Ancak, bazı söyleşi robotları oldukça kapsamlı ayar seçenekleri sunar. Bunları kullanmak uzmanlık bilgisi gerektirir. Bununla birlikte, botlar standart ayarlarla da iyi çalışabilir.
Yerel Bir Büyük Dil Modelinden (Büyük Dil Modeli) Bekleyebileceğiniz Şeyler
Bir büyük dil modelinden ne bekleyeceğiniz, ona ne sunduğunuza da bağlıdır: Büyük dil modelleri, hızlı yanıt verebilmek için işlem gücüne ve bol miktarda RAM’e ihtiyaç duyar.
Bu gereksinimler karşılanmazsa, büyük modeller başlamaz ve küçük olanlar acı verici derecede uzun süre yanıt verecektir. Nvidia veya AMD’den güncel bir ekran kartınız varsa işler daha hızlıdır, çünkü çoğu yerel söyleşi robotu ve AI modeli daha sonra donanımın GPU’sundan yararlanabilir.
PC’nizde yalnızca zayıf bir ekran kartınız varsa, her şeyin CPU tarafından hesaplanması gerekir – ve bu zaman alır. PC’nizde yalnızca 8 GB RAM varsa, yalnızca çok küçük AI modelleri başlatabilirsiniz. Bir dizi basit soruya doğru cevaplar verebilseler de, yan konularda hızla sorunlarla karşılaşırlar. 12 GB RAM sunan bilgisayarlar zaten oldukça iyidir, ancak 16 GB RAM veya daha fazlası daha da iyidir.
O zaman 7 ila 12 milyar parametreyle çalışan AI modelleri bile sorunsuz çalışacaktır. Bir modelin kaç parametreye sahip olduğunu genellikle adından anlayabilirsiniz. Sonunda, 2 milyar veya 7 milyar gibi bir ilaveten 2B veya 7B kısaltması kullanılır.
Donanımınız için öneri: 2,6 milyar parametreye sahip Gemma 2 2B, halihazırda 8 GB RAM ile ve GPU desteği olmadan çalışmaktadır. Sonuçlar genellikle hızlı ve iyi yapılandırılmıştır. Daha az talepkar bir AI modeline ihtiyacınız varsa, örneğin LM Studio’daki Llama 3.2 1B’yi kullanabilirsiniz.
Bilgisayarınız çok miktarda RAM ve hızlı bir GPU ile donatılmışsa, Gemma 2 7B veya biraz daha büyük bir Llama modelini, örneğin Llama 3.1 8B’yi deneyin. Modelleri Msty, GPT4All veya LM Studio söyleşi robotları üzerinden yükleyebilirsiniz.
Llama dosyaları için AI modelleri hakkında bilgi aşağıda yer almaktadır. Ve bilginiz olsun: Open AI’dan ChatGPT PC’de mevcut değildir. Open AI’dan uygulamalar ve PC araçları tüm istekleri internete gönderir.
Çeşitli Söyleşi Robotlarını Kullanma
Çeşitli söyleşi robotlarını kullanmak birbirine çok benzer. Aracı yüklersiniz, ardından aracılığıyla bir AI modeli yükler ve ardından programın sohbet alanına geçersiniz. Ve işte hazırsınız.
Llamafile söyleşi robotuyla bir modeli indirmeye gerek yoktur, çünkü Llamafile’a bir AI modeli zaten entegre edilmiştir. Bu nedenle, birkaç Llamafile vardır ve her biri farklı bir modele sahiptir. İşte bu yüzden AI ile iletişim kurmanın en basit yolu Llamafile’dır. Projenin amacı, yapay zekayı herkes için erişilebilir kılmaktır. Bu nedenle yaratıcılar gerekli tüm dosyaları, yani ön uç ve AI modelini tek bir dosyaya, yani Llamafile’a paketlerler.
Bu dosyanın indirilmesi ve söyleşi robotunun tarayıcıda kullanılması yeterlidir. Ancak kullanıcı arayüzü pek çekici değil.
Llamafile söyleşi robotu, farklı AI modelleriyle farklı sürümlerde mevcuttur. Llava modeliyle sohbete görüntüler de ekleyebilirsiniz. Genel olarak Llamafile, söyleşi robotu olarak kullanımı kolaydır.
Llamafile’ın Kurulumu
Bilgisayarınıza yalnızca bir dosya indirilir. Seçilen modele göre dosya adı farklıdır. Örneğin, 7 milyar parametreli Llava 1.5 modeliyle Llamafile’ı seçtiyseniz, dosyanın adı "llava-v1.5-7bq4.llamafile" olur. .exe dosya uzantısı burada eksik olduğundan, indirdikten sonra Windows Gezgini’nde dosyanın adını yeniden adlandırmalısınız.
Windows Gezgini’nden gelen bir uyarıyı "Evet"e tıklayarak görmezden gelebilirsiniz. Dosya adı şu şekilde olacaktır: "llava-v1.5-7b-q4.llamafile.exe". Söyleşi robotunu başlatmak için dosyaya çift tıklayın. Eski PC’lerde Microsoft Defender Smartscreen’in uyarı vermesi biraz zaman alabilir.
"Yine de Çalıştır" üzerine tıklayın. Komut penceresi açılır ancak bu yalnızca program içindir. Söyleşi robotunun kendine ait bir kullanıcı arayüzü yoktur, ancak tarayıcıda çalıştırılmalıdır. Varsayılan tarayıcınızı otomatik olarak başlatılmazsa başlatın ve 127.0.0.1:8080 veya localhost:8080 adresini girin.
Farklı bir AI modeli kullanmak istiyorsanız, farklı bir Llamafile indirmelisiniz. Bunlar Llamafile.ai adresinde sayfanın aşağısında "Diğer örnek llamafile’lar" tablosu altında bulunabilir. Her Llamafile, .exe dosya uzantısına ihtiyaç duyar.
Llamafile ile Sohbet Etme
Tarayıcıdaki kullanıcı arayüzü, üstte söyleşi robotu için ayar seçeneklerini gösterir. Sohbet girişi, sayfanın alt kısmında "Bir şey söyleyin"in altındadır.
Llava (llava-v1.5-7b-q4.llamafile) ile bir Llamafile başlattıysanız, yalnızca sohbet etmekle kalmaz, aynı zamanda "Görüntü Yükle" ve "Gönder" aracılığıyla görüntüleri açıklatabilirsiniz. Llava, "Büyük Dil ve Görüntü Yardımcısı" anlamına gelir. Söyleşi robotunu sonlandırmak için komut istemini kapatmanız yeterlidir.
İpucu: Llava dosyaları kendi ağınızda kullanılabilir. Söyleşi robotunu ev ağınızdaki güçlü bir bilgisayarda başlatın. Diğer bilgisayarların bu bilgisayara erişim yetkisinin olduğundan emin olun. Daha sonra internet tarayıcısı ve ":8080" adresi üzerinden oradan söyleşi robotunu kullanabilirsiniz. Bunu, söyleşi robotunun çalıştığı PC’nin adresini yerine yazın.
Msty: Çoklu Dilde Model Desteği ve Gelişmiş Özellikler
Msty, çok sayıda dil modeline erişim, iyi kullanıcı kılavuzu ve AI’da kullanılmak üzere kendi dosyalarınızı içe aktarma olanağı sunar. Her şey kendiliğinden açıklayıcı değildir, ancak kısa bir alıştırma süresinden sonra kullanımı kolaydır.
Kendi dosyalarınızı AI’ya tamamen yerel olarak sunmak istiyorsanız, bunu Msty’de sözde Bilgi Yığını’nda yapabilirsiniz. Bu biraz iddialı geliyor. Ancak Msty aslında burada tanıtılan dört söyleşi robotunun en iyi dosya entegrasyonunu sunuyor.
Msty’nin yüklenmesi iki sürümde mevcuttur: biri Nvidia ve AMD GPU’larını desteklerken diğeri yalnızca CPU’da çalışır. Msty yükleme sihirbazını başlattığınızda, yerel bir yükleme ("Yerel AI Kur") veya bir sunucuya yükleme arasında seçim yapma şansına sahip olursunuz.
Yerel kurulum için alt pencerede Gemma 2 modeli zaten seçilidir. Bu model yalnızca 1,6 GB boyutundadır ve daha zayıf donanımlarda metin oluşturmak için çok uygundur. "Gemma2" üzerine tıklarsanız, Gemma 2 2B veya Llama 3.1 8B gibi beş model daha arasından seçim yapabilirsiniz.
"Çevrimiçi Modelleri Gözat ve İndir", www.ollama.com ve www.huggingface.com AI sayfalarına ve dolayısıyla çoğu ücretsiz AI modeline erişim sağlar.
Msty’nin özel bir özelliği, aynı anda birkaç AI modeline tavsiye sorabilmenizdir. Ancak, PC’niz hızlı yanıt vermek için yeterli belleğe sahip olmalıdır.
