DOLAR 36,6181 0.07%
EURO 39,9470 0.16%
ALTIN 3.458,730,22
BITCOIN %
İstanbul
15°

PARÇALI BULUTLU

02:00

İMSAK'A KALAN SÜRE

adana haber - agrı haber - haber ajansı - akdag haber - akit tv haber - almanya haber - ana haber bülteni - news haber - ankara haber - arabistan haber - asayiş haber - spor haber - ataköy haber - avrupa gazetesi - avustralya haber - aybastı haber - azerbaycan haber - bağdat haber - bartın haber - başakşehir haber - basın bülten - batum haber - bayburt haber - beykent haber - bilişim haber - boomerang haber - çankırı haber - cnbc haber - cnn haber - dobra haber - doğuş gazetesi - dolunay haber - doruk haber - dünya haber merkezi - ermenistan haber - flash haber - fox haber - fox tv haber - fransa haber - gazete gündem - gaziantep haber - gaziantep haber - giresun haber - global bülten - gümüşhane haber - gümüşhane manşet/a> - gürcistan haber - haber28 haber - 365 haber - 365tv haber - haber60 haber - haber ajansı - haber aktif - best haber - birgün haber - objektif haber - haber özetleri - sizin haber - hakkari haber - hep haber - ığdır haber - ılgın haber - ingiltere haber - internet haber - iskenderun haber - istihbarat haber - kadının sesi haber - kanada haber - kanal24 haber - kanal7 haber - kanal a haber - kanal t haber - kapsam haber - karadeniz haber - karamürsel haber - kazakistan haber - kent haber - kıbrıs haber - kıbrıs tv haber - küçükçekmece haber - maçka haber - madtv haber - magazinpress haber - makedonia haber - malatya haber - megachannel haber - merkez ana haber - muş haber - olay tv haber - öncü haber - özbekistan haber - özgür haber - özlem haber - parti haber - pause haber - polis haber - samsun gazete haber - sandıklı haber - seçim haber - sendika haber - show haber - show tv haber - sivil haber - star tv haber - suriye haber - tatil haber - teşkilat haber - tokat gazete haber - trt1 haber - türkistan haber - tv5 haber - tvnet haber - ultra haber - ulusal bülten haber - ulusal kanal haber - vatan haber - uluslararası haber - yerel bülten haber - yeryüzü haber - zaman haber - adalet haber - adana gündem haber - alem haber - aliağa haber - amasya haber - anadolu manşet haber - ankara güncel haber - antalya haber - antep gazetesi haber - askeri haber - aydın haber - bağcılar haber - basın haber - beylikdüzü haber - beypazarı haber - beyşehir haber - bodrum haber - bomba haber - bozkır haber - cep haber - çeşme haber - denizli gündem haber - doğubeyazıt haber -elbistan haber - erzurum gündem haber - evrensel haber - evrim haber - gaziantep bülten haber - girişim haber - gölbaşı haber - 365 haber - 44 haber - 73 haber - 77 haber - aksiyon haber - arşiv haber - bir haber - channel haber - karadeniz haber - özet haber - port haber - sosyal haber - haber yazıyo - haber yelkeni - hemen haber - istanbul haber - istanbul son haber - kandıra haber - kars manşet haber - kayseri manşet haber - magazin tv haber - merzifon haber - nesil haber - news haber - onay haber - ordu manşet haber - şafak haber - samsun manşet haber - sarıyer haber - sarıyer son haber - sky haber - tarım haber - taşova haber - trabzon manşet haber - video haber - yükseliş haber - zafer haber - küre haber - haber - haber - anadolu haber - antakya haber - çarşamba haber - aksiyon haber - haber turu - ulusal haber - internet gazetesi haber - millet gazetesi haber" - moda haber -organik haber -smart haber -terme haber - zara haber
Diyar Web Tasarım Banner
Yandex Araştırmaları LLM’leri Sıkıştırmak İçin Yeni Yöntemler Geliştirerek Yapay Zeka Dağıtım Maliyetlerini 8 Kata Kadar Azalttı
79 okunma

Yandex Araştırmaları LLM’leri Sıkıştırmak İçin Yeni Yöntemler Geliştirerek Yapay Zeka Dağıtım Maliyetlerini 8 Kata Kadar Azalttı

ABONE OL
31 Temmuz 2024 12:06
Yandex Araştırmaları LLM’leri Sıkıştırmak İçin Yeni Yöntemler Geliştirerek Yapay Zeka Dağıtım Maliyetlerini 8 Kata Kadar Azalttı
0

BEĞENDİM

ABONE OL

Yandex Araştırma ekibi, IST Austria, NeuralMagic ve KAUST araştırmacılarla işbirliği yaparak büyük dil modelleri için iki yeni sıkıştırma yöntemi geliştirdi: Dil Modelleri için Eklemeli Niceleme (AQLM) ve PV-Tuning. Bu yöntemler bir araya getirildiğinde model boyutunda 8 kata kadar azalma sağlarken yanıt kalitesini %95 oranında koruyor. Kaynakları optimize etmeyi ve büyük dil modellerinin çalıştırılmasında verimliliği artırmayı amaçlayan bu yeni yaklaşımın detaylarına dair makale, şu an Viyana, Avusturya’da devam etmekte olan Uluslararası Makine Öğrenimi Konferansı’nda (ICML) yer aldı.

 

AQLM ve PV-Tuning’in temel özellikleri

 

AQLM, LLM sıkıştırması için geleneksel olarak bilgi erişiminde kullanılan eklemeli niceleme yönteminden yararlanıyor. Ortaya çıkan yöntem aşırı sıkıştırma altında modelin doğruluğunu koruyup geliştiriyor, böylece LLM’lerin ev bilgisayarları gibi günlük cihazlarda yaygınlaştırılmasını mümkün kılıyor. Bu, bellek tüketiminde önemli bir azalmaya neden oluyor.

 

PV-Tuning ise model sıkıştırma işlemi sırasında ortaya çıkabilecek hataları gideriyor. AQLM ve PV-Tuning birleştirildiğinde, sınırlı bilgi işlem kaynaklarında bile yüksek kalitede yanıtlar sağlayabilen kompakt bir model eşliğinde optimum sonuçlar sunuyor.

 

Yöntem değerlendirme ve tanıma

 

Sunulan yöntemlerin etkinliği, LLama 2, Mistral ve Mixtral gibi popüler açık kaynaklı modeller kullanılarak titizlikle değerlendirildi. Araştırmacılar bu büyük dil modellerini sıkıştırarak cevap kalitesini İngilizce karşılaştırma ölçütleri olan WikiText2 ve C4 ile değerlendirdi. Modeller 8 kat sıkıştırılmalarına rağmen %95 gibi etkileyici bir oranda cevap kalitesini korumayı başardı.

 

 AQLM ve PV-Tuning’den kimler yararlanabilir

 

Yeni yöntemler, tescilli dil modellerini ve açık kaynaklı LLM’leri geliştiren ve dağıtan şirketler için önemli ölçüde kaynak tasarrufu sağlıyor. Örneğin sıkıştırma sonrası 13 milyar parametreye sahip Llama 2 modeli artık 4 yerine sadece 1 GPU üzerinde çalışarak donanım maliyetlerinde 8 kata kadar azalma sağlıyor. Bu da girişimlerin, bireysel araştırmacıların ve LLM meraklılarının Llama gibi gelişmiş LLM’leri günlük kullandıkları bilgisayarlarda çalıştırabilecekleri anlamına geliyor.

 

Yeni LLM uygulamalarını keşfetmek

 

AQLM ve PV-Tuning, modellerin sınırlı hesaplama kaynaklarına sahip cihazlarda çevrimdışı olarak dağıtılmasını mümkün kılarak, akıllı telefonlar, akıllı hoparlörler ve daha fazlası için yeni kullanım alanları sağlar. Bu cihazlara entegre edilen gelişmiş LLM’ler sayesinde kullanıcılar metin ve görüntü oluşturma, sesli yardım, kişiselleştirilmiş öneriler ve hatta gerçek zamanlı dil çevirisini aktif bir internet bağlantısına ihtiyaç duymadan kullanabiliyor.

 

Ayrıca, bu yöntemler kullanılarak sıkıştırılan modeller daha az hesaplama gerektirdiğinden 4 kata kadar daha hızlı çalışabiliyor.

 

Uygulama ve erişim

 

Dünya genelindeki geliştiriciler ve araştırmacılar, GitHub’da bulunan AQLM ve PV-Tuning’i kullanabiliyor. Geliştiriciler tarafından sağlanan demo materyalleri, çeşitli uygulamalar için sıkıştırılmış LLM’leri etkili bir şekilde eğitmek için rehberlik sunuyor. Ayrıca geliştiriciler, bu yöntemler kullanılarak sıkıştırılmış popüler açık kaynaklı modelleri indirebiliyorlar.

 

ICML’de öne çıktı

 

Yandex Research’ün AQLM sıkıştırma yöntemine ilişkin bilimsel makalesi, dünyanın en prestijli makine öğrenimi konferanslarından biri olan ICML’de yayınlandı. IST Austria’dan araştırmacılar ve yapay zeka girişimi Neural Magic’ten uzmanlarla birlikte hazırlanan bu çalışma, LLM sıkıştırma teknolojisinde önemli bir ilerleme anlamına geliyor.

Kaynak: (BYZHA) Beyaz Haber Ajansı

En az 10 karakter gerekli


HIZLI YORUM YAP

SKYPE: live:d434eb2001a206b2

deneme bonusu veren siteler deneme bonusu veren siteler antep Escort Avrupa Yakası Escort bakırköy escort esenyurt escort beylikdüzü escort avcılar escort beylikdüzü escort esenyurt escort şirinevler escort bakırköy escort şişli escort taksim escort avrupa yakası escort istanbul escort beylikdüzü escort порно видео betpuan betpuan betpuan gaziantep escort gaziantep escort şahinbey escort mersin escort alanya escort alanya escort casino siteleri slot siteleri denemebonusu3.com

SKYPE: live:d434eb2001a206b2