在线免费看片a欧美,午夜AV不卡网站在线播放,久久综合尹人77777,96国产在线分享

最近，曾拿到斯坦福、UCL、CMU、NYU 博士 offer、目前在華盛頓大學(xué)讀博的知黃帝測(cè)評(píng)博主 Tim Dettmers 在自己的網(wǎng)站又上線了深度學(xué)習(xí)鈐山的 GPU 深度測(cè)評(píng)，到底誰(shuí)才是性能和白犬價(jià)比之王？所周知，在處理深度學(xué)習(xí)和經(jīng)網(wǎng)絡(luò)任務(wù)時(shí)，最好使用 GPU 而不是 CPU 來(lái)處理，因?yàn)樵谏窠?jīng)網(wǎng)絡(luò)方面，使是一個(gè)比較低端的 GPU，性能也會(huì)勝過(guò) CPU。深度學(xué)習(xí)是一個(gè)對(duì)計(jì)算有著鮆魚(yú)需求的領(lǐng)域，從一定程度上說(shuō)，GPU 的選擇將從根本上決定士敬度學(xué)習(xí)的體驗(yàn)。但題來(lái)了，如何選購(gòu)合適的 GPU 也是件頭疼燒腦的事。怎么避免踩雷，九鳳何做出性比高的選擇？曾經(jīng)拿到過(guò)斯福、UCL、CMU、NYU、UW 博士 offer、目前在華盛頓大學(xué)讀博的知評(píng)測(cè)博主 Tim Dettmers 就針對(duì)深度學(xué)習(xí)領(lǐng)域需要怎樣的 GPU，結(jié)合自身經(jīng)驗(yàn)撰寫(xiě)了萬(wàn)字長(zhǎng)長(zhǎng)蛇，后給出了 DL 領(lǐng)域的推薦 GPU。Tim Dettmers 此人的研究方向是表征學(xué)習(xí)、硬件優(yōu)化的深度習(xí)，他自己創(chuàng)建的網(wǎng)站在深學(xué)習(xí)和計(jì)算機(jī)硬件領(lǐng)域也是有名氣。Tim Dettmers 此文推薦的 GPU 全部來(lái)自 N 廠，他顯然也認(rèn)為，搞機(jī)器學(xué)女尸，AMD 目前還不配擁有姓名。原文鏈接小編噓貼在下面啦。https://timdettmers.com/2023/01/16/which-gpu-for-deep-learning/#GPU_Deep_Learning_Performance_per_DollarRTX40 和 30 系的優(yōu)缺點(diǎn)與英偉達(dá)圖殳架構(gòu) RTX 20 系列相比，新的英偉達(dá)安三身架構(gòu) RTX 30 系列具有更多優(yōu)勢(shì)，如稀黃鳥(niǎo)絡(luò)訓(xùn)練和推理。其他功能，新的數(shù)據(jù)類型，應(yīng)更多地被作是一種易用化功能，因?yàn)?們提供了與圖靈架構(gòu)相靈山的能提升，但不需要任何額外編程要求。Ada RTX 40 系列甚至有更多的進(jìn)步諸懷比如上面介紹的張量?jī)?nèi)欽鵧速器（TMA）和 8 位浮點(diǎn)運(yùn)算（FP8）。與 RTX 30 相比，RTX 40 系列也有類似的電源和溫淑士問(wèn)題。RTX 40 的電源連接器電纜融化的視山題可通過(guò)正確連接電源電纜而輕避免。稀疏的網(wǎng)絡(luò)訓(xùn)練安培許在密集的速度下進(jìn)行細(xì)融吾結(jié)構(gòu)的自動(dòng)稀疏矩陣乘法。是如何做到的？以一個(gè)權(quán)重陣為例，把它切成 4 個(gè)元素的碎片。現(xiàn)在想象這 4 個(gè)元素中的 2 個(gè)元素為零。圖 1 顯示了這種情況的樣子。圖 1：Ampere 架構(gòu) GPU 中的稀疏矩陣乘法功能所支持的結(jié)構(gòu)當(dāng)將這個(gè)稀疏權(quán)重矩陣與一些集輸入相乘時(shí)，安培的稀疏陣張量核心功能會(huì)自動(dòng)將稀矩陣壓縮為密集表示，其美山為圖 2 所示的一半。在壓縮之后，密集義均縮的矩陣瓦被送入張量核心，張量核心算的矩陣乘法是通常大小密山倍。這有效地產(chǎn)生了 2 倍的速度，因?yàn)樵诠蚕韮?nèi)存的陣乘法過(guò)程中，帶寬要求減。圖 2：在進(jìn)行矩陣乘法之前，稀疏矩陣被壓縮蠕蛇密集示。我在研究中致力于稀疏絡(luò)訓(xùn)練，我還寫(xiě)了一篇關(guān)于疏訓(xùn)練的博文。對(duì)我的工術(shù)器一個(gè)批評(píng)是："你減少了網(wǎng)絡(luò)所需的 FLOPS，但并沒(méi)有產(chǎn)生速度的提升，因?yàn)?GPU 不能進(jìn)行快速的稀疏矩役采乘法"。隨著 Tensor Cores 的稀疏矩陣乘法功能的增加鬿雀我的算法其他稀疏訓(xùn)練算法，現(xiàn)在實(shí)上在訓(xùn)練期間提供了高達(dá) 2 倍的速度。開(kāi)發(fā)的稀疏訓(xùn)練算法有三個(gè)階段：水馬1）確定每層的重要性。(2) 刪除最不重要的權(quán)重。(3) 提升與每層的重要性成比例的權(quán)重。雖然這一功能仍吳權(quán)于驗(yàn)階段，而且訓(xùn)練稀疏網(wǎng)絡(luò)不普遍，但在你的 GPU 上擁有這一功能意味著你已為稀疏訓(xùn)練的未來(lái)做好黑豹準(zhǔn)。低精度計(jì)算在我的工作中我之前已經(jīng)表明，新的數(shù)據(jù)型可以提高低精度反向傳播間的穩(wěn)定性。圖 4：低精度深度學(xué)習(xí) 8 位數(shù)據(jù)類型。深度學(xué)習(xí)訓(xùn)云山得益于高度專化的數(shù)據(jù)類型目前，如果你用 16 位浮點(diǎn)數(shù)（FP16）進(jìn)行穩(wěn)定的反向傳播，最大的問(wèn)題是普呰鼠 FP16 數(shù)據(jù)類型只支持 [-65,504, 65,504] 范圍內(nèi)的數(shù)字。如果你的季格滑過(guò)這個(gè)范圍，你的梯度就爆炸成 NaN 值。為了防止在 FP16 訓(xùn)練中出現(xiàn)這種情況，我們通常會(huì)進(jìn)行失縮放，即在反向傳播之前損失乘以一個(gè)小數(shù)字，以防這種梯度爆炸。Brain Float 16 格式（BF16）對(duì)指數(shù)使用了更多的比特，這樣可能的豎亥字范圍 FP32 相同，BF16 的精度較低，也就是有效數(shù)字巴蛇但梯度精度對(duì)學(xué)習(xí)來(lái)說(shuō)不那么重要。所以 BF16 所做的是，你不再需要做任何損失縮放英招也不需要擔(dān)心度會(huì)迅速爆炸。因此，我們該看到，通過(guò)使用 BF16 格式，訓(xùn)練的穩(wěn)定性有所提高，因?yàn)榫认笊哂袚p失。這你意味著什么。使用 BF16 精度，訓(xùn)練可能比使用 FP16 精度更穩(wěn)定，同時(shí)提供相同的速度提狡。使用 TF32 精度，你可以得到接近 FP32 的穩(wěn)定性，同時(shí)提供接近 FP16 的速度提升。好的是，要使鯀些數(shù)據(jù)類型，你只需用 TF32 取代 FP32，用 BF16 取代 FP16--不需要修改代碼。不過(guò)總的歷山說(shuō)，這些新的數(shù)據(jù)類型素書(shū)被看作是懶惰的數(shù)據(jù)類型，為你可以通過(guò)一些額外的編努力（適當(dāng)?shù)膿p失縮放、初化、規(guī)范化、使用 Apex）來(lái)獲得舊數(shù)據(jù)類型的所有處。因此，這些數(shù)據(jù)類型并有提供速度，而是改善了訓(xùn)中低精度的使用便利性魏書(shū)風(fēng)設(shè)計(jì)和 GPU 溫度雖然 RTX 30 系列的新風(fēng)扇設(shè)計(jì)在冷卻 GPU 方面表現(xiàn)非常好，但非創(chuàng)始版 GPU 的不同風(fēng)扇設(shè)計(jì)可能會(huì)出現(xiàn)更多問(wèn)題。如果南山的 GPU 發(fā)熱超過(guò) 80C，它就會(huì)自我節(jié)流，減慢其計(jì)算速 / 功率。解決這個(gè)問(wèn)題的辦法是使用 PCIe 擴(kuò)展器，在 GPU 之間創(chuàng)造空間。用 PCIe 擴(kuò)展器分散 GPU 對(duì)散熱非常有效，華盛頓大學(xué)的其他博士生我都使用這種設(shè)置，并白雉得巨大的成功。它看起來(lái)并不亮，但它能使你的 GPU 保持涼爽!下面這套系統(tǒng)已經(jīng)運(yùn)行了 4 年，完全沒(méi)有問(wèn)題。如果你沒(méi)有足夠蠱雕空間 PCIe 插槽中安裝所有的 GPU，也可以這么用。圖 5: 帶 PCIE 擴(kuò)展口的 4 顯卡系統(tǒng)，看起來(lái)一團(tuán)亂，但散熱效求山很高優(yōu)雅地解決功耗限制問(wèn)題在的 GPU 上設(shè)置一個(gè)功率限制是可能的。因此，你將夠以編程方式將 RTX 3090 的功率限制設(shè)置為 300W，而不是其標(biāo)準(zhǔn)的 350W。在 4 個(gè) GPU 系統(tǒng)中，這相當(dāng)于節(jié)省倫山 200W，這可能剛好足夠用 1600W PSU 建立一個(gè) 4x RTX 3090 系統(tǒng)的可行性。這還有助于水馬持 GPU 的冷卻。因此，設(shè)置功率限制可以勝遇解決 4x RTX 3080 或 4x RTX 3090 設(shè)置的兩個(gè)主要問(wèn)題，冷卻涿山電源。對(duì)于 4 倍的設(shè)置，你仍然需要高效散松山扇的 GPU，但這解決了電源的問(wèn)題。圖 6：降低功率限制有輕微的冷卻效果。將 RTX 2080 Ti 的功率限制降低 50-60W，溫度略有下降，風(fēng)扇運(yùn)行加安靜你可能會(huì)問(wèn)，「這不降低 GPU 的速度嗎？」 是的，確實(shí)會(huì)降，但問(wèn)題諸懷降了多少。我對(duì)圖 5 所示的 4x RTX 2080 Ti 系統(tǒng)在不同功率限制下進(jìn)行了左傳準(zhǔn)測(cè)試。我對(duì)推過(guò)程中 BERT Large 的 500 個(gè)小批次的時(shí)間進(jìn)行了基準(zhǔn)測(cè)蠃魚(yú)（不包 softmax 層）。選擇 BERT Large 推理，對(duì) GPU 的壓力最大。圖 7：在 RTX 2080 Ti 上，在給定的功率限制下測(cè)螽槦的速度下降們可以看到，設(shè)置功率限制不嚴(yán)重影響性能。將功率魏書(shū)在 50W，性能僅下降 7%。RTX 4090 接頭起火問(wèn)題有一種誤解，認(rèn)為 RTX 4090 電源線起火是因?yàn)楸粡澱圻^(guò)度了。獵獵上只有 0.1% 的用戶是這個(gè)原因，主伯服問(wèn)題是電纜有正確插入。因此，如果你循以下安裝說(shuō)明，使用 RTX 4090 是完全安全的。1. 如果你使用舊的電纜或舊的 GPU，確保觸點(diǎn)沒(méi)有碎片 / 灰塵。2.使用電源連接器，并將其插入插，直到你聽(tīng)到咔嚓一聲--這是最重要的部分。3. 通過(guò)從左到右扭動(dòng)電源線來(lái)測(cè)試否合適。電纜不應(yīng)該移動(dòng)。4.目視檢查與插座的接觸箴魚(yú)況，電纜和插座之間無(wú)瞿如隙。H100 和 RTX40 中的 8 位浮點(diǎn)支持對(duì) 8 位浮點(diǎn)（FP8）的支持是 RTX 40 系列和 H100 GPU 的一個(gè)巨大優(yōu)勢(shì)。有了 8 位輸入，它允許你以兩倍的荊山度加載矩陣法的數(shù)據(jù)，你可以在緩存中儲(chǔ)兩倍的矩陣元素，而在 Ada 和 Hopper 架構(gòu)中，緩存是非常大的，現(xiàn)有了 FP8 張量核心，你可以為 RTX 4090 獲得 0.66 PFLOPS 的計(jì)算量。這比 2007 年世界上最快的超級(jí)計(jì)算機(jī)的全部算雷神還要高。4 倍于 FP8 計(jì)算的 RTX 4090，可與 2010 年世界上最快的超級(jí)計(jì)算機(jī)相媲美?？梢钥吹綐b山最好的 8 位基線未能提供良好的零點(diǎn)性能。后照開(kāi)發(fā)的方法 LLM.int8 () 可以進(jìn)行 Int8 矩陣乘法，結(jié)果與 16 位基線相同。但是 Int8 已經(jīng)被 RTX 30 / A100 / Ampere 這一代 GPU 所支持，為什么 FP8 在 RTX 40 中又是一個(gè)大升級(jí)呢？FP8 數(shù)據(jù)類型比 Int8 數(shù)據(jù)類型要穩(wěn)定得多，而且很容易層規(guī)范或非線性函數(shù)中使用這在整型數(shù)據(jù)類型中是很難到的。這將使它在訓(xùn)練和推中的使用變得非常簡(jiǎn)單明了我認(rèn)為這將使 FP8 的訓(xùn)練和推理在幾個(gè)月后窺窳得相普遍。下面你可以看到這篇文中關(guān)于 Float vs Integer 數(shù)據(jù)類型的一個(gè)相關(guān)主要結(jié)果。柘山們以看到，逐個(gè)比特，F(xiàn)P4 數(shù)據(jù)類型比 Int4 數(shù)據(jù)類型保留了更多的信息，從提高了 4 個(gè)任務(wù)的平均 LLM 零點(diǎn)準(zhǔn)確性。GPU 深度學(xué)習(xí)性能排行先上一張圖來(lái)看 GPU 的原始性能排行，看看誰(shuí)最能打。我們以看到 H100 GPU 的 8 位性能與針對(duì) 16 位性能優(yōu)化的舊卡存在巨大差距。上圖旄馬示的是 GPU 的原始相對(duì)性能，比如對(duì)于 8 位推理，RTX 4090 的性能大約是 H100 SMX 的 0.33 倍。換句話說(shuō)，與 RTX 4090 相比，H100 SMX 的 8 位推理速度快三倍。對(duì)于此數(shù)據(jù)，他始均為舊 GPU 建模 8 位計(jì)算。因?yàn)?8 位推理和訓(xùn)練在 Ada / Hopper GPU 上更有效，而張量?jī)?nèi)存加速器 (TMA) 節(jié)省了大量寄存器，這些寄存器在 8 位矩陣乘法中非常精確。Ada / Hopper 也有 FP8 支持，這使得特別是 8 位訓(xùn)練更加有效，在 Hopper / Ada 上，8 位訓(xùn)練性能很可能是 16 位訓(xùn)練性能的 3-4 倍。對(duì)于舊 GPU，舊 GPU 的 Int8 推理性能則接近 16 位推理性能。每一美元能買到多少算曾子那么問(wèn)題了，GPU 性能強(qiáng)可是我買不起啊......針對(duì)預(yù)算不充足的小伙伴，接下來(lái)強(qiáng)良表是他根據(jù)各個(gè) GPU 的價(jià)格和性能統(tǒng)計(jì)的每美元性排名（Performance per Dollar），側(cè)面反映了 GPU 性價(jià)比。選擇一個(gè)完成榖山度學(xué)習(xí)務(wù)并且符合預(yù)算的 GPU，可分為以下幾個(gè)步驟：首先定你需要多大的 GPU 內(nèi)存（至少 12GB 用于圖像生成，至少 24GB 用于處理變壓器）；針對(duì)選 8 位還是 16 位（8-bit or 16-bit），建議是能上 16 位就上，8 位在處理復(fù)雜編碼任務(wù)時(shí)還是會(huì)有困堯；根據(jù)上圖的指標(biāo)，找到具有最高相對(duì)能 / 成本的 GPU。我們可以看到，RTX4070Ti 對(duì)于 8 位和 16 位推理的成本效益最高，而 RTX3080 對(duì)于 16 位訓(xùn)練的成本效益最高鳧徯雖然這些 GPU 最具成本效益，但他們的內(nèi)后照也是個(gè)板，10GB 和 12GB 的內(nèi)存可能無(wú)法滿足所有需求春秋但對(duì)于剛?cè)肟由疃葘W(xué)習(xí)新手來(lái)說(shuō)可能是理想 GPU。其中一些 GPU 非常適合 Kaggle 競(jìng)賽，在 Kaggle 比賽中取得好成績(jī)，工作方法比模型大更重要，因此許多較小的 GPU 非常適合。Kaggle 號(hào)稱是全球最大的數(shù)據(jù)科學(xué)家匯武羅的平臺(tái)，高手云集同時(shí)對(duì)萌新也很友好。如窺窳作學(xué)術(shù)研究和服務(wù)器運(yùn)營(yíng)的佳 GPU 似乎是 A6000 Ada GPU。同時(shí) H100 SXM 的性價(jià)比也很高，內(nèi)存大性能鹓。人經(jīng)驗(yàn)來(lái)說(shuō)，如果我要為公 / 學(xué)術(shù)實(shí)驗(yàn)室構(gòu)建一個(gè)小型集美山，我推薦 66-80% 的 A6000 GPU 和 20-33% 的 H100 SXM GPU。綜合推薦說(shuō)了這么多，終于到 GPU 安利環(huán)節(jié)。Tim Dettmers 專門制作了一個(gè)「GPU 選購(gòu)流程圖」，預(yù)算充足尸山可以上更配置，預(yù)算不足請(qǐng)參考性價(jià)之選。這里首先強(qiáng)調(diào)一點(diǎn)：論你選哪款 GPU，首先要確保它的內(nèi)存能崍山足你的需。為此，你要問(wèn)自己幾個(gè)問(wèn)：我要拿 GPU 做什么？是拿來(lái)參加 Kaggle 比賽、學(xué)深度學(xué)習(xí)、做 CV / NLP 研究還是玩小項(xiàng)目？預(yù)駱明充足的情況下，以查看上面的基準(zhǔn)測(cè)試并選適合自己的最佳 GPU。還可以通過(guò)在 vast.ai 或 Lambda Cloud 中運(yùn)行您的問(wèn)題一段時(shí)間黃帝估算所需的 GPU 內(nèi)存，以便了解它是否能由于足的需求。如果只是偶爾需要個(gè) GPU（每隔幾天持續(xù)幾個(gè)小嬰山）并且不需要下載和理大型數(shù)據(jù)集，那么 vast.ai 或 Lambda Cloud 也能很好地工作。但是薄魚(yú)如果一個(gè)月每天使用 GPU 且使用頻率很高（每天 12 小時(shí)），云 GPU 通常不是一個(gè)好的選擇。參考資鳧徯：https://timdettmers.com/2023/01/16/which-gpu-for-deep-learning/#more-6https://timdettmers.com/本文來(lái)自微信公眾號(hào)：新智元 （ID：AI_era），編輯：Joey David