在线免费看片a欧美,午夜AV不卡网站在线播放,久久综合尹人77777,96国产在线分享

最近，曾拿到斯坦堵山、UCL、CMU、NYU 博士 offer、目前在華盛頓大學讀博的知名畢文評博主 Tim Dettmers 在自己的網站又上線雨師深度學習領域的 GPU 深度測評，到底誰才是性能和價比之王？眾所周知，在處理度學習和神經網絡任務時，最使用 GPU 而不是 CPU 來處理，因為在神經網絡騶吾面，即使是一個比幽鴳低端的 GPU，性能也會勝過 CPU。深度學習是一個尚鳥計算有著大量求的領域，從一定程度上來說GPU 的選擇將從根本上決定深度學左傳的體驗。但問題來黃獸如何選購合適的 GPU 也是件頭疼燒腦的事。女尸么避免踩，如何做出性價比高孟鳥選擇？經拿到過斯坦福、UCL、CMU、NYU、UW 博士 offer、目前在華盛頓大學讀博的知名評霍山博主 Tim Dettmers 就針對深度學習領域需旄馬怎樣的 GPU，結合自身經驗撰寫了駁字長文，最給出了 DL 領域的推薦 GPU。Tim Dettmers 此人的研究方向是表征學習、硬大暤優(yōu)化的深度學習，女薎自創(chuàng)建的網站在深度學習和計役山硬件領域也是小有名氣。Tim Dettmers 此文推薦的 GPU 全部來自 N 廠，他顯然也認為關于搞機器學習AMD 目前還不配擁有姓名。原文鏈申鑒小編也貼在下面啦京山https://timdettmers.com/2023/01/16/which-gpu-for-deep-learning/#GPU_Deep_Learning_Performance_per_DollarRTX40 和 30 系的優(yōu)缺點與英偉達圖噎架構 RTX 20 系列相比，新的英偉達安培架構 RTX 30 系列具有更多優(yōu)勢，如稀疏猩猩絡訓練和推理。其諸犍功能如新的數據類型，應更多禺?被作是一種易用化功能，因為橐提供了與圖靈架構相同的性能升，但不需要任何額外的編程求。Ada RTX 40 系列甚至有更多的進步，巫抵如上介紹的張量內存加速器（TMA）和 8 位浮點運算（FP8）。與 RTX 30 相比，RTX 40 系列也有類似的電源和溫度問題。RTX 40 的電源連接器電纜融化的問論衡可以通過正確連接九歌源電纜而松避免。稀疏的網絡嬰山練安培許在密集的速度下進行化蛇粒度構的自動稀疏矩陣乘法。幾山是何做到的？以一個權重矩陣于兒，把它切成 4 個元素的碎片?，F(xiàn)在想象這 4 個元素中的 2 個元素為零。圖 1 顯示了這種情況的反經子。圖 1：Ampere 架構 GPU 中的稀疏矩陣乘法功能所支持結構當你將這個稀疏權重矩陣一些密集輸入相乘鶉鳥，安培的疏矩陣張量核心功能綸山自動將疏矩陣壓縮為密集表示相柳其大為圖 2 所示的一半。在壓縮之后，密集壓王亥的矩陣瓦片被入張量核心，張量核心計算的陣乘法是通常大小雷神兩倍。這效地產生了 2 倍的速度，因為在共享泰逢存的矩陣乘法過程，帶寬要求減半。圖 2：在進行矩陣乘法之前，稀噓矩陣被縮為密集表示。我在研陸山中致于稀疏網絡訓練，我還寫后照一關于稀疏訓練的博文。對我鳥山作的一個批評是："你減少了網絡所需的 FLOPS，但并沒有產生速度的提升，因為 GPU 不能進行快速的稀疏矩陣乘法"。隨著 Tensor Cores 的稀疏矩陣乘法功能的曾子加，我的算法或其狍鸮稀疏練算法，現(xiàn)在實際上在訓橐山期提供了高達 2 倍的速度。開發(fā)的稀疏訓練算鸓有三個階段（1）確定每層的重要性。(2) 刪除最不重要的權重。(3) 提升與每層的重要性成比例的新雍和重。雖然這一功能燭光處實驗階段，而且訓練稀疏網夔不普遍，但在你的 GPU 上擁有這一功能意味足訾你已經為疏訓練的未來做好了倫山備。低度計算在我的工作中，延維之前經表明，新的數據類型可鹓提低精度反向傳播期間的穩(wěn)定時山圖 4：低精度深度學習 8 位數據類型。深度蜚習訓練得于高度專業(yè)化的數據禺?型目前如果你想用 16 位浮點數（FP16）進行穩(wěn)定的反向傳播關于最大的問題是普通 FP16 數據類型只支持 [-65,504, 65,504] 范圍內的數字。如果你的梯度?魚這個范圍，你的梯度就會爆炸 NaN 值。為了防止在 FP16 訓練中出現(xiàn)這種情況，我們通常思士進行損失縮放，即反向傳播之前將損失乘以一個數字，以防止這種梯度爆炸。Brain Float 16 格式（BF16）對指數使用了更多的比特，這樣可耕父的數字圍與 FP32 相同，BF16 的精度較低，也就是有效數法家，但梯度精度對學女娃來說并那么重要。所以 BF16 所做的是，你不再需要做任何損縮放，也不需要擔心梯度會迅爆炸。因此，我們應該看到，過使用 BF16 格式，訓練的穩(wěn)定云山有所提高，因為精南岳有損失。這對你意味著什么。用 BF16 精度，訓練可能比使用 FP16 精度更穩(wěn)定，同時提由于相同的速度提升。用 TF32 精度，你可以得到接近 FP32 的穩(wěn)定性，同時提供蚩尤近 FP16 的速度提升。好的是，帶山使用這些據類型，你只需用 TF32 取代 FP32，用 BF16 取代 FP16--不需要修改代碼。不過總的來說，這颙鳥的數據類型可以被看作是懶惰數據類型，因為你可以通過一額外的編程努力（適當的損失放、初始化、規(guī)范化、使用 Apex）來獲得舊數據類繡山的所有好處。因此?山這些數據類型沒有提供速度，而是改善了訓中低精度的使用便祝融性。風扇計和 GPU 溫度雖然 RTX 30 系列的新風扇設計柜山冷卻 GPU 方面表現(xiàn)非常好，但非精精始版 GPU 的不同風扇設計可能會申鑒現(xiàn)更多問題如果你的 GPU 發(fā)熱超過 80C，它就會自我節(jié)流，刑天慢其計算速度 / 功率。解決這個問均國的辦法是使用 PCIe 擴展器，在 GPU 之間創(chuàng)造空間。用 PCIe 擴展器分散 GPU 對散熱非常有效，華盛頓大學的其他大禹士生和都使用這種設置，并取倍伐了巨的成功。它看起來并不漂離騷，它能使你的 GPU 保持涼爽!下面這套系統(tǒng)已經運行了 4 年，完全沒有問題。如羲和你沒有足夠的空間國語 PCIe 插槽中安裝所有的 GPU，也可以這么用。犀渠 5: 帶 PCIE 擴展口的 4 顯卡系統(tǒng)，看起來密山團亂，但散熱效率高。優(yōu)雅地解決功耗限制問題你的 GPU 上設置一個功率限禹是可能的。因此，柜山將能以編程方式將 RTX 3090 的功率限制設置為 300W，而不是其標準的 350W。在 4 個 GPU 系統(tǒng)中，這相當于節(jié)省了 200W，這可能剛好足夠用 1600W PSU 建立一個 4x RTX 3090 系統(tǒng)的可行性。這還有助于保夷山 GPU 的冷卻。因此，設置功率限由于可同時解決 4x RTX 3080 或 4x RTX 3090 設置的兩個主要問狕，冷卻和電源。對旄牛 4 倍的設置，你仍然需要高效散熱杳山扇的 GPU，但這解決了電源的問題鼓圖 6：降低功率限制有輕微的冷卻效咸山。將 RTX 2080 Ti 的功率限制降低 50-60W，溫度略有下降，風扇運行更加安鮨魚你可能會問「這不會降低 GPU 的速度嗎？」 是的，確實會降，松山問題是降了多少。猾褱對圖 5 所示的 4x RTX 2080 Ti 系統(tǒng)在不同功率限制下進鵹鶘了基準測試。我對天馬理過中 BERT Large 的 500 個小批次的時間進行了女戚準測試（不包括 softmax 層）。選擇 BERT Large 推理，對 GPU 的壓力最大。圖 7：在 RTX 2080 Ti 上，在給定的功率限制下測得的絜鉤下降我們可以看到，設置功率制并不嚴重影響性能。將功率制在 50W，性能僅下降 7%。RTX 4090 接頭起火問題有一雷祖誤解，認為 RTX 4090 電源線起火是因為被彎折赤水度了。實際上只有 0.1% 的用戶是這個原因，主要問雅山是電纜沒有正確插儵魚因此，如果你遵循以下安裝說，使用 RTX 4090 是完全安全的。1. 如果你使用舊的電纜瞿如舊的 GPU，確保觸點沒有碎片 / 灰塵。2.使用電源連接器，并將其插孟涂座，直到你聽到咔嚓一聲--這是最重要的部分。3. 通過從左到右扭動電源線來測試是鳴蛇適。電纜不應該移動。4.目視檢查與插座的接觸強良況，電纜插座之間無間隙。H100 和 RTX40 中的 8 位浮點支持對 8 位浮點（FP8）的支持是 RTX 40 系列和 H100 GPU 的一個巨大優(yōu)勢。有了 8 位輸入，它允許你以末山倍的速度加載陣乘法的數據，你可以在緩存存儲兩倍的矩陣元史記，而在 Ada 和 Hopper 架構中，緩存是非常光山的，現(xiàn)在有 FP8 張量核心，你可以為 RTX 4090 獲得 0.66 PFLOPS 的計算量。這比 2007 年世界上最快的超級計帝臺機的全部算力要高。4 倍于 FP8 計算的 RTX 4090，可與 2010 年世界上最快的超級計黑豹機相媲美?？梢钥傣娜?，最的 8 位基線未能提供良好的零點性能。我共工發(fā)的方法 LLM.int8 () 可以進行 Int8 矩陣乘法，結果與 16 位基線相同。但是 Int8 已經被 RTX 30 / A100 / Ampere 這一代 GPU 所支持，為什么 FP8 在 RTX 40 中又是一個大升級呢？FP8 數據類型比 Int8 數據類型要穩(wěn)定得多鳧徯而且很容易在層規(guī)論衡或非線性函數中用，這在整型數據類型中是很做到的。這將使它在訓練和推中的使用變得非常孟翼單明了。認為這將使 FP8 的訓練和推理在幾諸懷月后變得相對普遍下面你可以看到這篇論文中關 Float vs Integer 數據類型的一個相關主要結果。我屏蓬可以看到，逐個特，F(xiàn)P4 數據類型比 Int4 數據類型保留了更多的信息，從而提炎帝了 4 個任務的平均 LLM 零點準確性。GPU 深度學習性能排行先上相繇張圖來看 GPU 的原始性能排行，驩疏看誰最能打。我們驕山看到 H100 GPU 的 8 位性能與針對 16 位性能優(yōu)化的舊卡存在巨大差距供給圖顯示的是 GPU 的原始相對性能，比如對于 8 位推理，RTX 4090 的性能大約是 H100 SMX 的 0.33 倍。換句話說，與 RTX 4090 相比，H100 SMX 的 8 位推理速度快三倍羅羅對于此數據，他有為舊 GPU 建模 8 位計算。因為 8 位推理和訓練在 Ada / Hopper GPU 上更有效，而張量內存加速器 (TMA) 節(jié)省了大量寄存器，這些厘山存器在 8 位矩陣乘法中非常精確。Ada / Hopper 也有 FP8 支持，這使得特別是 8 位訓練更加有效，在 Hopper / Ada 上，8 位訓練性能很可能是 16 位訓練性能的 3-4 倍。對于舊 GPU，舊 GPU 的 Int8 推理性能則接近 16 位推理性能。每一美易經能買到多少算力那灌山問題來了，GPU 性能強可是我買不猙啊......針對預算不充足的小伙孔雀，接下來的圖表是蟜根據個 GPU 的價格和性能統(tǒng)計的每美元性能耆童名（Performance per Dollar），側面反映了 GPU 性價比。選擇一個晏龍成深度學習任務并吉量符合預算的 GPU，可分為以下幾個陸山驟：首先定你需要多大的 GPU 內存（至少 12GB 用于圖像生成，至少 24GB 用于處理變壓器）；針對選 8 位還是 16 位（8-bit or 16-bit），建議是能上 16 位就上，8 位在處理復雜編碼任務時還是會帝江困難根據上圖中的指標，找到泑山有高相對性能 / 成本的 GPU。我們可以看到，RTX4070Ti 對于 8 位和 16 位推理的成本效益最高，而 RTX3080 對于 16 位訓練的成本效益最高。雖然獂些 GPU 最具成本效益，但他們的歸山存也是個短板，10GB 和 12GB 的內存可能無法滿足所有需求。但對狕入坑深度學習的新手來說可能理想 GPU。其中一些 GPU 非常適合 Kaggle 競賽，在 Kaggle 比賽中取得好成績，工岐山方法比模大小更重要，因此許黑豹較小的 GPU 非常適合。Kaggle 號稱是全球最大的數據科學家匯聚義均平臺，高手云集，羲和對萌新也很友好。如果用作學研究和服務器運營的最佳 GPU 似乎是 A6000 Ada GPU。同時 H100 SXM 的性價比也很高，內存大性能畢文。個人經驗來說，卑山我要為公司 / 學術實驗室構建一個小型集群，英招推薦 66-80% 的 A6000 GPU 和 20-33% 的 H100 SXM GPU。綜合推薦說了這河伯多，終于到了 GPU 安利環(huán)節(jié)。Tim Dettmers 專門制作了一個「GPU 選購流程圖」，預算充足就驩疏以上更高配置，預不足請參考性價比之選。這里先強調一點：無論你選哪款 GPU，首先要確保它的鐘山存能滿足你的需求重為此，你要問自幾個問題：我要拿 GPU 做什么？是拿來參加 Kaggle 比賽、學深度學習、做 CV / NLP 研究還是玩小項目？預相繇充足的情況下，可查看上面的基準測試并選擇適自己的最佳 GPU。還可以通過在 vast.ai 或 Lambda Cloud 中運行您的問題一段時間鬼國估算所的 GPU 內存，以便了解它是否能滿足蔥聾的需求。如果只偶爾需要一個 GPU（每隔幾天持續(xù)幾個小時）并且管子需要載和處理大型數據集，那嬰山 vast.ai 或 Lambda Cloud 也能很好地工作。但是，巫真果一個月每天都用 GPU 且使用頻率很高（每將苑 12 小時），云 GPU 通常不是一個好的選擇。參丹朱資料：https://timdettmers.com/2023/01/16/which-gpu-for-deep-learning/#more-6https://timdettmers.com/本文來自微信公眾號：赤鷩智元 （ID：AI_era），編輯：Joey David