谷歌云端可搶占GPU，普遍降價(jià)40%

谷歌表示，搶占式GPU（Preemptible GPUs）非常適合短期、容錯(cuò)和批處理工作負(fù)載，比如機(jī)器學(xué)習(xí)（ML）和高性能計(jì)算（HPC）的客戶。使用搶占...

2018-06-20 標(biāo)簽：谷歌GPU機(jī)器學(xué)習(xí) 4155 0

圖解大模型訓(xùn)練之：數(shù)據(jù)并行上篇(DP, DDP與ZeRO)

數(shù)據(jù)并行的核心思想是：在各個(gè)GPU上都拷貝一份完整模型，各自吃一份數(shù)據(jù)，算一份梯度，最后對(duì)梯度進(jìn)行累加來更新整體模型。理念不復(fù)雜，但到了大模型場(chǎng)景，巨大...

2023-06-16 標(biāo)簽：gpu服務(wù)器 4141 0

在動(dòng)態(tài)環(huán)境中使用CUDA圖提高實(shí)際應(yīng)用程序性能

具有許多小 CUDA 內(nèi)核的應(yīng)用程序通?？梢允褂?CUDA 圖進(jìn)行加速，即使內(nèi)核啟動(dòng)模式在整個(gè)應(yīng)用程序中發(fā)生變化。鑒于這種動(dòng)態(tài)環(huán)境，最佳方法取決于應(yīng)用程...

2022-04-01 標(biāo)簽：NVIDIAgpu 4140 0

一文詳解LLM模型基本架構(gòu)

LLM 中非常重要的一個(gè)概念是 Token，我們輸入給 LLM 和它輸出的都是 Token。Token 在這里可以看做語言的基本單位，中文一般是詞或字（...

2023-12-25 標(biāo)簽：gpurust語言LLM 4127 0

NSDI '23熱點(diǎn)論文：可編程、RDMA、數(shù)據(jù)中心、GPU有哪些新動(dòng)態(tài)？

NSDI常年錄取率非常低，穩(wěn)定在20%以下，有的年份甚至低于15%。投稿量來看，在早幾年中呈現(xiàn)出緩慢上升的趨勢(shì)，從16年的228到2021年的369篇，...

2023-05-25 標(biāo)簽：gpu可編程網(wǎng)絡(luò)通信 4110 0

如何對(duì)GPU中的矩陣乘法（GEMM）進(jìn)行優(yōu)化

本篇文章是GEMM優(yōu)化的第一個(gè)部分，在這篇文章中，只說優(yōu)化思路和分析。

2023-05-25 標(biāo)簽：寄存器gpu代碼 4096 1

2021-08-20 標(biāo)簽：fpgagpuAI 4093 0

一文解析模擬芯片設(shè)計(jì)全流程分析圖

數(shù)字IC設(shè)計(jì)工程師的設(shè)計(jì)目標(biāo)是 在PPA（Power、Performance、Area）三個(gè)指標(biāo)上追求完美的平衡。 怎么玩轉(zhuǎn)這門科學(xué)？詳情戳這篇： 芯片...

2023-06-30 標(biāo)簽：模擬ICcpugpu 4058 0

真機(jī)實(shí)測(cè)，天璣9300真實(shí)表現(xiàn)如何？

我們來看下天璣9300的核心參數(shù)規(guī)格。CPU部分，天璣9300配備了8顆核心，由最高主頻達(dá)3.25GHz的4個(gè)Cortex-X4超大核+4個(gè)主頻2.0G...

2023-11-22 標(biāo)簽：gpusocAI 4032 0

Triton編譯器的原理和性能

Triton是一種用于編寫高效自定義深度學(xué)習(xí)原語的語言和編譯器。Triton的目的是提供一個(gè)開源環(huán)境，以比CUDA更高的生產(chǎn)力編寫快速代碼，但也比其他現(xiàn)...

2023-12-16 標(biāo)簽：內(nèi)核gpuTriton 4008 0

一、二、三代半導(dǎo)體的區(qū)別

在5G和新能源汽車等新市場(chǎng)需求的驅(qū)動(dòng)下，第三代半導(dǎo)體材料有望迎來加速發(fā)展。硅基半導(dǎo)體的性能已無法完全滿足5G和新能源汽車的需求，碳化硅和氮化鎵等第三代半...

2024-04-18 標(biāo)簽：半導(dǎo)體cpugpu 4004 0