快速全面了解大模型長(zhǎng)文本能力

那關(guān)于LLM的長(zhǎng)文本能力，目前業(yè)界通常都是怎么做的？有哪些技術(shù)點(diǎn)或者方向？今天我們就來(lái)總結(jié)一波，供大家快速全面了解。

2024-02-22 標(biāo)簽：GPT位置編碼器大模型 1245 0

深度解析數(shù)據(jù)存儲(chǔ)技術(shù)發(fā)展趨勢(shì)

開(kāi)源數(shù)據(jù)庫(kù)MySQL和PostgreSQL占據(jù)全球數(shù)據(jù)庫(kù)市場(chǎng)格局TOP2。開(kāi)源數(shù)據(jù)庫(kù)正在重構(gòu)企業(yè)核心系統(tǒng)。同時(shí)為確保業(yè)務(wù)平穩(wěn)運(yùn)行，分布式數(shù)據(jù)庫(kù)存算分離架...

2023-12-06 標(biāo)簽：SSD數(shù)據(jù)存儲(chǔ)AI 1237 0

解讀大模型FP量化的解決方案

在 LLaMA, BERT 以及 ViTs 模型上，4-bit 量化皆取得了遠(yuǎn)超 SOTA 的結(jié)果。特別是，這篇文章展示了 4-bit 量化的 LLaM...

2023-11-24 標(biāo)簽：浮點(diǎn)數(shù)大模型LLM 1231 0

深度解析大語(yǔ)言模型的位置編碼及其外推性

我們先來(lái)回顧一下絕對(duì)位置編碼的問(wèn)題。絕對(duì)位置編碼通過(guò)可學(xué)習(xí)的 Positional Embedding 來(lái)編碼位置信息，這種方案直接對(duì)不同的位置隨機(jī)初始...

2024-01-16 標(biāo)簽：電源優(yōu)化器位置編碼器大模型 1229 0

Yuan2.0千億大模型在通用服務(wù)器NF8260G7上的推理部署

巨量模型的智能生產(chǎn)力正在逐步滲透到各行各業(yè)，但它們的部署和運(yùn)行通常需要專用的AI加速卡，能否在CPU上運(yùn)行千億大模型，對(duì)千行百業(yè)智能化轉(zhuǎn)型的深化與普惠至關(guān)重要。

2024-07-30 標(biāo)簽：cpu服務(wù)器浪潮 1198 0

FP8在大模型訓(xùn)練中的應(yīng)用

越來(lái)越多的技術(shù)團(tuán)隊(duì)開(kāi)始使用 FP8 進(jìn)行大模型訓(xùn)練，這主要因?yàn)?FP8 有很多技術(shù)優(yōu)勢(shì)。比如在新一代的 GPU 上，F(xiàn)P8 相對(duì)于 BF16 對(duì)矩陣乘算...

2025-01-23 標(biāo)簽：NVIDIAgpu大模型 1185 0

基于Transformer多模態(tài)先導(dǎo)性工作

多模態(tài)（Multimodality）是指在信息處理、傳遞和表達(dá)中涉及多種不同的感知模態(tài)或信息來(lái)源。這些感知模態(tài)可以包括語(yǔ)言、視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)等，它們共同...

2023-08-21 標(biāo)簽：數(shù)據(jù)人工智能Transformer 1180 0

使用OpenVINO?在你的本地設(shè)備上離線運(yùn)行Llama3之快手指南

在人工智能領(lǐng)域，大型語(yǔ)言模型（LLMs）的發(fā)展速度令人震驚。2024年4月18日，Meta正式開(kāi)源了LLama系列的新一代大模型Llama3，在這一領(lǐng)域...

2024-04-26 標(biāo)簽：人工智能聊天機(jī)器人大模型 1164 0

AI算力研究框架（2023）

Transfomer架構(gòu)大模型訓(xùn)練對(duì)算力的消耗呈指數(shù)級(jí)增長(zhǎng)。2023年1月，ChatGPT計(jì)劃再向微軟融資100億美金，該融資將是新一代大模型算力基建的...

2023-06-15 標(biāo)簽：AI算力大模型 1161 0

大普技術(shù)低功耗高精度RTC實(shí)時(shí)時(shí)鐘解決方案

當(dāng)AI大模型有條不紊地進(jìn)行信息極速處理和海量數(shù)據(jù)存儲(chǔ)，當(dāng)掃地機(jī)器人每天合理規(guī)劃清潔任務(wù)并精準(zhǔn)定時(shí)清掃，當(dāng)無(wú)人機(jī)在復(fù)雜環(huán)境中高效完成精確飛行和導(dǎo)航定位，當(dāng)...

2025-04-30 標(biāo)簽：晶振實(shí)時(shí)時(shí)鐘RTC 1142 0

超分畫(huà)質(zhì)大模型！華為和清華聯(lián)合提出CoSeR：基于認(rèn)知的萬(wàn)物超分大模型

一是缺乏泛化能力。為了實(shí)現(xiàn)更好的超分效果，通常需要針對(duì)特定場(chǎng)景使用特定傳感器采集到的數(shù)據(jù)來(lái)進(jìn)行模型訓(xùn)練，這種學(xué)習(xí)方式擬合了某種低清圖像和高清圖像間的映射...

2023-12-04 標(biāo)簽：傳感器圖像大模型 1137 0

Agent應(yīng)用實(shí)戰(zhàn)：從廣告智能助手落地到平臺(tái)化賦能

前言 自2022年底ChatGPT發(fā)布以來(lái)，大模型成為非常火爆的話題。如何在生活和工作中把大模型用的更好、更具價(jià)值，業(yè)界一致認(rèn)為Agent是其中一個(gè)重要...

2025-02-14 標(biāo)簽：AIAgent大模型 1136 0

語(yǔ)言模型的發(fā)展歷程 基于神經(jīng)網(wǎng)絡(luò)的語(yǔ)言模型解析

簡(jiǎn)單來(lái)說(shuō)，語(yǔ)言模型能夠以某種方式生成文本。它的應(yīng)用十分廣泛，例如，可以用語(yǔ)言模型進(jìn)行情感分析、標(biāo)記有害內(nèi)容、回答問(wèn)題、概述文檔等等。但理論上，語(yǔ)言模型的...

2023-07-14 標(biāo)簽：人工智能機(jī)器學(xué)習(xí)大模型 1131 0

大模型未來(lái)的產(chǎn)業(yè)發(fā)展趨勢(shì)和挑戰(zhàn)是什么

一般而言，大模型(Large Language Models)指的是包含超大規(guī)模參數(shù)的神經(jīng)網(wǎng)絡(luò)模型。大模型通常能夠?qū)W習(xí)到更細(xì)微的模式和規(guī)律，具有更強(qiáng)的泛...

2023-09-13 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)語(yǔ)音識(shí)別人工智能 1128 0

基于雙級(jí)優(yōu)化（BLO）的消除過(guò)擬合的微調(diào)方法

這篇論文試圖解決的問(wèn)題是大型預(yù)訓(xùn)練模型在下游任務(wù)中進(jìn)行微調(diào)時(shí)出現(xiàn)的過(guò)擬合問(wèn)題。盡管低秩適應(yīng)（LoRA）及其變體通過(guò)學(xué)習(xí)低秩增量矩陣有效地減少了與完全微調(diào)...

2024-04-02 標(biāo)簽：數(shù)據(jù)集LoRa自然語(yǔ)言 1124 0

Scaling Law大模型設(shè)計(jì)實(shí)操案例

縱軸是"Bits for words", 這也是交叉熵的一個(gè)單位。在計(jì)算交叉熵時(shí)，如果使用以 2 為底的對(duì)數(shù)，交叉熵的單位就是 &q...

2023-11-22 標(biāo)簽：語(yǔ)言模型GPTOpenAI 1121 0

英特爾一系列AI解決方案，為L(zhǎng)lama 2大模型提供實(shí)力之選

英特爾廣泛的AI硬件組合及開(kāi)放的軟件環(huán)境，為Meta發(fā)布的Llama 2模型提供了極具競(jìng)爭(zhēng)力的選擇，進(jìn)一步助力大語(yǔ)言模型的普及，推動(dòng)AI發(fā)展惠及各行各業(yè)...

2023-07-25 標(biāo)簽：英特爾AI大模型 1119 0