LLM推理加速新范式！推測解碼（Speculative Decoding）最新綜述

這個問題隨著LLM規(guī)模的增大愈發(fā)嚴重。并且，如下左圖所示，目前LLM常用的自回歸解碼（autoregressive decoding）在每個解碼步只能生...

2024-01-29 標簽：解碼模型LLM 4882 0

淺析流行的LLM推理堆棧和設(shè)置

還有一個與批次大小有關(guān)的數(shù)量，它們在一個有趣的點上相交。這個點不取決于硬件之外的任何因素。舉例來說，在 A10G 和 A100 上，硬件可以實現(xiàn)的總浮點...

2024-01-29 標簽：神經(jīng)網(wǎng)絡(luò)gpuAI 635 0

使用基于Transformers的API在CPU上實現(xiàn)LLM高效推理

英特爾 Extension for Transformers是英特爾推出的一個創(chuàng)新工具包，可基于英特爾 架構(gòu)平臺，尤其是第四代英特爾 至強 可擴展處理器...

2024-01-22 標簽：處理器英特爾cpu 3359 0

大語言模型事實性幻象的實驗性分析

盡管大語言模型能力不斷提升，但一個持續(xù)存在的挑戰(zhàn)是它們具有產(chǎn)生幻象的傾向。本文構(gòu)建了幻象評測基準HaluEval 2.0，并基于該評測框架從預(yù)訓(xùn)練/有監(jiān)...

2024-01-19 標簽：開源語言模型自然語言處理 800 0

一種基于自然語言的軌跡修正方法

本研究提出了ExTraCT框架，利用自然語言進行軌跡校正。該框架結(jié)合了大型語言模型（LLMs）用于自然語言理解和軌跡變形函數(shù)。ExTraCT能夠根據(jù)場景...

2024-01-19 標簽：函數(shù)模型自然語言 760 0

教您如何精調(diào)出自己的領(lǐng)域大模型

BERT和 GPT-3 等語言模型針對語言任務(wù)進行了預(yù)訓(xùn)練。微調(diào)使它們適應(yīng)特定領(lǐng)域，如營銷、醫(yī)療保健、金融。在本指南中，您將了解 LLM 架構(gòu)、微調(diào)過程...

2024-01-19 標簽：神經(jīng)網(wǎng)絡(luò)nlpChatGPT 1871 0

深入了解RAG技術(shù)

這是任何RAG流程的最后一步——基于我們仔細檢索的所有上下文和初始用戶查詢生成答案。最簡單的方法可能是將所有獲取到的上下文（超過某個相關(guān)性閾值的）連同查...

2024-01-17 標簽：編碼器大模型LLM 4057 0

什么是多模態(tài)？多模態(tài)的難題是什么？

單模態(tài)大模型，通常大于100M～1B參數(shù)。具有較強的通用性，比如對圖片中任意物體進行分割，或者生成任意內(nèi)容的圖片或聲音。極大降低了場景的定制成本。

2024-01-17 標簽：AI大模型LLM 5919 0

如何從訓(xùn)練集中生成候選prompt 三種生成候選prompt的方式

這個“gradient”怎么得到的了呢，這是個啥玩意，怎么還有梯度？注意，注意。人家是帶引號的！比喻成梯度。這玩意有什么用呢。 文章指出給定一批e...

2024-01-12 標簽：算法promptLLM 1619 0

三步完成在英特爾獨立顯卡上量化和部署ChatGLM3-6B模型

ChatGLM3 是智譜 AI 和清華大學(xué) KEG 實驗室聯(lián)合發(fā)布的新一代對話預(yù)訓(xùn)練模型。ChatGLM3-6B 是 ChatGLM3 系列中的開源模型...

2024-01-11 標簽：英特爾語言模型LLM 2192 0

大模型學(xué)習(xí)筆記

Apple最近發(fā)表了一篇文章，可以在iphone, MAC 上運行大模型：【LLM in a flash: Efficient Large Langua...

2024-01-08 標簽：DRAMMac大模型 853 0

基于LLM的表格數(shù)據(jù)的大模型推理綜述

面向表格數(shù)據(jù)的推理任務(wù)，在計算機領(lǐng)域，特別是自然語言處理（Natural Language Processing，NLP）領(lǐng)域的研究中扮演著重要角色[1...

2024-01-08 標簽：SQL語言模型大模型 2184 0

什么是LlamaIndex？LlamaIndex數(shù)據(jù)框架的特點和功能

LlamaIndex是一個數(shù)據(jù)框架，用于讓基于LLM的應(yīng)用程序攝取、結(jié)構(gòu)化和訪問私有或領(lǐng)域特定的數(shù)據(jù)。它提供Python和Typescript版本。

2024-01-05 標簽：接口SQL數(shù)據(jù)庫 1.1萬 0

如何在不微調(diào)的情況下提高RAG的準確性？

數(shù)據(jù)科學(xué)家、AI 工程師、MLOps 工程師和 IT 基礎(chǔ)設(shè)施專業(yè)人員在設(shè)計和部署檢索增強生成（RAG）工作流時，必須考慮各項因素，比如大語言模型（LL...

2024-01-05 標簽：機器人SQLLLM 1485 0

模型與人類的注意力視角下參數(shù)規(guī)模擴大與指令微調(diào)對模型語言理解的作用

近期的大語言模型（LLM）在自然語言理解和生成上展現(xiàn)出了接近人類的強大能力，遠遠優(yōu)于先前的BERT等預(yù)訓(xùn)練模型（PLM）。

2024-01-04 標簽：PLM語言模型LLM 792 0

OneLLM：對齊所有模態(tài)的框架！

OneLLM 是第一個在單個模型中集成八種不同模態(tài)的MLLM。通過統(tǒng)一的框架和漸進式多模態(tài)對齊pipelines，可以很容易地擴展OneLLM以包含更多...

2024-01-04 標簽：編碼器路由器大模型 1484 0

高級檢索增強生成技術(shù)(RAG)全面指南

ChatGPT、Midjourney等生成式人工智能（GenAI）在文本生成、文本到圖像生成等任務(wù)中表現(xiàn)出令人印象深刻的性能。

2023-12-25 標簽：轉(zhuǎn)換器人工智能RAG算法 6182 0

一文詳解LLM模型基本架構(gòu)

LLM 中非常重要的一個概念是 Token，我們輸入給 LLM 和它輸出的都是 Token。Token 在這里可以看做語言的基本單位，中文一般是詞或字（...

2023-12-25 標簽：gpurust語言LLM 4112 0

聊聊AI研發(fā)的七大支柱

通過豐富數(shù)據(jù)，生成式 AI 應(yīng)用程序可以提供上下文感知交互。 LLM 驅(qū)動的功能通常依賴于特定的專有數(shù)據(jù)。簡化從多個來源引入數(shù)據(jù)對于創(chuàng)建平滑有效的模型至...

2023-12-21 標簽：AI數(shù)據(jù)連接器大模型 728 0

拆解大語言模型RLHF中的PPO算法

由于本文以大語言模型 RLHF 的 PPO 算法為主，所以希望你在閱讀前先弄明白大語言模型 RLHF 的前兩步，即 SFT Model 和 Reward...

2023-12-11 標簽：算法深度學(xué)習(xí)ChatGPT 3146 0