GPT-4已經(jīng)會自己設計芯片了嗎？

? GPT-4已經(jīng)會自己設計芯片了！芯片設計行業(yè)的一個老大難問題HDL，已經(jīng)被GPT-4順利解決。并且，它設計的130nm芯片，已經(jīng)成功流片。 GPT-...

2023-06-20 標簽：芯片語言模型GPT 1333 0

基于多任務預訓練模塊化提示

Prompt Tuning 可以讓預訓練的語言模型快速適應下游任務。雖然有研究證明：當訓練數(shù)據(jù)足夠多的時候，Prompt Tuning 的微調結果可以媲...

2023-06-20 標簽：模塊數(shù)據(jù)語言模型 971 0

Macaw-LLM：具有圖像、音頻、視頻和文本集成的多模態(tài)語言建模

盡管指令調整的大型語言模型 (LLM) 在各種 NLP 任務中表現(xiàn)出卓越的能力，但它們在文本以外的其他數(shù)據(jù)模式上的有效性尚未得到充分研究。在這項工作中，...

2023-06-19 標簽：模塊語言建模語言模型 1897 0

LLM in Medical Domain: 一文速覽大語言模型在醫(yī)學領域的應用

由于在生成長文本的數(shù)據(jù)集上，F(xiàn)lan-PaLM和臨床醫(yī)生的結果顯示出一定gap。本文提出了使用Instruction Prompt Tuning對Fla...

2023-06-15 標簽：語言模型數(shù)據(jù)集大模型 2249 0

中文信息處理實驗室提出工具學習新框架ToolAlpaca

受 Alpaca 通過微調讓小模型學會通用指令遵循啟發(fā)，中文信息處理實驗室的研究人員探索了通過在通用工具使用數(shù)據(jù)集上微調較小規(guī)模的語言模型，讓它們獲得通...

2023-06-15 標簽：框架語言模型數(shù)據(jù)集 2766 0

基于預訓練模型和語言增強的零樣本視覺學習

在一些非自然圖像中要比傳統(tǒng)模型表現(xiàn)更好 CoOp 增加一些 prompt 會讓模型能力進一步提升 怎么讓能力更好？可以引入其他知識，即其他的預訓練模型，...

2023-06-15 標簽：語言模型訓練模型 837 0

LeCun世界模型首個研究！自監(jiān)督視覺像人一樣學習和推理！

今日，Meta 推出了首個基于 LeCun 世界模型概念的 AI 模型。該模型名為圖像聯(lián)合嵌入預測架構（Image Joint Embedding Pr...

2023-06-15 標簽：人工智能模型語言模型 546 0

大語言模型中的常用評估指標

EM 是 exact match 的簡稱，所以就很好理解，em 表示預測值和答案是否完全一樣。

2023-06-12 標簽：計算模型語言模型 3556 0

多模態(tài)上下文指令調優(yōu)數(shù)據(jù)集MIMIC-IT

然而，一個理想的 AI 對話助手應該能夠解決涉及多種模態(tài)的任務。這需要獲得一個多樣化和高質量的多模式指令跟隨數(shù)據(jù)集。比如，LLaVAInstruct-1...

2023-06-12 標簽：AI語言模型數(shù)據(jù)集 1054 0

Allen AI推出集成主流大語言模型的LLM-BLENDER框架

在推理階段，計算一個矩陣，該矩陣包含表示成對比較結果的logits。給定該矩陣，可以推斷給定輸入x的N個輸出的排序。隨后，可以使用來自PAIRRANKE...

2023-06-11 標簽：框架模型語言模型 982 0

號稱「碾壓」LLaMA的Falcon實測得分僅49.08，HuggingFace決定重寫排行榜代碼

這是一組由 Meta 開源的大型語言模型，共有 7B、13B、33B、65B 四種版本。其中，LLaMA-13B 在大多數(shù)數(shù)據(jù)集上超過了 GPT-3（1...

2023-06-11 標簽：解碼器語言模型 848 0

PyTorch教程-9.3. 語言模型

9.3. 語言模型? Colab [火炬]在 Colab 中打開筆記本 Colab [mxnet] Open the notebook in C...

2023-06-05 標簽：語言模型pytorch 599 0

一個通用的自適應prompt方法，突破了零樣本學習的瓶頸

為了解決這個問題，這篇研究提出了一種Universal Self-adaptive Prompting (USP)方法，對LLMs的零樣本學習進行了優(yōu)化...

2023-06-01 標簽：語言模型數(shù)據(jù)集自然語言 1108 0

GPT4技術原理之相變與涌現(xiàn)

物理系統(tǒng)中發(fā)生的相變最直觀，水結成冰或沸騰成蒸汽。在一定的溫度或壓力下，系統(tǒng)發(fā)生行為的突然變化，從一種相轉變?yōu)榱硪环N相。轉變出現(xiàn)了之前相中沒有的新特性，...

2023-05-29 標簽：語言模型GPT 1442 0

調教LLaMA類模型沒那么難，LoRA將模型微調縮減到幾小時

最近幾個月，ChatGPT 等一系列大語言模型（LLM）相繼出現(xiàn)，隨之而來的是算力緊缺日益嚴重。雖然人人都想打造專屬于自己的大模型，但是能負擔得起上億參...

2023-05-28 標簽：語言模型LoRaChatGPT 3241 0

時下改變AI的6大NLP語言模型

消除早期語言模型的局限性，特別是在預訓練中表現(xiàn)出的單向性。這些限制了可用于預訓練的架構選擇，以及微調的方法。例如，OpenAI的GPT v1使用從左到右...

2023-05-26 標簽：語言模型nlp 1114 0

以Gpipe作為流水線并行的范例進行介紹

回顧ChatGPT的發(fā)展歷程，我們可以總結出大語言模型（LLM）取得驚艷效果的要點（重要性從高到低排序）： 愿意燒錢，且接受“燒錢 != 好模型”的現(xiàn)實...

2023-05-25 標簽：3D開源語言模型 1453 0

大型語言模型能否捕捉到它們所處理和生成的文本中的語義信息

? 大型語言模型能否捕捉到它們所處理和生成的文本中的語義信息？這一問題在計算機科學和自然語言處理領域一直存在爭議。然而，MIT的一項新研究表明，僅基于文...

2023-05-25 標簽：數(shù)據(jù)語言模型自然語言 969 0

Meta AI重磅推出LIMA！媲美GPT-4、無需RLHF就能對齊！

天下人苦“對齊”久矣！要讓預訓練語言模型的響應和特定任務和用戶偏好對齊，動輒需要百萬示例數(shù)據(jù)集上的instruction tuning、以及最近從人類反...

2023-05-24 標簽：語言模型CMUChatGPT 1464 0