多任務微調框架MFTCoder詳細技術解讀

MFTCoder具備高效訓練特征，包括提供高效的數(shù)據(jù)Tokenization模式和支持PEFT微調，能有效提升微調訓練速度并降低對資源的需求。

2023-11-17 標簽：函數(shù)pythonGPT 1509 0

一文解析向量數(shù)據(jù)庫的大模型之路

數(shù)據(jù)在 MaaS 時代很重要，市場的火熱映射到具體的企業(yè)行為上，表現(xiàn)為大批量垂直模型的推出、數(shù)據(jù)庫企業(yè)融資數(shù)量增加、數(shù)據(jù)庫使用量陡然增長等。

2023-11-17 標簽：數(shù)據(jù)庫騰訊云大模型 1012 0

中國電信大模型做得怎么樣了？

千億參數(shù)的星辰大模型發(fā)布。從2021年10月啟動自研城市治理大模型，星辰大模型已經(jīng)走過語義大模型、多模態(tài)大模型、語音大模型到下一代數(shù)字人的階段發(fā)展，20...

2023-11-15 標簽：中國電信人工智能大模型 995 0

如何從第一性原理看大模型Agent技術原理

人的視覺識別過程是一個層次性的關系，從最初級的視覺皮層一直到更高級的皮層，從簡單的視覺邊緣特征到線條的方向性，再到線條之間的組合，如角等更高維特征的形成...

2023-11-14 標簽：機器人神經(jīng)網(wǎng)絡運動控制 2883 0

NeurlPS'23開源 | 首個！開放詞匯3D實例分割！

我們介紹了開放詞匯3D實例分割的任務。當前的3D實例分割方法通常只能從訓練數(shù)據(jù)集中標注的預定義的封閉類集中識別對象類別。這給現(xiàn)實世界的應用程序帶來了很大...

2023-11-14 標簽：3DAI大模型 1038 0

北大&華為提出：多模態(tài)基礎大模型的高效微調

深度學習的大模型時代已經(jīng)來臨,越來越多的大規(guī)模預訓練模型在文本、視覺和多模態(tài)領域展示出杰出的生成和推理能力。然而大模型巨大的參數(shù)量有兩個明顯缺點

2023-11-08 標簽：框架深度學習大模型 1691 0

基于LLaMA的多語言數(shù)學推理大模型

MathOctopus在多語言數(shù)學推理任務中，表現(xiàn)出了強大的性能。MathOctopus-7B 可以將LLmMA2-7B在MGSM不同語言上的平均表現(xiàn)從...

2023-11-08 標簽：多語言ChatGPT大模型 750 0

大模型在代碼缺陷檢測領域的應用實踐

靜態(tài)代碼掃描(SA)能快速識別代碼缺陷，如空指針訪問、數(shù)組越界等，以較高ROI保障質量及提升交付效率。當前掃描能力主要依賴人工經(jīng)驗生成規(guī)則，泛化能力弱且...

2023-11-08 標簽：計算機代碼缺陷檢測 1002 0

云邊AI的必然趨勢和硬件承載

云邊AI是指把AI大模型和算法在云端訓練和優(yōu)化后，部署到邊緣設備上運行，從而將AI能力融入終端設備。在前期的AI發(fā)展中，云端計算平臺憑借其強大的計算能力...

2023-11-07 標簽：物聯(lián)網(wǎng)AI邊緣計算 1074 0

預訓練擴散大模型取得點云-圖像配準SoTA！

現(xiàn)有方法往往是：用一個2D特征提取網(wǎng)絡提取圖像特征；用一個3D特征提取網(wǎng)絡提取點云特征；然后根據(jù)pixel-to-point對應關系真值通過Metric...

2023-10-29 標簽：圖像點云大模型 1458 0

探索SFT訓練策略對性能的影響

大模型混合多種能力項數(shù)據(jù)進行微調時，會呈現(xiàn)高資源沖突，低資源增益的現(xiàn)象。我們提出的DMT策略通過在第一階段微調特定能力數(shù)據(jù)，在第二階段微調通用數(shù)據(jù)+少量...

2023-10-26 標簽：數(shù)據(jù)語言模型SFT 1788 0

一文詳解多模態(tài)大模型發(fā)展及高頻因子計算加速GPU算力 | 英偉達顯卡被限，華為如何力挽狂瀾？

近年來，全球范圍內(nèi)的芯片禁令不斷升級，給許多企業(yè)和科研機構帶來了很大的困擾，需要在技術層面進行創(chuàng)新和突破。一方面，可以探索使用國產(chǎn)芯片和其他不受限制的芯...

2023-10-26 標簽：gpuAI算力 1750 0

在RTX 4090被限制的時代下，讓大模型使用RLHF更高效的方法來了

今年，以 ChatGPT 為首的大語言模型（Large Language Models, LLMs) 在各個方面大放光彩，由此引發(fā)了學術界和商業(yè)界對 G...

2023-10-22 標簽：語言模型ChatGPT大模型 762 0

LLaMA2上下文長度暴漲至100萬tokens，只需調整1個超參數(shù)

目前的Transformer位置編碼方法，有絕對位置編碼（將位置信息融入到輸入）、相對位置編碼（將位置信息寫入attention分數(shù)計算）和旋轉位置編碼...

2023-10-22 標簽：參數(shù)人工智能大模型 835 0

谷歌重磅新作PaLI-3：視覺語言新模型！更小、更快、更強

效果怎么樣呢？PaLI-3 在需要視覺定位文本理解和目標定位的任務上實現(xiàn)了新的 SOTA，包括 RefCOCO 數(shù)據(jù)集上的 8 個視覺定位文本理解任務和...

2023-10-20 標簽：編碼器語言模型大模型 2783 0

智能駕駛感知算法梳理 高階自動駕駛落地關鍵分析

　　感知算法升級是L2級向L 3級智能駕駛系統(tǒng)跨越的關鍵。與傳統(tǒng)2D+CNN算法相比，BEV+ Transformer算法優(yōu)勢體現(xiàn)在： 1）感知輸出信息...

2023-10-19 標簽：神經(jīng)網(wǎng)絡智能駕駛感知算法 606 0

如何本地部署大模型

近期，openEuler A-Tune SIG在openEuler 23.09版本引入llama.cpp&chatglm-cpp兩款應用，以支持...

2023-10-18 標簽：人工智能C++openEuler 3281 0