?

在京東零售技術(shù)團(tuán)隊(duì)中，有很多年輕的算法工程師，他們大多是95后，在加入京東的短短幾年內(nèi)，用實(shí)力“啃”下了一個(gè)個(gè)硬骨頭。

從大模型訓(xùn)練的效率優(yōu)化、生成效果的極致調(diào)優(yōu)，到算法落地的工程難題、業(yè)務(wù)場(chǎng)景的創(chuàng)新應(yīng)用，他們用行動(dòng)證明——做難而正確的事，才是技術(shù)人最快的成長(zhǎng)路徑。

每個(gè)技術(shù)突破的背后，是數(shù)百次實(shí)驗(yàn)的堅(jiān)持，是推翻重來(lái)的勇氣，更是對(duì)技術(shù)極致的追求。

一起看看這群技術(shù)年輕人解決技術(shù)難題的故事。

技術(shù)難題：

判斷廣告圖片合不合格就像評(píng)價(jià)"這幅畫美不美"，涉及大量主觀標(biāo)準(zhǔn)，人類一眼能看出的商品變形、錯(cuò)位等問(wèn)題，AI評(píng)委經(jīng)常"看不懂"。

現(xiàn)有的獎(jiǎng)勵(lì)模型給出的決策常常無(wú)法精準(zhǔn)指導(dǎo)AI調(diào)整，如何讓AI像人類一樣精準(zhǔn)理解圖片中復(fù)雜的審美和商業(yè)要求，并給出具體改進(jìn)方向的評(píng)判指引？

?

我的解題思路：

拿到這道題時(shí)，我在思考：是否可以用多個(gè)獎(jiǎng)勵(lì)小模型的組合來(lái)替代單一獎(jiǎng)勵(lì)大模型呢？讓每個(gè)小模型專注評(píng)判圖片的某一類問(wèn)題，如商品形狀、擺放位置、色彩搭配等，降低單一模型的學(xué)習(xí)難度，同時(shí)提升評(píng)判的精細(xì)度；另一方面多獎(jiǎng)勵(lì)模型意味著更靈活的業(yè)務(wù)規(guī)則嵌入和更豐富的模型組合方式，提高了獎(jiǎng)勵(lì)信號(hào)質(zhì)量的上限。

我和團(tuán)隊(duì)一起完成了一套基于人類反饋的可信賴廣告圖像生成的訓(xùn)練和推理框架，這個(gè)框架的運(yùn)作流程可以分為訓(xùn)練階段和推理階段。訓(xùn)練階段，生成模型根據(jù)商品透底圖產(chǎn)出廣告圖后，由多個(gè)專注細(xì)分任務(wù)的小獎(jiǎng)勵(lì)模型生成多維質(zhì)量信號(hào)，通過(guò)強(qiáng)化學(xué)習(xí)微調(diào)生成模型，使其逐步修正問(wèn)題；在推理階段，生成模型輸出的廣告圖經(jīng)同一組獎(jiǎng)勵(lì)模型聯(lián)合決策，自動(dòng)判斷生成的廣告圖能否直接上線，無(wú)需人工審核。

基于這套框架，生成圖片可用率98%的情況下，召回率提升了近30%，可以高效、批量化制作商品的AIGC廣告圖片。

我的成長(zhǎng)筆記：

成長(zhǎng)的最佳途徑在于不斷反思和復(fù)盤。在每次項(xiàng)目結(jié)束后，我都會(huì)總結(jié)成功的經(jīng)驗(yàn)和需要改進(jìn)的地方，將這些經(jīng)驗(yàn)和教訓(xùn)形成可復(fù)用的方法論，不僅幫助自己成長(zhǎng)，也能幫助團(tuán)隊(duì)中的其他成員提高工作效率。

入職前我的研究方向并非圖像生成，而是圖像分割、目標(biāo)檢測(cè)等任務(wù)。雖然應(yīng)用的算法有差異，但是同為深度學(xué)習(xí)相關(guān)任務(wù)，提升模型性能時(shí)的優(yōu)化思路、訓(xùn)練技巧乃至模塊實(shí)現(xiàn)方式都有很多共通之處，其技術(shù)迭代的方向和角度，也往往能帶給我很多啟發(fā)，跨領(lǐng)域的知識(shí)遷移，往往能碰撞出意想不到的創(chuàng)新火花。

技術(shù)難題：

query擴(kuò)展是一種有助于縮小用戶搜索詞與商品描述之間差距的好方法。

想象一下，你在京東APP搜索"養(yǎng)生神器"，理想情況下希望出現(xiàn)保溫杯、頸椎按摩儀等商品，但傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯模型在遇到新穎的用戶搜索意圖時(shí)，可能無(wú)法生成有效的擴(kuò)展query，無(wú)法召回很多相關(guān)商品。

如何突破傳統(tǒng)query擴(kuò)展的局限性，讓AI學(xué)會(huì)舉一反三，讓搜索引擎召回更多相關(guān)且優(yōu)質(zhì)的商品？

?

我的解題思路：

大模型的盛行啟發(fā)了我和團(tuán)隊(duì)，query擴(kuò)展本身就可以是一個(gè)生成任務(wù)，而大模型的大參數(shù)量又可以提升泛化性，正好可以解決我們所遇到的問(wèn)題。同時(shí)，InstructGPT論文中提出的利用PPO提升LLM效果的思路，不僅能夠克服傳統(tǒng)“死記硬背”訓(xùn)練數(shù)據(jù)的問(wèn)題，還能讓模型在實(shí)際應(yīng)用中更加靈活和智能，就這樣，我們堅(jiān)定了大模型+強(qiáng)化學(xué)習(xí)的技術(shù)路線。

基于這一思路，我和團(tuán)隊(duì)研究了一種基于大語(yǔ)言模型的query擴(kuò)展框架，該框架分為三個(gè)訓(xùn)練階段：電商領(lǐng)域的預(yù)訓(xùn)練、任務(wù)驅(qū)動(dòng)的微調(diào)和基于搜索引擎的強(qiáng)化學(xué)習(xí)。

首先，我們利用消費(fèi)者行為數(shù)據(jù)和京東商品數(shù)據(jù)對(duì)LLM進(jìn)行預(yù)訓(xùn)練，這一階段為大模型裝備了一個(gè)強(qiáng)大的“知識(shí)庫(kù)”，讓它具備深入理解電商領(lǐng)域知識(shí)和用戶購(gòu)物行為的能力。接下來(lái)，基于搜索日志篩選出高質(zhì)量的query擴(kuò)展數(shù)據(jù)，對(duì)模型進(jìn)行了任務(wù)驅(qū)動(dòng)的微調(diào)，在大模型已經(jīng)具備電商知識(shí)的基礎(chǔ)上，打磨模型在query擴(kuò)展特定任務(wù)上的效果，讓模型能更準(zhǔn)確理解用戶的搜索意圖。最后，利用強(qiáng)化學(xué)習(xí)進(jìn)一步優(yōu)化模型的目標(biāo)對(duì)齊，通過(guò)模擬離線搜索引擎，設(shè)計(jì)了多粒度的獎(jiǎng)勵(lì)函數(shù)，優(yōu)化擴(kuò)展query所檢索到的相關(guān)產(chǎn)品數(shù)量，在線實(shí)驗(yàn)的轉(zhuǎn)化率提升也證明了我們方案的有效性。

我的成長(zhǎng)筆記：

面對(duì)技術(shù)難題時(shí)，我認(rèn)為最有效的方法是通過(guò)分析具體案例Case來(lái)準(zhǔn)確定位問(wèn)題所在，并通過(guò)實(shí)驗(yàn)來(lái)驗(yàn)證不同的解決方案。這種方法不僅能夠幫助我們深入理解問(wèn)題的本質(zhì)，還能確保選擇的解決方案是最優(yōu)的。

另外，我還會(huì)定期看頂會(huì)paper、跟蹤開源社區(qū)動(dòng)態(tài)進(jìn)行技術(shù)積累，在面對(duì)問(wèn)題時(shí)能更快定位問(wèn)題，高效提出解法。

技術(shù)難題：

優(yōu)化京東商家智能助手的過(guò)程就像教一個(gè)實(shí)習(xí)生處理問(wèn)題，傳統(tǒng)方法（監(jiān)督學(xué)習(xí)）就像讓資深客服手把手教他每句話該怎么回。雖然能保證基本合格，但這個(gè)實(shí)習(xí)生永遠(yuǎn)無(wú)法超越師傅的水平，遇到新問(wèn)題就束手無(wú)策。

如何通過(guò)有效的指導(dǎo)和激勵(lì)，幫助這位“實(shí)習(xí)生”不斷提升技能，在“教練”的指導(dǎo)下，突破人類經(jīng)驗(yàn)的限制，實(shí)現(xiàn)自我進(jìn)化？

?

我的解題思路：

在大模型訓(xùn)練過(guò)程中，如果僅基于傳統(tǒng)監(jiān)督微調(diào)手段，模型效果會(huì)以人類標(biāo)簽為上限，而我們的目標(biāo)是助力模型從人類指導(dǎo)轉(zhuǎn)向AI自我引導(dǎo)、進(jìn)一步優(yōu)化模型效果。于是我轉(zhuǎn)向強(qiáng)化學(xué)習(xí)，對(duì)比了兩種方案：

1、類似DPO的隱式獎(jiǎng)勵(lì)方案，像是給學(xué)生樹立正面榜樣和反面典型，讓他自行學(xué)習(xí)優(yōu)點(diǎn)、規(guī)避錯(cuò)誤。

2、類似RLHF的顯式獎(jiǎng)勵(lì)方案，像是先通過(guò)一系列答案和對(duì)應(yīng)分?jǐn)?shù)告訴教練如何打分，再由教練實(shí)時(shí)訓(xùn)練。這個(gè)方法效果更穩(wěn)定，但訓(xùn)練資源消耗更大、同時(shí)十分依賴“教練”的質(zhì)量。

如何培養(yǎng)這個(gè)高質(zhì)量教練呢？我設(shè)計(jì)了一套Agent全鏈路評(píng)估技術(shù)，針對(duì)不同類型問(wèn)題給出不同評(píng)分標(biāo)準(zhǔn)，保障局部與端到端兩類視角的評(píng)估。對(duì)明確答案的問(wèn)題直接判對(duì)錯(cuò)，并檢查對(duì)應(yīng)的思考過(guò)程；對(duì)開放性問(wèn)題則用AI來(lái)評(píng)分。評(píng)估時(shí)區(qū)分模型生成質(zhì)量與環(huán)境反饋結(jié)果，例如：當(dāng)Agent正確調(diào)用API卻因外部故障失敗時(shí)，系統(tǒng)會(huì)給出高思維分+低環(huán)境分。通過(guò)區(qū)分"AI想對(duì)了但執(zhí)行出錯(cuò)"和"AI本身就想錯(cuò)了"的情況，精準(zhǔn)定位問(wèn)題來(lái)源，為后續(xù)優(yōu)化指明方向。

現(xiàn)在，京東商家助手就像有個(gè)"AI教練團(tuán)"，邊服務(wù)邊進(jìn)化。用算法解決算法的問(wèn)題，正是技術(shù)最迷人的地方。

我的成長(zhǎng)筆記：

技術(shù)突破往往需要跳出常規(guī)思維，即使是“看似不可能”的任務(wù)也都是從實(shí)際應(yīng)用場(chǎng)景中提煉出來(lái)的，一定存在合理性與可實(shí)現(xiàn)的底層邏輯。

在解決技術(shù)問(wèn)題時(shí)，我首先會(huì)進(jìn)行問(wèn)題的框架梳理與模塊拆解，明確頂層設(shè)計(jì)，然后逐步細(xì)化到具體的實(shí)施要點(diǎn)。首先確認(rèn)要達(dá)成的目標(biāo)，識(shí)別核心難點(diǎn)，分析技術(shù)要點(diǎn)是否已掌握或需要學(xué)習(xí)，此外還要尋找業(yè)界案例或替代方案，以及評(píng)估團(tuán)隊(duì)協(xié)作需求等。通過(guò)將問(wèn)題具體化，找到解決方案，即使遇到無(wú)法完成的任務(wù)，也能提供清晰的調(diào)研結(jié)論。

技術(shù)難題：

文生圖大模型能夠根據(jù)文本生成高質(zhì)量圖像的能力而備受青睞。然而這些模型往往有巨大的參數(shù)量，在電商場(chǎng)景下會(huì)占用大量算力資源且推理速度較慢。

如何精準(zhǔn)識(shí)別并裁剪模型中的冗余部分，同時(shí)確保模型性能不受影響呢？這一過(guò)程就像“修剪花園”，識(shí)別珍貴的花卉與徒耗養(yǎng)分的雜草，讓花園重?zé)ㄉ鷻C(jī)。

?

我的解題思路：

在模型優(yōu)化過(guò)程中，我發(fā)現(xiàn)通過(guò)FFT（快速傅里葉變換）技術(shù)進(jìn)行頻域分析，就像使用了顯微鏡來(lái)觀察，更直接地捕獲模型冗余和有效特征的差異。具體來(lái)說(shuō)，低頻和高頻的圖片特征在頻域上的輸出會(huì)有明顯的變化，這意味著可以利用FFT技術(shù)來(lái)定位模型中的冗余部分。

然而，僅僅依靠頻域分析還存在一個(gè)難題：很難確定一個(gè)明確的閾值來(lái)有效冗余和有效特征。為此我還引入了RDP算法（迭代端點(diǎn)擬合算法），這就像是一種高級(jí)的探測(cè)儀器，能夠自動(dòng)識(shí)別頻譜變化趨勢(shì)中的關(guān)鍵拐點(diǎn)。結(jié)合這兩種方法，我成功定位并移除了模型中的冗余部分。結(jié)果實(shí)驗(yàn)顯示，模型訓(xùn)練吞吐量提升了40%，性能效率顯著提升。

這一成果不僅證明了創(chuàng)新方法的有效性，也是我首次在工業(yè)級(jí)項(xiàng)目中將基礎(chǔ)算法理論創(chuàng)新與實(shí)際應(yīng)用完美結(jié)合，通過(guò)技術(shù)探索，成功解決了復(fù)雜的工程問(wèn)題，積累了寶貴的經(jīng)驗(yàn)。

分享一段這個(gè)項(xiàng)目中重要的一段代碼：通過(guò)遞歸的方式擬合頻譜曲線，在誤差盡可能小的情況下，找到頻譜曲線中最重要的點(diǎn)，這些點(diǎn)即為transformer中的有效block。

def rdp(points, epsilon):
    """
    Ramer-Douglas-Peucker算法，用于曲線簡(jiǎn)化。
    points: 曲線上的點(diǎn)序列
    epsilon: 簡(jiǎn)化容差，越大簡(jiǎn)化越多
    """
    def perpendicular_distance(pt, line_start, line_end):
        # 計(jì)算點(diǎn)pt到線段(line_start, line_end)的垂直距離
        if np.array_equal(line_start, line_end):
            return np.linalg.norm(pt - line_start)
        else:
            return np.abs(np.cross(line_end - line_start, line_start - pt)) / np.linalg.norm(line_end - line_start)

    def rdp_recursion(points, epsilon):
        # 遞歸執(zhí)行RDP算法，找出距離最遠(yuǎn)的點(diǎn)
        dmax = 0.0
        index = 0
        end = len(points)
        for i in range(1, end - 1):
            d = perpendicular_distance(points[i], points[0], points[-1])
            if d > dmax:
                index = i
                dmax = d
        # 若最遠(yuǎn)距離大于容差epsilon，繼續(xù)分割曲線
        if dmax > epsilon:
            results1 = rdp_recursion(points[:index+1], epsilon)
            results2 = rdp_recursion(points[index:], epsilon)
            return results1[:-1] + results2
        else:
            # 距離小于容差，直接簡(jiǎn)化成端點(diǎn)
            return [points[0], points[-1]]

    return rdp_recursion(points, epsilon)

我的成長(zhǎng)筆記：

AIGC與大模型的快速演進(jìn)，技術(shù)更新速度加快，對(duì)算法工程師提出從單純研發(fā)走向落地應(yīng)用與創(chuàng)新融合的更高要求。

面對(duì)快速變化的時(shí)代和復(fù)雜的業(yè)務(wù)，我會(huì)主動(dòng)追蹤前沿進(jìn)展，跟進(jìn)頂會(huì)、開源社區(qū)的動(dòng)態(tài)，保持對(duì)領(lǐng)域趨勢(shì)的敏銳性，同時(shí)提升的跨領(lǐng)域技能與知識(shí)，深入理解用戶需求與市場(chǎng)趨勢(shì)，結(jié)合算法能力提供真正有商業(yè)價(jià)值的方案，掌握良好的代碼工程實(shí)踐、持續(xù)集成和自動(dòng)化部署，提高算法從實(shí)驗(yàn)到生產(chǎn)的效率。

?

技術(shù)難題：

在智能導(dǎo)購(gòu)場(chǎng)景中，用戶常提出包含具體場(chǎng)景參數(shù)的需求，如"我家的桌子長(zhǎng)130cm，寬60cm，推薦一個(gè)大小合適的置物架"。

如何讓大模型準(zhǔn)確理解用戶需求，并將其精準(zhǔn)映射到商品庫(kù)的結(jié)構(gòu)化參數(shù)？

?

我的解題思路：

這一技術(shù)難點(diǎn)在于語(yǔ)義復(fù)雜性和商品描述與用戶需求的精準(zhǔn)匹配，一方面需要理解用戶語(yǔ)言中的隱含條件，比如“大小合適"需轉(zhuǎn)換為"長(zhǎng)度≤130cm且寬度≤60cm”，另一方面要準(zhǔn)確匹配商品庫(kù)的結(jié)構(gòu)化參數(shù)，如貨架尺寸、承重等，這需要突破語(yǔ)義理解、多意圖混雜等難題。

過(guò)程中，我進(jìn)行了模型訓(xùn)練，使用通用強(qiáng)化學(xué)習(xí)方法提升語(yǔ)義理解能力，通過(guò)數(shù)據(jù)閉環(huán)持續(xù)優(yōu)化用戶意圖識(shí)別。并篩選高質(zhì)量數(shù)據(jù)訓(xùn)練模型，確保處理新需求時(shí)仍保持高準(zhǔn)確率。此外，我還將京言的多個(gè)模型整合成一個(gè)統(tǒng)一的系統(tǒng)，每個(gè)功能對(duì)應(yīng)一個(gè)獨(dú)立的代理。通過(guò)讓單個(gè)智能體處理多種任務(wù)，在需要時(shí)進(jìn)行人工干預(yù)，進(jìn)一步提升大模型的效果，確保系統(tǒng)既高效又靈活，能夠更好地服務(wù)于用戶。

通過(guò)大模型語(yǔ)義推理，多輪對(duì)話引導(dǎo)用戶完善需求，將技術(shù)參數(shù)轉(zhuǎn)化為用戶語(yǔ)言，結(jié)合電商知識(shí)，動(dòng)態(tài)生成易懂的解釋。京言上線以來(lái)，活躍用戶平均對(duì)話次數(shù)增加，購(gòu)買轉(zhuǎn)化率持續(xù)攀升，實(shí)現(xiàn)了"越用越懂你"的智能導(dǎo)購(gòu)體驗(yàn)。

這是我在進(jìn)行多任務(wù)訓(xùn)練的時(shí)候，通過(guò)探針觀察模型訓(xùn)練狀態(tài)：

def get_token_prob(prompt, target_token):
    # 編碼輸入并定位預(yù)測(cè)位置
    inputs = tokenizer(prompt, return_tensors="pt")
    input_ids = inputs.input_ids
    target_len = len(tokenizer.encode(target_token, add_special_tokens=False))
    
    # 獲取模型輸出logits
    with torch.no_grad():
        outputs = model(**inputs)
    next_token_logits = outputs.logits[:, -1, :]  # 取最后一個(gè)位置的預(yù)測(cè)
    
    # 轉(zhuǎn)換概率分布
    probs = F.softmax(next_token_logits, dim=-1)
    
    # 獲取目標(biāo)token的id（處理多token情況）
    target_ids = tokenizer.encode(target_token, add_special_tokens=False)

    # 返回改token的概率
    return probs[0, target_ids[0]].item()

我的成長(zhǎng)筆記：

在模型訓(xùn)練過(guò)程中，數(shù)據(jù)清洗和過(guò)濾是關(guān)鍵，但過(guò)程往往充滿挑戰(zhàn)。有時(shí)候，花整整一周時(shí)間合成數(shù)據(jù)、清洗數(shù)據(jù)、再到數(shù)據(jù)配比，最終訓(xùn)練出的模型卻表現(xiàn)不佳，難免讓人沮喪。但我始終相信，每一次失敗都有價(jià)值。歷史數(shù)據(jù)不僅能幫助分析問(wèn)題，還能用于構(gòu)建更優(yōu)質(zhì)的訓(xùn)練樣本，支撐下一次嘗試。當(dāng)方向不對(duì)時(shí)，就果斷調(diào)整策略，帶著經(jīng)驗(yàn)重新出發(fā)。

這就是技術(shù)人的成長(zhǎng)——在不斷試錯(cuò)中積累經(jīng)驗(yàn)，在失敗中尋找突破，最終一步步實(shí)現(xiàn)更好的結(jié)果。

審核編輯 黃宇