大模型定製開發--行業應用與解決方案

擺在我們面前的是兩條路,擁抱AI;拒絕AI.世界還是照常運轉,但是未來好像變成了一團巨大的模糊,似乎有光,又彷彿一片黑暗,而主導這種景象的那隻看不見的手就是AI.AI靜態知識無限趨近於0成本,也就意味你有了一個無與倫比的知識淵博的老師和助手,也意味着你所有的專業技術至少是計算機技術變得片面和低價值.AI讓大多數人都會回到relearning的狀態,職場工作不再穩定,在沒有趨於平衡前,越早貼近AI越能獲得AI生產力,也就增加了自己的競爭力.不過,快速迭代發展的過程,意味着技術也快速的更新,掌握使用的方法即可,不作爲算法工程師就無需深入瞭解原理了,至少我們大部分人最後都只是AI的搬運工. 作者沒有深入各個技術或者偏執介紹使用的語言,點到爲止把握的度十分適合我. 基礎信息攝入:預訓練,sft微調,強化訓練中的sft模型,獎勵模型,這些大概描述瞭如何生成一個llm的方式.提示詞,提示詞工程解釋無論是來自自寫還是pull hub如何使用prompt進行大模型的使用,並給定了smart/角色等指導性的建議.langchain簡化大模型開發.few-shot prompting讓大模型習得少量樣本知識.agent作爲智能體,包裹着工具和大模型的自主思考決策並執行的應用,應是未來我們對ai使用的最基本形態. 工具包:工具包指導你應對問題可以使用什麼工具,從簡單的對話,視頻處理,數據採集,文本創作到電商,涵蓋文本音頻視頻數據,依次遞深的組合應用不同的工具以滿足特定需求.結合作者的書寫框架,即行業分析,需求分析,技術分析,實現,測試和總結的6步走,不求甚解的瞭解如何使用ai工具. 場景一:角色扮演,使用百度千帆+prompt工程,構造出角色/關卡和對話原則 場景二:視頻配音,完成多模態處理,使用qwen解析視頻幀並使用llm的圖轉文技術生成summary,使用語音模型生成解說,最後合併字母解說和視頻 場景三:股票分析,引入proxy做流程統領和assistant實現具體任務,通過conversable保持連續對話和carryover的能力,即部署不同角色的agent,包括可執行代碼的executor. 場景四:爬蟲和文章仿寫:使用llm快速摘取指定URL的文章簡報,並利用agent的不同提示詞構造的不同角色完成generate和reflect,即生成和評分的循環對話,保證仿寫的文章質量 場景五:出行規劃,使用function call對不同的任務執行不同的操作,例如執行搜索引擎查詢,引入agent的解題流程框架PS和ReWoo,最終利用ReWoo+langGraph分step執行了一個出行計劃的指定 場景六:電商客服和用戶洞察,第一塊少樣本學習使得上層ai低成本學習詢問路由,第二塊爲文本學習agent,使用openai編碼模型對examples(企業內部知識庫)進行向量存儲,並提供相似性query能力,已匹配滿足的文檔;第三塊是SQL調用能力,結合@tool抽象出SQL檢索能力,根據用戶的query生成SQL.三個部分結合在一起,完成不同業務階段的數據檢索,並使用memory模塊對chatHistory進行總結勾畫用戶畫像. 上面幾個場景,本質上告訴我們,抽象好業務需求後,將大模型嵌入到合適的位置,即施展其作用以替代人工或者低效的部分,利用當前AI領域的存量工具,多快好省的完成目標.說白了,對於ai的應用,要抱着開卷有益的心態去學習,去發掘使用場景,不能主動創造時,就做好被動學習的打算.

帶着如何讓大模型在使用過程中迭代的問題看這本書，雖然沒能解決我的問題，但也是有所收穫。本書給出了當下大模型常用案例及代碼，且內容詳細，每個案例的總結也是能避免人過度發散。總體來說適合有點基礎的人閱讀，想了解工作流搭建也是很ok