大模型定制开发--行业应用与解决方案

摆在我们面前的是两条路,拥抱AI;拒绝AI.世界还是照常运转,但是未来好像变成了一团巨大的模糊,似乎有光,又仿佛一片黑暗,而主导这种景象的那只看不见的手就是AI.AI静态知识无限趋近于0成本,也就意味你有了一个无与伦比的知识渊博的老师和助手,也意味着你所有的专业技术至少是计算机技术变得片面和低价值.AI让大多数人都会回到relearning的状态,职场工作不再稳定,在没有趋于平衡前,越早贴近AI越能获得AI生产力,也就增加了自己的竞争力.不过,快速迭代发展的过程,意味着技术也快速的更新,掌握使用的方法即可,不作为算法工程师就无需深入了解原理了,至少我们大部分人最后都只是AI的搬运工. 作者没有深入各个技术或者偏执介绍使用的语言,点到为止把握的度十分适合我. 基础信息摄入:预训练,sft微调,强化训练中的sft模型,奖励模型,这些大概描述了如何生成一个llm的方式.提示词,提示词工程解释无论是来自自写还是pull hub如何使用prompt进行大模型的使用,并给定了smart/角色等指导性的建议.langchain简化大模型开发.few-shot prompting让大模型习得少量样本知识.agent作为智能体,包裹着工具和大模型的自主思考决策并执行的应用,应是未来我们对ai使用的最基本形态. 工具包:工具包指导你应对问题可以使用什么工具,从简单的对话,视频处理,数据采集,文本创作到电商,涵盖文本音频视频数据,依次递深的组合应用不同的工具以满足特定需求.结合作者的书写框架,即行业分析,需求分析,技术分析,实现,测试和总结的6步走,不求甚解的了解如何使用ai工具. 场景一:角色扮演,使用百度千帆+prompt工程,构造出角色/关卡和对话原则 场景二:视频配音,完成多模态处理,使用qwen解析视频帧并使用llm的图转文技术生成summary,使用语音模型生成解说,最后合并字母解说和视频 场景三:股票分析,引入proxy做流程统领和assistant实现具体任务,通过conversable保持连续对话和carryover的能力,即部署不同角色的agent,包括可执行代码的executor. 场景四:爬虫和文章仿写:使用llm快速摘取指定URL的文章简报,并利用agent的不同提示词构造的不同角色完成generate和reflect,即生成和评分的循环对话,保证仿写的文章质量 场景五:出行规划,使用function call对不同的任务执行不同的操作,例如执行搜索引擎查询,引入agent的解题流程框架PS和ReWoo,最终利用ReWoo+langGraph分step执行了一个出行计划的指定 场景六:电商客服和用户洞察,第一块少样本学习使得上层ai低成本学习询问路由,第二块为文本学习agent,使用openai编码模型对examples(企业内部知识库)进行向量存储,并提供相似性query能力,已匹配满足的文档;第三块是SQL调用能力,结合@tool抽象出SQL检索能力,根据用户的query生成SQL.三个部分结合在一起,完成不同业务阶段的数据检索,并使用memory模块对chatHistory进行总结勾画用户画像. 上面几个场景,本质上告诉我们,抽象好业务需求后,将大模型嵌入到合适的位置,即施展其作用以替代人工或者低效的部分,利用当前AI领域的存量工具,多快好省的完成目标.说白了,对于ai的应用,要抱着开卷有益的心态去学习,去发掘使用场景,不能主动创造时,就做好被动学习的打算.

带着如何让大模型在使用过程中迭代的问题看这本书，虽然没能解决我的问题，但也是有所收获。本书给出了当下大模型常用案例及代码，且内容详细，每个案例的总结也是能避免人过度发散。总体来说适合有点基础的人阅读，想了解工作流搭建也是很ok