同样的技术也用于调用非

Shopping data tracks consumer behavior and purchasing patterns.
Post Reply
Reddi1
Posts: 431
Joined: Thu Dec 26, 2024 3:10 am

同样的技术也用于调用非

Post by Reddi1 »

这些独特的数据中有很多是通过各种微服务中的远程过程调用()在内部公开的。这些虽然这对于人类通过编程方式调用非常方便,但对于大语言模型来说并不友好。


我们通过把这些“包装”成技能来解决这个问题。每个技能()都包含以下组件: 人类(和大语言模型)友好的描述:说明的功能以及何时使用它。


调用配置:包括端点、输入、输出等。 大语言模型友好的输入和输出: 基本类型(如字符串布尔值数字) 风格的输入和输出 业务逻辑:用于在大语言模型友好的与实际 之间进行映射。


(注:是个编程术语,也许可以翻译成模式,拿表作类比,表头是) 这样的技能使大语言模型能够执行与我们的产品相关的各种任务,如查看个人资料、搜索文章人员职位公司,甚至查询内部分析系统。


如搜索和新闻。 智能体产品案 约旦 telegram 手机号码列表 例深度思考和分享(全球顶级公司实践细节,做智能体必读) 图:使用技能调用内部 我们编写了提示词,要求大语言模型()决定使用哪种技能来解决特定任务(通过规划来完成技能选择),然后输出调用该技能所需的参数(函数调用)。


由于调用参数必须与输入匹配,我们要求以结构化的方式输出它们。大多数都经过和的结构化输出训练。我们选择是因为它更简洁,因此消耗的比少。


我们遇到的一个挑战是,虽然大约%的时间里,的响应包含了正确格式的参数,但有大约%的时间,会出错(注:经常说的幻觉),并且经常输出不符合要求的数据,或者更糟糕的是,甚至不是有效的。


虽然这些错误对人类来说微不足道,但会导致解析它们的代码出错。由于%的比例足够高,我们不能忽视这些微不足道的错误,因此我们着手解决这个问题。


解决这个问题的标准方法是检测到错误,然后重新发提示词给大语言模型,要求它在这些额外指示下纠正错误。虽然这种方法有效,但它增加了不小的延迟,并且由于额外的调用而消耗了宝贵的算力。
Post Reply