今天,我们将重点探讨对接的业务逻辑。为了帮助大家更直观地掌握其中的规律性,我将通过对比OpenAI与《月之暗面》中的Moonshot两个案例来阐述这一点。通过这样的对比,大家可以更清晰地看到,这些对接业务的整体框架其实非常相似。换句话说,我们要做的工作只是其中的一小部分,但它同样是关键的一环。

好了,接下来我们就开始深入了解这个话题。

模型对接

我们首先需要找到关键的 model 类,所有的具体逻辑实际上都集中在这里。从这部分代码入手,我们可以对比一下两者之间的差异。通过观察,我们会发现,实际上这段代码的结构和写法几乎是固定的,遵循了一定的模式。所有的对接解析逻辑都封装在那些被折叠的部分中。如图所示:

OpenAI方法中的第二个参数实际上也是自适应的,主要用于其内部实现,具体细节将在后续内容中进一步讲解。需要强调的是,这个参数并非强制性的,是否使用取决于具体接口的需求和实现方式。至于流式处理,它与其他常见方法基本相似,具体实现细节可以参照以下示意图:

这段代码的主要目的是通过 OpenAI API 进行聊天请求,处理响应并构建最终的 ChatResponse 对象。它还包含了对工具调用的处理逻辑,允许递归调用以处理复杂的对话场景。

参数解析

可以看到方法内部还是有很多参数的,我们简单看下。

  • prompt:这个并不是我们常说的一段人设文本,而是外层Chatclient带回来的参数封装成了prompt对象而已。
  • PROVIDER_NAME:模型公司的名字,一个字符串,如:openai、ollama、moonshot等
  • CHAT_MODEL_OPERATION:一个枚举类主要用来实现接口的默认方法。通过记录一些信息帮助开发者分析和监控聊天模型的行为。
  • observationConvention:客户自定义的观测数据,这里默认为DEFAULT_OBSERVATION_CONVENTION。
  • observationContext:用于存储和管理聊天模型交换的元数据
  • observationRegistry:和观察相关,但默认是不观察。

剩下的基本都是很简单的理解了。和工具调用有关,暂时不分析。

详细说下DEFAULT_OBSERVATION_CONVENTION类,它主要用于为聊天模型操作生成观测数据(如名称、低基数和高基数键值对)。具体功能如下:

  • 获取观测名称:返回默认的观测名称。
  • 生成上下文名称:根据请求模型生成上下文名称。
  • 生成低基数键值对:包括AI操作类型、提供者、请求模型和响应模型。
  • 生成高基数键值对:包括请求和响应的各种参数,如频率惩罚、最大令牌数等。

总结

通过对OpenAI与《月之暗面》中Moonshot案例的对比,我们可以清晰地看到,尽管每个业务对接的实现有所不同,但其整体框架和逻辑结构却高度相似。无论是在模型选择、参数解析,还是流式处理的实现上,都遵循了相同的基本模式。这些对接过程中的每一个小细节,虽然看似琐碎,但它们在整个系统中发挥着至关重要的作用。


我是努力的小雨,一个正经的 Java 东北服务端开发,整天琢磨着 AI 技术这块儿的奥秘。特爱跟人交流技术,喜欢把自己的心得和大家分享。还当上了腾讯云创作之星,阿里云专家博主,华为云云享专家,掘金优秀作者。各种征文、开源比赛的牌子也拿了。

想把我在技术路上走过的弯路和经验全都分享出来,给你们的学习和成长带来点启发,帮一把。

欢迎关注努力的小雨,咱一块儿进步!

深入解析 Spring AI 系列:以OpenAI与Moonshot案例为例寻找共同点的更多相关文章

  1. Spring Boot 系列教程11-html页面解析-jsoup

    需求 需要对一个页面进行数据抓取,并导出doc文档 html解析器 jsoup 可直接解析某个URL地址.HTML文本内容.它提供了一套非常省力的API,可通过DOM,CSS以及类似于JQuery的操 ...

  2. Spring Boot系列(三):Spring Boot整合Mybatis源码解析

    一.Mybatis回顾 1.MyBatis介绍 Mybatis是一个半ORM框架,它使用简单的 XML 或注解用于配置和原始映射,将接口和Java的POJOs(普通的Java 对象)映射成数据库中的记 ...

  3. Spring Boot系列(四):Spring Boot源码解析

    一.自动装配原理 之前博文已经讲过,@SpringBootApplication继承了@EnableAutoConfiguration,该注解导入了AutoConfigurationImport Se ...

  4. Spring Cloud系列(三):Eureka源码解析之服务端

    一.自动装配 1.根据自动装配原理(详见:Spring Boot系列(二):Spring Boot自动装配原理解析),找到spring-cloud-starter-netflix-eureka-ser ...

  5. Spring Cloud系列(四):Eureka源码解析之客户端

    一.自动装配 1.根据自动装配原理(详见:Spring Boot系列(二):Spring Boot自动装配原理解析),找到spring-cloud-netflix-eureka-client.jar的 ...

  6. Spring Boot 系列教程8-EasyUI-edatagrid扩展

    edatagrid扩展组件 edatagrid组件是datagrid的扩展组件,增加了统一处理CRUD的功能,可以用在数据比较简单的页面. 使用的时候需要额外引入jquery.edatagrid.js ...

  7. Spring Boot 系列教程7-EasyUI-datagrid

    jQueryEasyUI jQuery EasyUI是一组基于jQuery的UI插件集合体,而jQuery EasyUI的目标就是帮助web开发者更轻松的打造出功能丰富并且美观的UI界面.开发者不需要 ...

  8. Spring mvc系列一之 Spring mvc简单配置

    Spring mvc系列一之 Spring mvc简单配置-引用 Spring MVC做为SpringFrameWork的后续产品,Spring 框架提供了构建 Web 应用程序的全功能 MVC 模块 ...

  9. Spring基础系列-AOP源码分析

    原创作品,可以转载,但是请标注出处地址:https://www.cnblogs.com/V1haoge/p/9560803.html 一.概述 Spring的两大特性:IOC和AOP. AOP是面向切 ...

  10. spring boot系列(五)spring boot 配置spring data jpa (查询方法)

    接着上面spring boot系列(四)spring boot 配置spring data jpa 保存修改方法继续做查询的测试: 1 创建UserInfo实体类,代码和https://www.cnb ...

随机推荐

  1. Win11右键默认显示更多设置

    以管理员方式运行CMD,运行: reg.exe add "HKCU\Software\Classes\CLSID\{86ca1aa0-34aa-4e8b-a509-50c905bae2a2} ...

  2. 识别指定window窗口的文本

    1. 简单需求 通过图文识别读取一个指定window窗口的文本. 获取窗口句柄,截图保存成bitmap ,调用图文识别库. 测试结果是对中文下的识别不是特别好. 需要注意的是,tessdata要下载指 ...

  3. Next.js 与 Node.js 全栈应用开发:API设计、数据库连接、身份验证 | 2024版

    书接上回,到目前为止,您的应用程序只有一个主页.让我们学习如何使用布局和页面创建更多路线. 在本章之中我们需要讨论: dashboard使用文件系统路由创建路由. 了解创建新路线段时文件夹和文件的作用 ...

  4. Shell之根据关键字符串替换文件中的行

    KEY="所要搜索的关键字符串"FullPath=所要搜索的文件的路径str="要替换行的字符串"     根据关键字符串定位行号:line=`sed -n ' ...

  5. C语言指针一些常见的错误用法

    指针用的好犹如神助,用不好会让你叫苦连连,但大多数人是用不好指针的,所以后来的很多语言都把指针封装,屏蔽.比如JAVA,java是没有指针的,但是很多地方都用到指针,不过不对用户开放,语言的自身机制帮 ...

  6. 内网渗透之frp+proxifier实现socks5反向代理

    目录 前言 环境搭建 frp反向代理 proxifier代理工具 前言 内网穿透,代理技术的联系与区别? 我个人感觉在内网渗透的时候它们之间的界限很模糊,其目的都是为了突破内网访问的限制.内网穿透允许 ...

  7. [转载]Redis之缓存穿透、缓存击穿、缓存雪崩及其解决方法

    原文地址:https://mp.weixin.qq.com/s?__biz=MzU2MDY0NDQwNQ==&mid=2247483949&idx=1&sn=6c643858d ...

  8. 终端工具之Tabby

    我工作中用的最多的工具之一就是「终端连接工具」了,因为经常和 Linux 服务器打交道,经常在上面跑代码.排查系统问题等等. Windows 系统最常用的就是 Xshell 这款终端工具了,但是它只能 ...

  9. C++ 实现万年历(原创)

    2020年08月31日 首次分享文档源代码. 2023年11月23日 对文档.代码进行了更新,希望可以帮助到你. 1. 实现功能 提供菜单方式选择,假定输入的年份在1940-2040年之间. 输入一个 ...

  10. 基于surging的木舟平台如何分布式接入设备

    一.概述 上篇文章介绍了木舟通过基于木舟平台浅谈surging 的热点KEY的解决方法,那么此篇文章将介绍基于surging的木舟平台如何分布式接入设备. 木舟 (Kayak) 是什么? 木舟(Kay ...