AI工程师跑路了-怎么办？

​

从雪山飞狐到百年孤独

百无聊赖中翻开了又一本金庸的小说《雪山飞狐》，江湖侠气，快意恩仇瞬间跃然纸上，唯有最后胡斐那一刀才让读者回到了现实。之前刚读了《明朝那些事儿》，最后重墨了李闯王，也不知道是不是世界太小了，还是巧合，《雪山飞狐》的背景就是李闯王的4大护卫家的百年爱恨情仇，翻完《雪山飞狐》，又巧合的拿起了《百年孤独》，又是百年的孤独与爱恨... 这也许就是读书的另类乐趣吧。

Ai风吹进了公司

这两年好像出了这样一个论点：不搞ai的公司，好像都抬不起头。我们也不例外，来了一个老板，来了一个Ai工程师开始捣鼓起了Ai。对公司有这样的看法，自然视乎对我们这样的程序员也有同样的看法。于是我也一咬牙，一跺脚净身来到新的团队充数。想着边打杂跑腿，边抱大腿噌点Ai知识。之前都是弄几个demo自嗨，不得劲儿，想出来看看真的Ai项目长啥样。

哪成想，新来的Ai工程师用的Go语言，看不懂。于是吭哧吭哧学习了解了下Go，配合Cusor总算是马马虎虎看明白代码了。每个月140元包月的费用总算是没白瞎了。

大腿跑了我怎么办

本以为我在这个里从一个Javaer变一个Goer，可以在简历上写上精通GO，没成想，意外来得这么突然，Ai工程师跑了，大腿没有了，似乎短时间我要摇身一变成“大腿”了。但是留给我的时间不多，只有3周，其中还包括一个5.1长假。我陷入了深深的思索中，心中多个声音不断博弈：继续在原来的go上开发，能看和能写还是不是一会事儿，不可控；用Python实现Mult Agent，会demo到会写项目中间还间隔一个筋斗云，不可控；用java实现，自己是个熟练工，但没有一个成熟的框架可以用。

辗转反侧，夜不能寐，上下求索，各种尝试，进展微乎其微，觉得我的一只脚已经在公司外了。何以解忧，百年孤独。也许是巧合吧，当时的那种心情，与无人理解老何赛的科学追求，与无人理解到老乌尔苏拉如何维持大家庭的艰辛，与无人理解奥雷里亚诺上校战后的无奈，真可谓同病相连。

显然马尔克斯是懂人性的，是懂峰终定律的，所以几乎大部分布恩迪亚家的人，无论生前如何荒诞，生命的最后一刻都顿悟了，沐浴着最朴素的亲情。所以看是阴沉的书，给人的确实温暖。骆驼祥子，或者...整本书都是阴沉，阴沉，更阴沉，所有短暂的希望只是为了演绎更多失望。看完后只有一个感觉：绝望。

一边孤独，一边尝试，一边面试（除了招人，还希望能在面试过程中有所收获），终于看到了Spring Ai，欣喜若狂，突然感觉有了一根稻草。还没有等朝阳升起，一片乌云飘过 -- Srping Ai现在还只有里程碑版本 - M6。不幸中的万幸是 ，乌云不可怕，只要风够大 -- release版本会在5月发布。于是开始下定决心沿着javaer的路走下去。

有Sping Ai也不容易

Sping Ai要求JDK17，Spring boot 3.x 一个简单的要求差点让人崩溃。一开始想着用现有spring boot 2.3的项目直接升级到Spring boot 3.x，毕竟Spring boot 一直以向下兼容著称，但是架不住原来项目依赖不太规范，一顿操作后，无奈放弃。最后从朋友那里弄来一个Spring boot 3项目，总算是跑起来了，但是这只是刚刚开始。

因为不是relase版本， 不同版本 artifactId，包名，类名都都在变化，导致很多文章，甚至官方文档都是针对某个过去的特定版本编写的demo，这一切就如同面对马孔多南边一望无际的沼泽一般，老何赛终其一生也没能走出去，5.1长假鏖战数天，也没有完整跑起来一个dmeo。怎么都无法找到这个包。

<dependency>
   <groupId>org.springframework.ai</groupId>
   <artifactId>spring-ai-openai-spring-boot-starter</artifactId>
</dependency>

秒针嘀嗒响个不停，时间如舟山的沙子从指间的飞快漏下，怎么都抓不住。漫长的煎熬下，甚至想再换个方向呢，换个思路呢，然而出门四顾心枉然，敢为路在何方！漫无目的的在Spring Ai 官方文档溜达（建议大家别看中文文档， 感觉是没有感情的机器翻译的），一个升级日志就默默的写那里，没有激动，没有喜悦，没有懊恼，靜靜换了Artifact ID ，demo自然的跑起来了，就像本该如何这般。

Artifact ID Changes

The naming pattern for Spring AI starter artifacts has changed. You’ll need to update your dependencies according to the following patterns:

• Model starters: spring-ai-{model}-spring-boot-starter → spring-ai-starter-model-{model}

• Vector Store starters: spring-ai-{store}-store-spring-boot-starter → spring-ai-starter-vector-store-{store}

• MCP starters: spring-ai-mcp-{type}-spring-boot-starter → spring-ai-starter-mcp-{type}

Demo让时间流慢了

撑开拳头，沙子掉得慢了，时间仿佛也通了人性，尽可能的的速度缓慢流逝。虽然时间来到了5月7号，还有两周时间，但感觉有了更多的时间去丰富功能了。虽然不直接支持腾讯向量库（不建议使用腾讯向量库，特别是对图的处理，有点难受），但为自定义实现提供了良好的基础。如果恰好也有用这个向量库的，可以参考下。

/**
 * @Author: JJ
 * @CreateTime: 2025-05-07  14:21
 * @Description: 腾讯向量存储
 */
@Slf4j
@Component
public class TencentVectorStore implements VectorStore {

    private final VectorDBClient client;

    public TencentVectorStore() {

        log.info("tencentVectorStore  init");
        log.info("tencentVectorStore  init end");
    }

    @Override
    public void add(List<Document> documents) {
        log.info("Adding " + documents.size() + " documents");
    }

    @Override
    public void delete(List<String> idList) {
        log.info("Deleting " + idList.size() + " documents");
    }

    @Override
    public void delete(Filter.Expression filterExpression) {
        log.info("Deleting filter " + filterExpression);
    }

    @Override
    public List<Document> similaritySearch(SearchRequest request) {

        AIDatabase db = client.aiDatabase("db");
        CollectionView collection = db.describeCollectionView("cv1");

        SearchOption searchOption = SearchOption.newBuilder()
                .withChunkExpand(Arrays.asList(1,1))
                .withRerank(new RerankOption(true, 2.5))  // 启用重排序，设置合理的召回倍率
                .build();
        SearchByContentsParam searchByContentsParam = SearchByContentsParam.newBuilder()
                .withLimit(request.getTopK())
                .withSearchContentOption(searchOption)
                .withContent(request.getQuery())
                .build();
        log.info("searchByContentsParam {}", JSONUtil.toJsonStr(searchByContentsParam));
        List<SearchContentInfo> searchRes = collection.search(searchByContentsParam);

        collection = db.describeCollectionView("cv2");
        searchOption = SearchOption.newBuilder()
                .withChunkExpand(Arrays.asList(1,1))
                .withRerank(new RerankOption(true, 2.5))  // 启用重排序，设置合理的召回倍率
                .build();
        searchByContentsParam = SearchByContentsParam.newBuilder()
                .withLimit(request.getTopK())
                .withSearchContentOption(searchOption)
                .withContent(request.getQuery())
                .build();
        log.info("searchByContentsParam-healthcare_with_img {}", JSONUtil.toJsonStr(searchByContentsParam));
        List<SearchContentInfo> searchResWithImg = collection.search(searchByContentsParam);
        searchRes.addAll(searchResWithImg);

        return searchRes.stream().filter((rowRecord) -> rowRecord.getScore() >= request.getSimilarityThreshold()).map((rowRecord) -> {
            String docId = rowRecord.getDocumentSet().getDocumentSetId();

            JsonObject metadata = new JsonObject();

            StringBuilder knowledge = new StringBuilder();
            rowRecord.getData().getPre().forEach(a->{
                knowledge.append(a+"\n");
            });
            knowledge.append(rowRecord.getData().getText()+"\n");
            rowRecord.getData().getNext().forEach(a->{
                knowledge.append(a+"\n");
            });
            String content = knowledge.toString();

            log.debug(JSONUtil.toJsonStr(rowRecord));

            metadata = new JsonObject();
            metadata.addProperty("documentSetName", rowRecord.getDocumentSet().getDocumentSetName());
            metadata.addProperty(DocumentMetadata.DISTANCE.value(), 1.0F - rowRecord.getScore());

            Gson gson = new Gson();
            Type type = (new TypeToken<Map<String, Object>>() {
            }).getType();

            return Document.builder().id(docId).text(content).metadata(metadata != null ? (Map)gson.fromJson(metadata, type) : Map.of()).score(rowRecord.getScore()).build();
        }).toList();
    }
}

想自定义历史消息查询，也非常简单，毕竟默认的JDBC目前支持的数据库类型有限。只需要实现add 与  get 方法就可以了。 恰好有想自定义实现的同学也可以参靠下。

/**
 * @Author: jijunjian
 * @CreateTime: 2025-05-08  13:53
 * @Description: 聊天记录
 */
@Slf4j
@Component
public class BellaChatMemory implements ChatMemory {

    @Resource
    private ChatMessageV1Mapper chatMessageV1Mapper;

    @Resource
    RedisService redisService;

    @Override
    public void add(String conversationId, List<Message> messages) {
        log.info("Saving " + messages.size() + " messages to conversation " + conversationId);

        MemberUserVo currentUser = MemberContextHolder.getCurrentUser();

        String lastedMessageKey = RedisKey.lastedMessageKey(conversationId);
        //用户的消息，手动添加，这里只添加系统的
        messages.forEach(message -> {

            String userId = "0";
            if (currentUser != null) {
                userId = currentUser.getUserCode().toString();
            }

             if (!message.getMessageType().equals(MessageType.USER)){
                 chatMessageV1Mapper.insert(chatMessageV1SaveReqVO);
             }
        });

    }

    /**
     * @param conversationId
     * @param lastN
     * @deprecated
     */
    @Override
    public List<Message> get(String conversationId) {
       int lastN = 20;
        log.debug("findByConversationId {}", conversationId);
        LambdaQueryWrapper<ChatMessageV1DO> queryWrapperX = new LambdaQueryWrapperX<ChatMessageV1DO>()
                .eq(ChatMessageV1DO::getConversationId, conversationId)
                .eq(ChatMessageV1DO::getDeleted, 0)
                .orderByDesc(ChatMessageV1DO::getId)
                 .last( "limit " + lastN);

        List<ChatMessageV1DO> chatMessageV1DOS = chatMessageV1Mapper.selectList(queryWrapperX);
        //列表根据 id 升序
        chatMessageV1DOS.sort((o1, o2) -> {
            if (o1.getId() > o2.getId()) {
                return 1;
            } else if (o1.getId() < o2.getId()) {
                return -1;
            } else {
                return 0;
            }
        });
        List<Message> messageList = new ArrayList<>();

        chatMessageV1DOS.forEach(messageDo -> {
            var type = ChatRoleEnum.getByCode(messageDo.getAuthorRole());
            switch (type) {
                case USER:
                    String content = messageDo.getContent();
                    if(!Strings.isNullOrEmpty(messageDo.getImgs())){
                        content = content + "\n 用户图片：" + messageDo.getImgs();
                    }
                    messageList.add(new UserMessage(content));
                    break;
                case ASSISTANT:
                    messageList.add(new AssistantMessage(messageDo.getContent()));
                    break;
                default:
                    log.error("Unknown chat role " + messageDo.getAuthorRole());
            };
        });
        return messageList;
    }

    @Override
    public void clear(String conversationId) {
        log.debug("deleteByConversationId {}", conversationId);
    }
}

两个特别留意的地方

Tool Calling 尝试100次都是无法调用，官方文档上的demo也无法运行，后来看到需要一个特别的参数配置才可以，于是101次成功了，但是102次又失败了，因为有些模型不支持Toos，于是103次成功了，也持续成功了。

       ChatOptions chatOptions = ToolCallingChatOptions.builder()
                .internalToolExecutionEnabled(true)

ContextualQueryAugmenter 一定要重写 PromptTemplate 否则知识库中没有内容的话，总是回答不知道。还是直接在sping-ai原码中搜索才到这个提示，然后再针对性的解决了。原码中默认的PromptTemplate是这样的配置的。

private static final PromptTemplate DEFAULT_PROMPT_TEMPLATE = new PromptTemplate("""
            Context information is below.

            ---------------------
            {context}
            ---------------------

            Given the context information and no prior knowledge, answer the query.

            Follow these rules:

            1. If the answer is not in the context, just say that you don't know.
            2. Avoid statements like "Based on the context..." or "The provided information...".

            Query: {query}

            Answer:
            """);

于是这样初始化RetrievalAugmentationAdvisor问题就解决了。

        Advisor retrievalAugmentationAdvisor = RetrievalAugmentationAdvisor.builder()
                .queryTransformers(RewriteQueryTransformer.builder()
                        .chatClientBuilder(queryTransformerClient.mutate())
                        .build())
                .documentRetriever(VectorStoreDocumentRetriever.builder()
                        .similarityThreshold(0.50)
                        .vectorStore(tencentVectorStore)
                        .build())
                .queryAugmenter(ContextualQueryAugmenter.builder()
                        .allowEmptyContext(true)
                        .promptTemplate(contextualPrompt)
                        .build())
                .build();

我也来践行峰终定律

有了上面的基础，522版本基本可控了，截至此时， MVP2.0算上基本上发布了，算是实现了阶段性目标， 那条悬在公司外的腿，又坚强的收了回来了，很明显，腿还小着，系统中定义了多个Agent去执行不同场景的任务，舌诊Agent完成图片的收集与实别，问卷Agent完成相关用户数据收集的场景... 再有意图识别route到具体worker Agent。实现了一个简单的chatBot不是啥大成果，但是有了迭代的基础，也因此有了希望。

后记

此版本语音模式体验不是太理想，一个字：慢。目前的方案是LLM输出后，才用miniMax转语音，这样是快不了的。也许接下来是时候去看看openai的 realtime 的框架了，因为目前只有Python SDK ， 不知道有没有哪个朋友也给一个Python web 的项目。 想想就是一件高兴的事儿。

因为app还在 testflight 内测，我想想看看如何放到小程序让大家体验下。

官方不让放二维码，只能放一个链接了。

​