[ML] 通过llama.cpp与羊驼聊天的网页界面- 详解 Serge 的启动使用

 

Serge 虽然能够让我们在笔记本上跑起来 7B模型， 但实际运行非常消耗CPU，对话生成响应非常非常慢。

1. 官方指导是使用如下命令直接运行：

$ docker run -d -v weights:/usr/src/app/weights -v datadb:/data/db/ -p 8008:8008 ghcr.io/nsarrazin/serge:latest

随后打开地址 localhost:8008

注意：这里面有个文档上面没说的事，就是你本地是没有模型时，镜像内部会进行下载。

7B模型大小 4G，下载这会持续一段时间，所以打开 localhost:8008 后 Model choice 是没有模型可以选择的，按钮也是不可以点击的。

你进入到 docker 容器中可以查看 ./weights 目录里的文件下载进度情况。

2. 等下载完之后就会选中模型，此时 “Start a new chat” 按钮才是可以点击的，而不是 disabled 状态。

3. 如果提前在 Huggingface 上面下载好的文件，放到 weights 里面要改名为 7B.bin

https://huggingface.co/nsarrazin/alpaca/tree/main/alpaca-7B-ggml

因为可以看到实际生成用的是 docker 镜像内的指定目录内的 bin 文件，比如: 7B.bin

检验有没有下载好的模型文件，也是通过检测目录下的 7B.bin 等文件。

补充说明：具体程序是去哪里下载的可以看到列的模型信息，单独使用时可以自己去 HuggingFace.co 搜索下载。

Tool：ChatAI Online

Ref：https://github.com/nsarrazin/serge

Link：https://www.cnblogs.com/farwish/p/17280159.html