localAI: 编译步骤说明

懒人通道

官网提供了懒人包，使用的时候不需要关注整个打包流程，，下面是官方的cuda示例，当然官方提供可选项很多，Available: cublas, openblas, clblas, metal,hipblas, sycl_f16, sycl_f32

docker中gpu使用方法https://localai.io/features/gpu-acceleration/，如果你需要使用其他加速设备，就需要手动编译这个项目了，官方提供了各种系统的编译方法https://localai.io/basics/build/#Acceleration

Ps:对于只需要部分功能的人来说，懒人包占用60G的空间，让我们有点寒暄

介绍

下面在介绍编译之前，我们先了解下LocalAi的架构

LocalAI这个项目架构集成了各种语言（C++，Golang，Python等）通过编写一套GRPC实现不同模型加速服务接入。 LocalAI 的所有组件可在模型兼容性表查看

Oh, and let’s not forget the real MVP here—llama.cpp. Without this extraordinary piece of software, LocalAI wouldn’t even exist. So, a big shoutout to the community for making this magic happen!

Ps: 好奇怪的画风^(^

GPU设备

LocalAi官方提供可选项很多，比如: cublas, openblas, clblas, metal,hipblas, sycl_f16, sycl_f32，这些设备的支持方法你可以在这个页面找到https://localai.io/basics/build/#Acceleration

环境配置

LocalAI由于提供了Dockerfile,一些环境配置可以参考DockerFile，需要注意的是，如果你在本地安装，C++编译器的版本请自行确认，不同系统有所不同

如果你选用了docker环境编译，那么你需要注意，本地的gpu设备载入配置，同样不同的gpu设备载入方式也不太相同，这里选用nvidia设备

1、提前安装好docker-nvidia桥接依赖，一些错误的解决方法https://github.com/NVIDIA/nvidia-docker/issues/1243

2、配置docker-compose文件

version: '3.6'

services:

  localai_cuda:

    image: quay.io/go-skynet/local-ai:master-cublas-cuda12

    build:

      context: .

      dockerfile: Dockerfile

    ports:

      - 8080:8080

    deploy:

      resources:

        reservations:

          devices:

            - driver: nvidia

              count: 1

              capabilities: [gpu]

    environment:

      - BUILD_TYPE=cublas

      - DEBUG=true

      - MODELS_PATH=/models

      - 'NVIDIA_VISIBLE_DEVICES=all'

      - 'CUDA_VISIBLE_DEVICES=all'

      - 'CUDA_DEVICE_POOL_GPU_OVERRIDE=1'

    env_file:

      - .env

    volumes:

      - ./models:/models:cached

      - ./images/:/tmp/generated/images/

    command: ["/usr/bin/local-ai" ]

3、在运行前，docker启动容器报错 Unknown runtime specified nvidia.这个错误出现，说明你没有配置runtime，参考https://www.cnblogs.com/luckforefforts/p/13642682.html

4、修改国内的ubuntu源，在Dockerfile合适的位置增加下面两行

RUN sed -i 's/http:\/\/archive.ubuntu.com/http:\/\/mirrors.tuna.tsinghua.edu.cn\/ubuntu/g' /etc/apt/sources.list

RUN apt-get clean

5、修改.env变量BUILD_TYPE值为cublas，说明见https://localai.io/basics/build/#Acceleration

6、执行编译 docker-compose up --build