[toc]

FastGPT 与 Ollama 的安装与配置指南

相关知识

FastGPT

安装指南

步骤一：安装

你可以使用 Docker Compose 快速部署 FastGPT。

参考文档：Docker Compose 快速部署 | FastGPT (fastai.site)

参考源码：FastGPT/files/docker at main · labring/FastGPT (github.com)

步骤二：创建文件夹并下载文件

  1. 创建一个文件夹，用于存放下载的文件。

  2. 下载以下两个文件并放入创建的文件夹中：

步骤三：启动服务

在文件夹中运行以下命令启动服务：

1

docker-compose up

Ollama

安装指南

步骤一：下载

在 Windows 系统上下载并安装 Ollama：Download Ollama on Windows

步骤二：安装模型

运行以下命令来安装和配置模型：

1
2
3
4

ollama run qwen2:7b
ollama cp qwen2:7b gpt-3.5-turbo
ollama pull milkey/m3e
ollama cp milkey/m3e m3e

步骤三：启动服务

运行以下命令启动服务：

1

ollama serve

服务启动后，接口地址为：

1

http://127.0.0.1:11434

FastGPT 配置

配置 M3E 模型

在配置文件中添加以下内容来配置 M3E 模型：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

"vectorModels": [
  {
    "model": "m3e",
    "name": "M3E",
    "inputPrice": 0,
    "outputPrice": 0,
    "defaultToken": 700,
    "maxToken": 1800,
    "weight": 100
  }
]

配置 LLM 模型

在配置文件中添加以下内容来配置 LLM 模型：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

"llmModels": [
  {
    "model": "qwen2:7b",
    "name": "qwen2:7b",
    "maxContext": 16000,
    "avatar": "/imgs/model/openai.svg",
    "maxResponse": 4000,
    "quoteMaxToken": 13000,
    "maxTemperature": 1.2,
    "charsPointsPrice": 0,
    "censor": false,
    "vision": false,
    "datasetProcess": true,
    "usedInClassify": true,
    "usedInExtractFields": true,
    "usedInToolCall": true,
    "usedInQueryExtension": true,
    "toolChoice": true,
    "functionCall": true,
    "customCQPrompt": "",
    "customExtractPrompt": "",
    "defaultSystemChatPrompt": "",
    "defaultConfig": {}
  }
]

One API 配置

访问 One API

账户密码为：root 123456

配置好 FastGPT 后，就能使用了。

FastGPT 使用

访问 FastGPT

账户密码为：root 1234

扩展知识