大型语言模型(LLM)接口模板
提示管理和令牌跟踪接口
一个在Back4app上的生产就绪的LLM接口后台,允许提示管理和令牌使用跟踪。包括ER图、数据字典、JSON架构、API游乐场,以及一个用于快速引导的AI代理提示。
关键要点
此模板提供无缝的LLM接口,用于管理提示和跟踪令牌使用,使您的团队能够专注于用户体验和性能。
- 提示管理功能 — 高效结构化和管理提示,确保最佳性能。
- 令牌使用跟踪 — 利用内置跟踪功能监控不同模型的令牌消耗。
- 与多个模型的集成 — 轻松将各种大型语言模型集成到您的应用程序中。
- 实时查询 — 实现 Live Queries 以动态更新提示使用情况和令牌统计。
- 跨平台适应性 — 通过单个 REST 和 GraphQL API 为所有交互提供移动和web客户端。
LLM 接口模板是什么?
Back4app 是加速产品交付的后端即服务(BaaS)。LLM 接口模板是用于管理提示、令牌使用和模型交互的预构建架构。连接您首选的前端(React、Flutter、Next.js 等),加快开发过程。
最佳适用于:
概述
有效的LLM接口需要强大的提示管理、令牌跟踪以及与多个模型的无缝集成。
此模板概述了用户、提示、令牌和集成模型,内置跟踪和管理功能,以便团队能够Swift地实现LLM接口。
核心 LLM 界面功能
此中心中的每个技术卡片都使用相同的LLM接口后端架构,包括用户、提示、令牌和集成模型。
用户管理
用户类管理用户名、电子邮件、密码和角色。
提示管理
提示类存储内容、元数据和使用历史。
令牌追踪
令牌类监控使用统计和计数。
模型集成
集成类与各种LLM建立连接。
为什么使用 Back4app 构建您的 LLM 界面后端?
Back4app 提供了用于提示管理和令牌跟踪的基础设施,使您的团队能够专注于用户参与和模型性能。
- •提示和令牌管理: 利用结构化类管理提示和令牌,以简化管理。
- •内置跟踪功能: 轻松监控令牌使用情况,并深入了解模型性能。
- •实时能力: 使用 Live Queries 进行提示更新,同时 REST 和 GraphQL API 可供全面访问。
通过一个后端解决方案在所有平台上快速开发和迭代您的 LLM 界面功能。
核心优势
一个支持快速迭代的LLM接口后端,而不影响安全性或效率。
快速的 LLM 集成
从一个既定的提示和令牌跟踪架构开始,而不是从头构建。
强大的跟踪系统
利用内置的跟踪功能监控提示使用情况并优化模型性能。
全面的访问控制
通过高级权限设置管理用户对提示和令牌的访问。
可扩展的模型集成
快速连接多个 LLM 并在不更改现有设置的情况下切换模型。
数据完整性管理
有效处理提示和令牌数据,以实现最佳性能和用户体验。
增强的AI开发工作流程
使用AI工具快速生成后端脚手架和集成策略。
技术栈
此LLM接口后端模板中包含所有内容。
ER 图
用于 LLM 接口后端架构的实体关系模型。
详细说明用户、提示、令牌使用和模型集成的架构。
查看图表源
erDiagram
User ||--o{ Prompt : "creator"
Model ||--o{ TokenUsageLog : "model"
User ||--o{ TokenUsageLog : "user"
User {
String objectId PK
String username
String email
String password
String role
Date createdAt
Date updatedAt
}
Prompt {
String objectId PK
String text
Pointer creator FK
Date createdAt
Date updatedAt
}
Model {
String objectId PK
String name
String version
String description
Date createdAt
Date updatedAt
}
TokenUsageLog {
String objectId PK
Pointer user FK
Pointer model FK
Number tokensUsed
Date timestamp
Date createdAt
Date updatedAt
}
集成流程
进行身份验证、提示管理、令牌跟踪和模型交互的典型运行流程。
查看图表源
sequenceDiagram
participant User
participant App as Large Language Model (LLM) Interface App
participant Back4app as Back4app Cloud
User->>App: Login
App->>Back4app: POST /login
Back4app-->>App: Session token
User->>App: Submit prompt
App->>Back4app: POST /classes/Prompt
Back4app-->>App: Prompt details
User->>App: View token usage
App->>Back4app: GET /classes/TokenUsageLog
Back4app-->>App: Token usage details
App->>Back4app: Log token usage
Back4app-->>App: TokenUsageLog objectId数据字典
LLM 接口架构中每个类的完整字段级参考。
| 字段 | 类型 | 描述 | 必填 |
|---|---|---|---|
| objectId | String | Auto-generated unique identifier | 自动 |
| username | String | User login name | |
| String | User email address | ||
| password | String | Hashed password (write-only) | |
| role | String | Role of the user (e.g., admin, client) | |
| createdAt | Date | Auto-generated creation timestamp | 自动 |
| updatedAt | Date | Auto-generated last-update timestamp | 自动 |
7 字段在 User 中
安全与权限
ACL 和 CLP 策略如何保护用户、提示符、令牌和集成。
用户拥有的个人资料控制
只有用户可以更新或删除他们的个人资料;其他人不能修改用户内容。
提示符和令牌的完整性
只有所有者可以创建或删除他们的提示符和令牌。使用 Cloud Code 进行验证。
作用域读取访问
限制提示和令牌读取仅限相关用户(例如,用户仅查看自己的提示和令牌统计信息)。
架构 (JSON)
原始 JSON 架构定义,准备复制到 Back4app 或用作实现参考。
{
"classes": [
{
"className": "User",
"fields": {
"objectId": {
"type": "String",
"required": false
},
"username": {
"type": "String",
"required": true
},
"email": {
"type": "String",
"required": true
},
"password": {
"type": "String",
"required": true
},
"role": {
"type": "String",
"required": true
},
"createdAt": {
"type": "Date",
"required": false
},
"updatedAt": {
"type": "Date",
"required": false
}
}
},
{
"className": "Prompt",
"fields": {
"objectId": {
"type": "String",
"required": false
},
"text": {
"type": "String",
"required": true
},
"creator": {
"type": "Pointer",
"required": true,
"targetClass": "User"
},
"createdAt": {
"type": "Date",
"required": false
},
"updatedAt": {
"type": "Date",
"required": false
}
}
},
{
"className": "Model",
"fields": {
"objectId": {
"type": "String",
"required": false
},
"name": {
"type": "String",
"required": true
},
"version": {
"type": "String",
"required": true
},
"description": {
"type": "String",
"required": false
},
"createdAt": {
"type": "Date",
"required": false
},
"updatedAt": {
"type": "Date",
"required": false
}
}
},
{
"className": "TokenUsageLog",
"fields": {
"objectId": {
"type": "String",
"required": false
},
"user": {
"type": "Pointer",
"required": true,
"targetClass": "User"
},
"model": {
"type": "Pointer",
"required": true,
"targetClass": "Model"
},
"tokensUsed": {
"type": "Number",
"required": true
},
"timestamp": {
"type": "Date",
"required": true
},
"createdAt": {
"type": "Date",
"required": false
},
"updatedAt": {
"type": "Date",
"required": false
}
}
}
]
}与 AI 代理构建
利用 Back4app AI 代理,从此模板构建功能性 LLM 应用,涵盖前端、后端、身份验证以及提示和令牌流程。
在 Back4app 上创建一个 LLM 接口后端,使用这个确切的架构和行为。 架构: 1. 用户(使用 Back4app 内置):用户名,电子邮件,密码;objectId,创建时间,更新时间(系统)。 2. 提示:内容(字符串,必需),元数据(对象,选填);objectId,创建时间,更新时间(系统)。 3. 令牌:使用次数(数字,必需),时间戳(日期,必需);objectId,创建时间,更新时间(系统)。 4. 集成:模型(字符串,必需),设置(对象,选填);objectId,创建时间,更新时间(系统)。 安全性: - 仅用户可以更新/删除他们的个人资料。只有所有者可以创建/删除他们的提示和令牌。使用 Cloud Code 进行验证。 身份验证: - 注册,登录,登出。 行为: - 列出提示,跟踪令牌使用情况,管理集成。 交付: - 带有架构、ACL 和 CLP 的 Back4app 应用;用于用户个人资料、提示、令牌和集成的前端。
按下面的按钮以打开预填充此模板提示的代理。
这是没有技术后缀的基础提示。您可以在后面调整生成的前端栈。
API 游乐场
测试 REST 和 GraphQL 端点与 LLM 接口架构。响应利用模拟数据,不需要 Back4app 账户。
使用与此模板相同的架构。
选择您的技术
展开每个卡片以获取集成步骤、状态模式、数据模型示例和离线笔记。
Flutter LLM界面后台
React LLM界面后台
React 原生 LLM界面后台
Next.js LLM界面后台
JavaScript LLM界面后台
Android LLM界面后台
iOS LLM界面后台
Vue LLM界面后台
Angular LLM界面后台
GraphQL LLM界面后台
REST API LLM界面后台
PHP LLM界面后台
.NET LLM界面后台
您可以从每项技术中获得什么
每个技术栈都使用相同的LLM接口后台架构和API合同。
预构建 llm 接口 的提示管理
轻松管理和自定义您的LLM互动提示。
llm 接口 的令牌使用跟踪
监控和分析令牌消耗以优化性能。
llm 接口 的无缝模型集成
连接各种 LLM 模型以增强您的应用程序。
REST/GraphQL API 用于 llm 接口
通过灵活的 API 访问您的数据和功能。
为 llm 接口 扩展模式
调整和扩展模式以满足您的特定需求。
为 llm 接口 提供实时交互日志
实时跟踪交互以改善用户体验。
Llm 接口框架比较
评估所有支持技术的设置速度、SDK 风格和 AI 能力。
| 框架 | 设置时间 | Llm接口优势 | SDK类型 | AI支持 |
|---|---|---|---|---|
| 大约5分钟 | 移动和网页上llm接口的单一代码库。 | Typed SDK | 完整 | |
| 少于5分钟 | 快速的 LLM 界面的网络仪表板。 | Typed SDK | 完整 | |
| 约3–7分钟 | 跨平台的 LLM 界面的移动应用。 | Typed SDK | 完整 | |
| 快速 (5 分钟) 设置 | 用于 llm 接口的服务器渲染网页应用。 | Typed SDK | 完整 | |
| 少于 5 分钟 | 用于 llm 接口的轻量级网页集成。 | Typed SDK | 完整 | |
| 大约 5 分钟 | 用于 llm 接口的原生 Android 应用。 | Typed SDK | 完整 | |
| 少于5分钟 | 适用于llm接口的原生iOS应用程序。 | Typed SDK | 完整 | |
| ~3–7分钟 | 用于llm接口的Reactive网页用户界面。 | Typed SDK | 完整 | |
| 快速(5分钟)设置 | 企业级Web应用程序,用于llm接口。 | Typed SDK | 完整 | |
| 约2分钟 | 灵活的GraphQL API,用于llm接口。 | GraphQL API | 完整 | |
| 不到2分钟 | REST API集成,用于llm接口。 | REST API | 完整 | |
| ~3–5分钟 | 服务器端 PHP 后端用于 llm 接口。 | REST API | 完整 | |
| ~3–7分钟 | .NET 后端用于 llm 接口。 | Typed SDK | 完整 |
设置时间表示从项目初始化到使用此模板架构的第一次提示或令牌查询的预期持续时间。
常见问题
关于使用此模板构建 LLM 接口后端的常见问题。