跳转到主要内容

Documentation Index

Fetch the complete documentation index at: https://docs.hubto.ai/llms.txt

Use this file to discover all available pages before exploring further.

概述

LazyLLM 适合搭建基于大模型的应用、流程和代理逻辑。 将 HubTo 接入 LazyLLM 后,你可以统一管理模型访问地址、Key 和权限策略,并在需要时灵活替换上游模型。

适用场景

  • 你希望在 LazyLLM 项目中统一接入模型网关
  • 你希望把多个模型切换逻辑放在 HubTo 而不是分散到项目配置里
  • 你希望按应用环境或团队成员拆分 API Key

前置条件

  • 已安装并可以正常使用 LazyLLM
  • 已拥有可用的 HubTo API Key
  • 当前项目支持自定义兼容模型地址或 Provider 配置

接入思路

优先在 LazyLLM 的模型配置层中指定兼容 OpenAI 的接口地址、API Key 和模型名。 推荐配置如下:
  • Base URL:https://api.hubto.ai/v1
  • API Key:YOUR_API_KEY
  • Model:例如 deepseek-v3.1glm-5.1
如果你的项目是通过配置文件、环境变量或初始化参数管理模型连接信息,也建议统一把这三个值抽成公共配置。

推荐验证方式

先运行一个最小示例,例如输入一句话并返回总结结果,确认 LazyLLM 已经可以正常通过 HubTo 调用模型。

使用建议

  • 为不同环境分别配置 API Key,便于隔离测试与生产用量
  • 如果项目里有多个模块共用模型调用,建议统一封装连接配置
  • 如果你后续需要切换模型,优先在 HubTo 中完成权限和路由调整

常见问题

项目仍然走旧地址

请检查是否存在本地默认 Provider、环境变量覆盖或缓存配置。

返回模型不存在

请确认模型名填写正确,并确认当前令牌已开通对应模型权限。

调用偶发失败

建议先检查网络连通性,再观察你的应用是否对响应结构做了固定假设。

下一步