JBolt-AI
JBolt AI SDK提供哪些核心能力

LLM大模型整合调用

  • 统一对话接口(支持流式输出)
  • 国内外主流大模型内置适配
  • 其它LLM大模型按照规则可轻松集成使用
  • 支持多模型源配置与资源注册

向量数据库整合调用

  • 统一向量数据库接口(CRUD、数据库、集合操作)
  • Milvus、腾讯VDB等内置实现
  • 支持轻松扩展其它向量数据库
  • 多平台Embedding接口统一封装
  • 支持多数据库数据源配置与资源注册

事件总线和队列调度机制、Chain链编排

  • 基于事件队列调度去调用大模型和向量数据库服务
  • 让大模型和向量数据库安全稳定提供底层服务
  • 多大模型源调度、多向量数据库源调度
  • 大模型和向量数据库等资源调用频次管理-限流
  • 智能匹配可调用大模型源和向量数据库源
  • 思维链 事件链条编排和调度

Prompt工具服务

  • 动态Sql生成方案 文字转Sql
  • 文本内容抽取结构化数据方案 文本转JSON

RAG 检索增强生成方案

  • 轻松实现AI知识库、智能客服类应用
  • 提供基于大模型+向量数据库+关系数据库的整合检索增强方案，帮助大模型消除幻觉

Function Call统一指令 识别与调用

  • 将系统业务注册为AI可调用Function
  • 所有LLM大模型统-Function指令和参数识别解决方案
  • 依据识别结果动态调用对应Function拿到结果后交给大模型处理结果的流程
    • 国内外主流大模型内置适配

多类型文件处理

  • 文件内容提取、文本、图像、视频、音频、附件等解析
  • 文本分割 按照文本块大小和重叠进行拆分
  • 支持word pdf markdown txt excel等常见文件类型
JBolt AI核心技术概念
JBolt AI核心技术概念
JBolt AI SDK是基于Java语言的LLM大模型应用开发框架，集成主流多LLM大模型进行AI应用开发，让大模型在JBot AI的架构下，提供稳定服务。
  • Resource资源注册中心，LLM大模型、Embedding模型、VectorDB向量数据库、Function函数等AI应用中需要使用的内容，都需要注册为可用资源
  • Capability能力中心，Word、PDF、Markdown、Txt、Excel等多格式文件读取与分割，文本段的Embedding、与LLM大模型Chat消息对话、Function Call指令和参数识别、Vdb向量数据库的操作、市面上主流大模型集成调用API以及普通/流式输出等都是JBolt AI提供底层能力封装；
  • Event事件队列调度，基于事件队列调度机制，底层所有的能力调用都通过Event事件形式声明、发布、调度。所有Event事件的执行都依赖底层能力中心和资源注册中心中的对应资源；
  • 一个Resource资源可以同时被多个Event事件共享使用，例如大模型和向量数据库资源；
  • 支持RAG（检索增强生成），轻松构建基于知识库的智能AI应用，有效减少大模型幻觉产生；
  • 一个Resource资源可以同时被多个Event事件共享使用，例如大模型和向量数据库资源；
  • 内置text2sql 兼容主流多模型下实现通过背景数据库知识和用户提供，生成可执行SQL语句；
  • 内置text2Json兼容主流多模型下实现从一段文本中抽取结构化数据转json；
  • 内置text2Img 底层封装可实现文生图大模型接口或者SD等其他可文生图的服务相关接口的调用；
  • 内置支持.setting和.yaml后缀类型的资源注册配置；
山东向量空间人工智能科技有限公司 邮箱：vector_space@126.com
鲁ICP备2023047811号-3 鲁公网安备
负责人