Skip to content

Latest commit

 

History

History
334 lines (253 loc) · 9.74 KB

File metadata and controls

334 lines (253 loc) · 9.74 KB

数据源插件列表

文档类型:插件参考 适用对象:用户和开发者 创建时间:2026-02-24 文档版本:v1.0

本文档列出小遥搜索支持的所有数据源类型,以及已实现和计划中的插件。


目录

  1. 支持的数据源类型
  2. 插件开发
  3. 已实现插件
  4. 计划中插件

1. 支持的数据源类型

小遥搜索采用插件化架构,支持多种数据源类型。每种类型都有独特的图标和颜色标识:

类型定义

类型标识 中文名称 英文名称 图标 颜色 来源类型
filesystem 本地文件 Local File 📁 Database #1890ff 蓝色 系统内置
yuque 语雀 Yuque ☁️ Cloud #52c41a 绿色 云端知识库
feishu 飞书 Feishu ☁️ Cloud #722ed1 紫色 云端协作
dingding 钉钉 DingTalk ☁️ Cloud #0089FF 天蓝 云端协作
notion Notion Notion ☁️ Cloud #fa541c 橙色 云端笔记
github GitHub GitHub 🔗 Link #24292e 黑色 代码托管
gitlab GitLab GitLab 🔗 Link #FC6D26 橙色 代码托管
confluence Confluence Confluence ☁️ Cloud #0052CC 深蓝 企业知识库
wordpress WordPress WordPress 📄 FileText #21759b 深蓝 博客平台
obsidian Obsidian Obsidian 📊 Database #7c3aed 紫色 本地笔记
dropbox Dropbox Dropbox ☁️ Cloud #0061FE 蓝色 云存储
googledrive Google Drive Google Drive ☁️ Cloud #4285F4 蓝绿 云存储
onedrive OneDrive OneDrive ☁️ Cloud #0078D4 天蓝 云存储
figma Figma Figma 🖼️ Picture #F24E1E 红色 设计工具

分类说明

🖥️ 本地数据源

  • filesystem: 本地文件系统,系统默认支持
  • obsidian: Obsidian 本地笔记库

☁️ 云端知识库

  • yuque: 阿里语雀知识库
  • feishu: 飞书文档
  • dingding: 钉钉文档
  • notion: Notion 笔记
  • confluence: Atlassian Confluence 企业知识库

💻 开发者平台

  • github: GitHub 代码仓库和 Wiki
  • gitlab: GitLab 代码仓库

📝 内容平台

  • wordpress: WordPress 博客文章

☁️ 云存储服务

  • dropbox: Dropbox 云盘
  • googledrive: Google Drive
  • onedrive: Microsoft OneDrive

🎨 设计工具

  • figma: Figma 设计文档和评论

颜色规范

未在预定义列表中的数据源类型,将:

  • 显示原始 source_type
  • 使用默认蓝色样式 (#1890ff)

2. 插件开发

想要开发新的数据源插件?请参考:

📖 插件开发文档

该文档包含:

  • 架构概述
  • 快速开始指南
  • 完整示例代码
  • 调试与测试方法

快速链接

文档 描述
插件开发文档 数据源插件开发完整指南
微内核架构设计 插件化架构设计说明
技术方案 插件系统技术实现

3. 已实现插件

✅ 本地文件 (filesystem)

状态: 已内置 | 优先级: 核心

说明:

  • 系统默认支持的数据源
  • 无需额外配置
  • 支持本地文件系统搜索

特性:

  • 支持多种文件格式(文档、音频、视频、图片)
  • 自动索引和向量化
  • 文件内容智能提取

配置: 无需配置,系统内置


✅ 语雀 (yuque)

状态: 已内置(默认关闭) | 优先级: 高 | 版本: v1.0

说明:

  • 系统内置插件,无需额外安装
  • 默认关闭状态,需手动启用
  • 使用 yuque-dl CLI 工具同步数据
  • 自动下载 Markdown 格式文档

特性:

  • 🔄 启动时自动同步(启用后)
  • 📄 支持 Markdown 格式导出
  • 🏷️ 保留文档元数据
  • 🔗 支持源链接跳转

启用方法:

步骤1:将配置模板复制为实际配置文件

# 在插件目录下执行
cd backend/data/plugins/datasource/yuque
cp config.yaml.example config.yaml

步骤2:编辑 config.yaml,启用插件

plugin:
  enabled: true  # 将 false 改为 true

配置说明: 配置模板文件:backend/data/plugins/datasource/yuque/config.yaml.example 实际配置文件:backend/data/plugins/datasource/yuque/config.yaml

完整配置示例(config.yaml):

plugin:
  id: yuque
  name: 语雀知识库
  version: "1.0.0"
  type: datasource
  enabled: true  # 手动启用

datasource:
  repos:
    - name: "个人品牌"                      # 知识库名称
      url: "https://www.yuque.com/username/repo/slug"  # 语雀知识库 URL
      download_dir: "./data/product-docs"  # 本地下载目录
      token: "your_yuque_token"            # 语雀 API Token
      ignore_images: true                  # 是否忽略图片下载

使用说明:

  1. 获取语雀 API Token:参考文档
  2. 复制 config.yaml.exampleconfig.yaml
  3. 编辑 config.yaml,设置 enabled: true,配置知识库 URL 和 Token
  4. 重启后端自动同步

插件位置: backend/data/plugins/datasource/yuque/


✅ 飞书 (feishu)

状态: 已内置(默认启用) | 优先级: 高 | 版本: v1.0

说明:

  • 系统内置插件,无需额外安装
  • 默认启用状态
  • 零配置设计,自动识别飞书导出格式
  • 支持从飞书导出的 Markdown 文档

特性:

  • ✨ 零配置:自动识别飞书导出格式
  • 🏷️ 元数据提取:从文档末尾提取原文链接
  • ⚡ 性能优化:仅解析文件末尾500字符
  • 🔗 支持源链接跳转

使用说明:

  1. 从飞书导出文档为 Markdown 格式
  2. 将导出的文件放置到扫描目录
  3. 构建索引
  4. 搜索结果将显示"飞书"标识

飞书导出格式:

---
> 更新: 2026-03-30 02:52:46
> 来源类型: feishu
> 原文: <https://feishu.cn/wiki/MZKMwqpljiod1ak38Cscnr8hnkh>
---

插件位置: backend/data/plugins/datasource/feishu/


✅ 钉钉 (dingding)

状态: 已内置(默认启用) | 优先级: 高 | 版本: v1.0

说明:

  • 系统内置插件,无需额外安装
  • 默认启用状态
  • 零配置设计,自动识别钉钉导出格式
  • 支持钉钉导出工具生成的 .xyddjson 元数据文件

特性:

  • ✨ 零配置:自动识别 .xyddjson 元数据文件
  • 📦 独立元数据:JSON 格式,结构化、易解析
  • ⚡ 性能优越:解析速度 <1ms,优于飞书方案
  • 🔗 支持源链接跳转
  • 🛡️ 容错性强:解析失败不影响原文件索引

使用说明:

  1. 安装钉钉导出工具(浏览器插件)
  2. 从钉钉导出文档(支持 .docx、.pdf 等格式)
  3. 导出工具自动生成 .xyddjson 元数据文件
  4. 将导出的文件和元数据文件放到扫描目录
  5. 构建索引,系统自动识别钉钉文档
  6. 搜索结果将显示"钉钉"标识

.xyddjson 元数据格式:

{
  "version": "1.0.0",
  "source": "dingtalk-docs",
  "exportTool": "xiaoyaosearch-dingding-export",
  "exportToolVersion": "1.0.0",
  "exportTime": "2026-04-08T15:30:00.000Z",
  "file": {
    "fileName": "项目报告.docx",
    "originalName": "项目报告",
    "dentryUuid": "A1B2C3D4E5F6G7H8",
    "url": "https://alidocs.dingtalk.com/i/nodes/A1B2C3D4E5F6G7H8"
  }
}

目录结构示例:

D:\我的文档\钉钉导出\
├── 需求文档.docx
├── 需求文档.docx.xyddjson      ← 元数据文件
├── 技术方案.pdf
└── 技术方案.pdf.xyddjson      ← 元数据文件

技术优势(相比飞书):

对比项 飞书方案 钉钉方案 钉钉优势
元数据位置 文件内容末尾 独立JSON文件 结构化、易维护
解析方式 正则表达式 JSON解析 更可靠、更快速
解析性能 ~1ms <1ms 性能更好
可靠性 依赖导出格式 标准JSON 容错性强
扩展性 仅限飞书 可用于其他平台 通用性强

插件位置: backend/data/plugins/datasource/dingding/


4. 计划中插件

以下插件为规划中,欢迎贡献实现!

🔥 高优先级

插件 状态 预计周期 说明
GitHub 📋 规划中 2-3周 代码仓库和README文档搜索
Confluence 📋 规划中 2-3周 企业知识库集成
Obsidian 📋 规划中 1-2周 本地笔记库支持

🟡 中优先级

插件 状态 说明
Notion 📋 规划中 Notion 笔记数据库集成
Figma 📋 规划中 设计文档和评论搜索
Google Drive 📋 规划中 Google Docs 和云端文件

🟢 低优先级

插件 状态 说明
GitLab 📋 规划中 GitLab 代码仓库
WordPress 📋 规划中 WordPress 博客文章
Dropbox 📋 规划中 Dropbox 云盘文件
OneDrive 📋 规划中 Microsoft OneDrive

插件开发贡献

想要贡献新的数据源插件?

  1. 📖 阅读 插件开发文档
  2. 💬 在 Issues 中讨论你的插件计划
  3. 🔧 参考已有插件实现(如语雀插件)
  4. ✅ 提交 Pull Request

文档版本: v1.2 创建时间: 2026-02-24 维护者: XiaoyaoSearch Team 更新日志:

  • v1.2 (2026-04-08): 钉钉插件已实现
  • v1.1 (2026-03-31): 飞书插件已实现
  • v1.0 (2026-02-24): 初始版本,定义13种数据源类型