乐问学术搜索 API¶
Lewen 是可自部署的学术论文检索后端,为文献检索、论文问答、综述辅助与科研 Agent 提供统一 REST API。项目开放服务代码和独立发布的运行语料,支持本地查询与持续增量更新。
开放语料库 · ModelScope · 源码 · GitHub
项目范围¶
当前语料面向具有摘要的 arXiv 论文,历史规模约 300 万篇,实际规模随 release 变化。支持论文元数据、摘要及语料内部引用关系,不托管 PDF 全文。API 提供检索与查询能力,可接入上层应用;问答和生成逻辑由应用自行实现。
| 能力 | 端点 | 说明 |
|---|---|---|
| 论文检索 | GET /paper/search |
BM25 稀疏检索、BGE-M3 稠密检索和 RRF 混合检索 |
| 标题检索 | GET /paper/search/title |
标题 FTS5 匹配 |
| 论文详情 | GET /paper/{paper_id} |
SHA / arXiv ID / Corpus ID / arXiv URL |
| 被引论文 | GET /paper/{paper_id}/citations |
引用该论文的语料内论文 |
| 参考文献 | GET /paper/{paper_id}/references |
该论文引用的语料内论文 |
自部署路线¶
- 本地配置:安装 Python、CUDA/PyTorch 与项目依赖,配置 BGE-M3 和环境变量。
- 语料库下载:从 ModelScope 获取
papers.db、release 标记和 Qdrant 存储包。 - API 部署:启动 Qdrant、API 与可选管理员服务,验证检索并配置鉴权。
- 增量更新:从 S2 下载 diffs,依次更新 SQLite、FTS5 和向量索引。
首次部署不需要重新构建全量语料。本仓库未发布历史 build_corpus/ 脚本,直接使用开放语料即可。
调用示例¶
完成部署后,本地默认 API 地址为 http://localhost:4000,交互文档为 http://localhost:4000/docs:
# 稀疏检索用于先验证本地 SQLite
curl --get 'http://localhost:4000/paper/search' \
--data-urlencode 'query=transformer attention' \
--data-urlencode 'retrieval=sparse' --data-urlencode 'limit=5'
# 默认 hybrid 检索需要模型与 Qdrant 均可用
curl --get 'http://localhost:4000/paper/search' \
--data-urlencode 'query=transformer attention' --data-urlencode 'limit=5'
curl 'http://localhost:4000/paper/2309.06180?fields=*'
启用 AUTH_ENABLED=true 后,/paper/* 需添加 X-API-Key 请求头。完整参数、字段和响应见 中文 API 参考 与 English API reference。文档站点本身是静态说明页面,不是 API 请求地址。
系统组成¶
| 层次 | 实现 |
|---|---|
| HTTP API | FastAPI + Uvicorn |
| 元数据与引用关系 | SQLite |
| 稀疏检索 | SQLite FTS5 / BM25 |
| 稠密检索 | BGE-M3(1024 维)+ Qdrant |
| 混合排序 | Reciprocal Rank Fusion(RRF) |
| 管理与维护 | API Key、独立管理员看板、五阶段增量更新 |
进一步阅读 技术架构、管理员指南 和 性能记录。文档正式地址为 ustc-ai4science.github.io/Lewen-API。