🦙FlashRAG
type
status
date
slug
summary
tags
category
icon
password
一个面向高效研究 RAG 的模块化的工具包。来自人民大学
包含四个组件：
- Judger。评估查询是否需要检索。- Retriever。对于稀疏检索，支持使用 BM25 方法。对于密集检索，我们支持各种基于 BERT 的嵌入模型，例如 DPR、E5 和 BGE。
- Reranker。支持各种广泛使用的 Cross-Encoder 模型，例如 bgereranker 和 jina-reranker。
- Refiner。优化Generator的输入文本，以减少令牌使用并减少检索到的文档的干扰。
- Generator。集成了vllm和 FastChat，也支持 Transformers 库的原生接口。
特性：
- 可扩展可定制的模块化框架。实现了覆盖四个类别的 13 个组件
- 实现了 12 种高级 RAG 算法，例如 Self-RAG 和 FLARE，涵盖顺序 RAG、条件 RAG、分支 RAG 和循环 RAG 类别
- 整理了32个常见的RAG基准数据集- 提供了一整套辅助脚本
评测数据：提供了 12 种已有高级 RAG 算法的评测对比数据项目仓库 https://github.com/RUC-NLPIR/FlashRAG
评价：RAG 领域的算法和论文层出不穷，很难用一套框架来覆盖。而在真实生产环境，也不可能实现所有算法并在线 AB 实验。基于 workflow 来自定义 RAG 流程，也足够简单且灵活。
论文 Coze bot：https://coze.com/s/ZmFqpAat2/
论文研究：http://ihey.cc/rag/flashrag-%e4%b8%ba-rag-%e7%a0%94%e7%a9%b6%e8%80%8c%e7%94%9f%e7%9a%84%e6%a8%a1%e5%9d%97%e5%8c%96%e5%b7%a5%e5%85%b7%e5%8c%85/
Loading...