AI创想

标题: FAISS向量数据库 [打印本页]

作者: gnxhxbozd 时间: 昨天 22:02
标题: FAISS向量数据库
作者：CSDN博客
一、是什么

前面已经说过了BGE是常用的RAG向量算法，那么我们将内容变成向量后，如何存储呢？难道还用传统的mysql数据库吗？当然不行，那样无法进行相似检索。有人会说存入ES呢？你把内容存入ES进行模糊查询到时可以，但是ES的模糊查询范围又很难控制，做个简单的QA系统可以，但是你要是做一个商用的或者很多人使用的FQA系统，还是差点意思。毕竟ES的查询还是先分词，然后根据每个词去查询，这样结果很难让人特别满意，尤其在海量的数据里面要自己满意的回答。
所以我们需要一个存储向量的数据库，从而可以进行相似检索，结果又是可以让人满意的。
AISS使用多种索引类型来存储向量，以便进行快速的检索。这些索引可以大致分为两大类：扁平索引（Flat Index）和量化索引（Quantized Index）。
一句话来表达
是什么：Faiss 不是传统“数据库”，而是一个 C++ 写的高性能向量搜索库，带官方 Python 包。
怎么用：把一堆高维向量（512 维、1024 维…）放到内存里，毫秒级找出与查询向量最像的 Top-K 个。
适用场景：图片/文本/音频检索、推荐系统、RAG（给大模型找参考资料），本来LLM加工就很耗费时间，所以在检索以及后续处理上尽可能的加快。毕竟我们是用，没办法敢于LLM的工作流程。
二、按照

这里网上很多教程，按照因为mac、linux等等系统不同方式也大同小异，各位安装过程中遇到问题的话直接问问大模型就行了。
CPU 版
pip install faiss-cpu
GPU 版（需 CUDA）
conda install -c pytorch -c nvidia faiss-gpu==1.11.0
验证：Python语言简单快

原文地址：https://blog.csdn.net/hubin1989/article/details/150382850

欢迎光临 AI创想 (http://llms-ai.com/)