什么是向量数据库？为什么向量数据库对LLM很重要？

作者：CSDN博客
由于我们目前生活在人工智能革命之中，重要的是要了解许多新应用程序都依赖于向量嵌入（vector embedding）。因此，有必要了解向量数据库以及它们对 LLM 的重要性。
我们首先定义向量嵌入。向量嵌入是一种携带语义信息的数据表示形式，可以帮助人工智能系统更好地理解数据并能够维持长期记忆。
嵌入是由例如 LLM 这样的人工智能模型生成的，它包含大量特征，导致其表示难以管理。嵌入表示数据的不同维度，以帮助人工智能模型理解不同的关系、模式和隐藏结构。
使用传统的基于标量的数据库进行向量嵌入是一个挑战，因为它无法处理或跟上数据的规模和复杂性。由于向量嵌入带来的所有复杂性，所以可以想象它需要的专用数据库。这就是向量数据库发挥作用的地方。
向量数据库为向量嵌入的独特结构提供优化的存储和查询功能。它们通过比较值并查找彼此之间的相似性来提供轻松的搜索、高性能、可扩展性和数据检索。
虽然向量数据库可以处理向量嵌入的复杂结构。但是向量数据库的实现非常困难。
到目前为止，向量数据库仅由那些不仅有能力开发它们而且有能力管理它们的科技巨头使用。向量数据库价格昂贵，因此确保对其进行正确校准对于提供高性能非常重要。
那么向量数据库的工作原理是什么呢？

比如，当我们使用 chatGPT 或者其他的 LLM 应用程序时：

作为用户，我们将在应用程序（application）中输入查询（query）。
然后，我们的查询将被插入到嵌入模型（embedding model）中，该模型根据我们想要索引的内容创建向量嵌入（vector embedding）。
再然后，向量嵌入会根据嵌入的内容移入向量数据库（vector database）

原文地址：https://blog.csdn.net/gabriel100yi/article/details/136075446