Langchain文本摘要

作者：CSDN博客
对一组文档，总结内容。当文档Token较少，通过Stuff即可总结。Document较大时，超过LLM的Token上限，则需要用MapReduce进行分布式总结。

## 这里用的chroma向量数据库
pip install tiktoken chromadb
总结/组合文档3种方式

填充（Stuff），它简单地将文档链接成一个提示；映射-归约（Map-reduce），将文档分成批次，总结1这些批次，然后总结all总结1细化（Refine），通过是顺序迭代文档来更新滚动摘要

初始化

1. import os
3. from langchain.chains.combine_documents.stuff import StuffDocumentsChain
4. from langchain.chains.llm import LLMChain
5. from langchain.chains.summarize import load_summarize_chain
6. from langchain_community.document_loaders import WebBaseLoader
7. from langchain_core.prompts import PromptTemplate
8. from langchain_core.runnables import RunnablePassthrough
9. from langchain_openai import ChatOpenAI
11. os.environ['http_proxy'] = '127.0.0.1:7890'
12. os.environ['https_

复制代码

原文地址：https://blog.csdn.net/qq_52241167/article/details/147492279