AI创想

标题: Langchain文本摘要 [打印本页]

作者: tianjinji 时间: 5 天前
标题: Langchain文本摘要
作者：CSDN博客
对一组文档，总结内容。当文档Token较少，通过Stuff即可总结。Document较大时，超过LLM的Token上限，则需要用MapReduce进行分布式总结。

## 这里用的chroma向量数据库
pip install tiktoken chromadb
总结/组合文档3种方式

填充（Stuff），它简单地将文档链接成一个提示；映射-归约（Map-reduce），将文档分成批次，总结1这些批次，然后总结all总结1细化（Refine），通过是顺序迭代文档来更新滚动摘要

(, 下载次数: 1)

初始化

import os
from langchain.chains.combine_documents.stuff import StuffDocumentsChain
from langchain.chains.llm import LLMChain
from langchain.chains.summarize import load_summarize_chain
from langchain_community.document_loaders import WebBaseLoader
from langchain_core.prompts import PromptTemplate
from langchain_core.runnables import RunnablePassthrough
from langchain_openai import ChatOpenAI
os.environ['http_proxy'] = '127.0.0.1:7890'
os.environ['https_
复制代码

原文地址：https://blog.csdn.net/qq_52241167/article/details/147492279

欢迎光临 AI创想 (https://llms-ai.com/)