さやか最新番号 【AI大模子应用设立】【RAG评估】2. 实战：LangChain x RAGAs x LangSmith磨灭评估RAG应用

公众号内著作一览

图片さやか最新番号

上篇著作【AI大模子应用设立】【RAG评估】1. 阳春白雪：深度贯穿RAGAS评估轨范的旨趣与应用 咱们详备教练了RAGAs的旨趣和已毕形貌，今天咱们完好的实战一遍。将RAGAs集成在LangChain的RAG应用中，同期买通LangSmith平台，使评估流程可视化。

践诺完之后，通过LangSmith平台，还会非凡外得益：带你望望若何愚弄LangSmith平台来有用学习LangChain的使用和干系常识。

0. 前置 - 环境安设

安设 langchain 和 ragas，醒目安设ragas的 0.0.22 版块

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -U langchainpip install ragas==0.0.22

若是安设了高版块的 ragas，举例 >= 0.1 版块，驱动本文的代码会报错：

ModuleNotFoundError: No module named 'ragas.langchain'

原因是咫尺 langchain 还莫得对 ragas 0.1 及以后版块作兼容（收尾到 2024-02-25）。咫尺有两个遴选：（1）不使用 langchain 来已毕你的功能，也就无须 langchain 内的 ragas，径直使用原生的 ragas。（2）使用 ragas 的 0.0.22 版块

ragas 0.1 does not yet have this feature. We are working on it, for now you have two options

Use ragas natively w/o the chain, in this way, you get all the new capabilities of 0.1 version

reinstall and use 0.0.22

1. 创建RAG0.1 文本加载

这里使用 langchain 中的 WebBaseLoader 来加载 html 数据：loader = WebBaseLoader("https://baike.baidu.com/item/纽约/6230")

WebBaseLoader是LangChain中集成的用于加载网页中翰墨的类，详备使用形貌可参考这里：

https://python.langchain.com/docs/integrations/document_loaders/web_base

from langchain_community.document_loaders import WebBaseLoaderloader = WebBaseLoader("https://baike.baidu.com/item/纽约/6230")loader.requests_kwargs = {'verify':False}data = loader.load()print(data)

将加载到的html数据打印出来看下，如下：

图片

0.2 创建向量索引0.2.1 代码

from langchain.indexes import VectorstoreIndexCreatorindex = VectorstoreIndexCreator().from_loaders([loader])

0.2.2 `VectorstoreIndexCreator` 先容

VectorstoreIndexCreator 是一个用于创建索引的组件，用于查询文本文档。它将文档分割成更小的块，为每个文档生成镶嵌（即数字暗示），并将文档偏激镶嵌存储在向量库中，然后不错对其进行查询以检索干系文档。

追溯咱们创建索引的流程：加载文档 ---> 分割文本 ---> 生成文本向量，存储。参考之前的著作：【AI大模子应用设立】【LangChain系列】4. 从Chain到LCEL：探索和实战LangChain的机要缱绻

图片

这里愚弄 VectorstoreIndexCreator 一溜代码就惩办了。是以，==VectorstoreIndexCreator即是 LangChain 对以上流程的高层封装==。看下它的源码：

from_loaders：通过传入的Loader加载文本数据，然后调用 from_documents

from_documents：切分文本，生成文本向量并存储

图片

0.3 创建QA链0.3.1 代码

from langchain.chains import RetrievalQAfrom langchain_community.chat_models import ChatOpenAIllm = ChatOpenAI()qa_chain = RetrievalQA.from_chain_type(    llm, retriever=index.vectorstore.as_retriever(), return_source_documents=True)

0.3.2 `RetrievalQA` 先容

参考文档：https://python.langchain.com/docs/modules/chains/#legacy-chains

图片

RetrievalQA 是 LangChain对问答类Chain的高层封装，它里面当先作念检索设施，然后将检索到的文档给到 LLM 生见效果。0.4 发问，驱动QA链，得到RAG效果

question = "纽约市的名字是奈何得来的?"result = qa_chain({"query": question})# result["result"]print("========= chain result ==========")print(result)

图片

这里热心下复返效果的结构，其中的key值为：

query

result

source_documents

这个key值很重要，后头的RAGAs里面即是去取这些Key值里面的实质，错一个字符齐会索要不到数据，报错。

1. 加入评估

context_recall 主义需要给定参考效果，放到key值为"ground_truths"的所在。莫得"ground_truths"，该主义的评估会报错。

主要使用 RagasEvaluatorChain 链。

result['ground_truths'] = "纽约市的名字“纽约”泉源于荷兰铩羽后将新阿姆斯特丹割让给英国的事件。"from ragas.metrics import faithfulness, answer_relevancy, context_relevancy, context_recallfrom ragas.langchain.evalchain import RagasEvaluatorChain# make eval chainseval_chains = {    m.name: RagasEvaluatorChain(metric=m)     for m in [faithfulness, answer_relevancy, context_relevancy, context_recall]}# evaluatefor name, eval_chain in eval_chains.items():    score_name = f"{name}_score"    print(f"{score_name}: {eval_chain(result)[score_name]}")

驱动效果：

图片

2. 接入LangSmith

LangSmith平台的具体使用轨范，不错参考前边的著作：

【AI大模子应用设立】【LangSmith: 坐蓐级AI应用爱戴平台】0. 一文全览Tracing功能，让模范驱动流程一目了然

接入 LangSmith，只需在代码最前边加入以下代码。

import osos.environ["LANGCHAIN_API_KEY"] = "ls__xxxxxx"os.environ["LANGCHAIN_ENDPOINT"] = "https://api.smith.langchain.com"os.environ["LANGCHAIN_TRACING_V2"]="true"os.environ["LANGCHAIN_PROJECT"]="test-ragas"

驱动模范之后，不错在LangSmith平台看到刻下模范的驱动流程。从下图不错看到一共驱动了5个链，一个RetrievalQA链，四个RagasEvaluatorChain评估链（因为使用了四个测试主义），点击相应链，不错看到详备的驱动流程日记和驱动统计。

图片

3. 完好代码

import osos.environ["LANGCHAIN_API_KEY"] = "ls__xxxxxx"os.environ["LANGCHAIN_ENDPOINT"] = "https://api.smith.langchain.com"os.environ["LANGCHAIN_TRACING_V2"]="true"os.environ["LANGCHAIN_PROJECT"]="test-ragas"from langchain_community.document_loaders import WebBaseLoaderfrom langchain.indexes import VectorstoreIndexCreatorfrom langchain.chains import RetrievalQAfrom langchain_community.chat_models import ChatOpenAI# load the Wikipedia page and create indexloader = WebBaseLoader("https://baike.baidu.com/item/纽约/6230")loader.requests_kwargs = {'verify':False}index = VectorstoreIndexCreator().from_loaders([loader])# create the QA chainllm = ChatOpenAI()qa_chain = RetrievalQA.from_chain_type(    llm, retriever=index.vectorstore.as_retriever(), return_source_documents=True)# # testing it outquestion = "纽约市的名字是奈何得来的?"result = qa_chain({"query": question})# result["result"]print("========= chain result ==========")print(result)result['ground_truths'] = "纽约市的名字“纽约”泉源于荷兰铩羽后将新阿姆斯特丹割让给英国的事件。"from ragas.metrics import faithfulness, answer_relevancy, context_relevancy, context_recallfrom ragas.langchain.evalchain import RagasEvaluatorChain# make eval chainseval_chains = {    m.name: RagasEvaluatorChain(metric=m)     for m in [faithfulness, answer_relevancy, context_relevancy, context_recall]}# evaluatefor name, eval_chain in eval_chains.items():    score_name = f"{name}_score"    print(f"{score_name}: {eval_chain(result)[score_name]}")

4. 使用LangSmith中的测试数据集进行测试

除了以上在驱动流程中及时得回评估效果，咱们还不错针对某些数据集进行研讨评估。底下是操作轨范。

LangSmith平台测试数据集的具体使用轨范，不错参考前边的著作：

【AI大模子应用设立】【LangSmith: 坐蓐级AI应用爱戴平台】1. 快速上手数据集与测试评估流程

4.1 创建及数据集

当先不错创建一个数据集。

create_dataset：用来在LangSmith平台创建数据集

read_dataset：用来读取LangSmith平台的数据集

# 测试数据集eval_questions = [    "纽约市的名字是奈何得来的?",]eval_answers = [    "纽约市的名字“纽约”泉源于荷兰铩羽后将新阿姆斯特丹割让给英国的事件。",]examples = [{"query": q, "ground_truths": [eval_answers[i]]} for i, q in enumerate(eval_questions)]# dataset creationfrom langsmith import Clientfrom langsmith.utils import LangSmithErrorclient = Client()dataset_name = "NYC test"try:    # check if dataset exists    dataset = client.read_dataset(dataset_name=dataset_name)    print("using existing dataset: ", dataset.name)except LangSmithError:    # if not create a new one with the generated query examples    dataset = client.create_dataset(        dataset_name=dataset_name, description="NYC test dataset"    )    for e in examples:        client.create_example(            inputs={"query": e["query"]},            outputs={"ground_truths": e["ground_truths"]},            dataset_id=dataset.id,        )    print("Created a new dataset: ", dataset.name)

4.2 使用数据集进行评估

（1）当先界说评估函数：RunEvalConfig，这里填入的是四个评估主义链（2）run_on_dataset，践诺测试

吉吉影音欧美性爱

from langchain.smith import RunEvalConfig, run_on_datasetevaluation_config = RunEvalConfig(    custom_evaluators=[        faithfulness_chain,        answer_rel_chain,        context_rel_chain,        context_recall_chain,    ],    prediction_key="result",)result = run_on_dataset(    client,    dataset_name,    qa_chain,    evaluation=evaluation_config,    input_mapper=lambda x: x,)

4.3 完好代码

import osos.environ["LANGCHAIN_TRACING_V2"]="true"os.environ["LANGCHAIN_PROJECT"]="test-ragas2"from langchain_community.document_loaders import WebBaseLoaderfrom langchain.indexes import VectorstoreIndexCreatorfrom langchain.chains import RetrievalQAfrom langchain_community.chat_models import ChatOpenAI# load the Wikipedia page and create indexloader = WebBaseLoader("https://baike.baidu.com/item/纽约/6230")loader.requests_kwargs = {'verify':False}index = VectorstoreIndexCreator().from_loaders([loader])# create the QA chainllm = ChatOpenAI()qa_chain = RetrievalQA.from_chain_type(    llm, retriever=index.vectorstore.as_retriever(), return_source_documents=True)from ragas.metrics import faithfulness, answer_relevancy, context_relevancy, context_recallfrom ragas.langchain.evalchain import RagasEvaluatorChain# create evaluation chainsfaithfulness_chain = RagasEvaluatorChain(metric=faithfulness)answer_rel_chain = RagasEvaluatorChain(metric=answer_relevancy)context_rel_chain = RagasEvaluatorChain(metric=context_relevancy)context_recall_chain = RagasEvaluatorChain(metric=context_recall)# 测试数据集eval_questions = [    "纽约市的名字是奈何得来的?",]eval_answers = [    "纽约市的名字“纽约”泉源于荷兰铩羽后将新阿姆斯特丹割让给英国的事件。",]examples = [{"query": q, "ground_truths": [eval_answers[i]]} for i, q in enumerate(eval_questions)]# dataset creationfrom langsmith import Clientfrom langsmith.utils import LangSmithErrorclient = Client()dataset_name = "ragas test data"try:    # check if dataset exists    dataset = client.read_dataset(dataset_name=dataset_name)    print("using existing dataset: ", dataset.name)except LangSmithError:    # if not create a new one with the generated query examples    dataset = client.create_dataset(        dataset_name=dataset_name, description="NYC test dataset"    )    for e in examples:        client.create_example(            inputs={"query": e["query"]},            outputs={"ground_truths": e["ground_truths"]},            dataset_id=dataset.id,        )    print("Created a new dataset: ", dataset.name)from langchain.smith import RunEvalConfig, run_on_datasetevaluation_config = RunEvalConfig(    custom_evaluators=[        faithfulness_chain,        answer_rel_chain,        context_rel_chain,        context_recall_chain,    ],    prediction_key="result",)result = run_on_dataset(    client,    dataset_name,    qa_chain,    evaluation=evaluation_config,    input_mapper=lambda x: x,)

醒目：这里与前边轨范的永诀在于，愚弄测试数据集来测试时，无须再我方调用大模子得回result了，也无须我方再一个一个调用评估链了，也即是底下的代码无须了，这些在run_on_dataset就帮你作念了。

# # testing it outquestion = "纽约市的名字是奈何得来的?"result = qa_chain({"query": question})# result["result"]print("========= chain result ==========")print(result)result['ground_truths'] = "纽约市的名字“纽约”泉源于荷兰铩羽后将新阿姆斯特丹割让给英国的事件。"

# evaluatefor name, eval_chain in eval_chains.items():    score_name = f"{name}_score"    print(f"{score_name}: {eval_chain(result)[score_name]}")

5. LangSmith助力LangChain学习

这里是少量不测得益，跟环球共享一下。

在使用 LangSmith 看驱动流程的工夫，发现它将 RetrievalQA 的详备流程列出来了：

当先是使用了Retriever

然后是使用了StuffDocumentsChain下的LLMChain，LLMChain下调用了LLM

图片

而这个流程，在咱们的代码中，仅一溜：result = qa_chain({"query": question})。对于像我通常不知说念 RetrievalQA 责任机制的东说念主来说，从上头这个流程不错学习到一些实质，无须看源码就知说念它里面当先我方进行了检索，然后里面我方调用了LLM。

这仅仅一个绵薄的感受，即是 LangSmith 的 Traces 功能有工夫能匡助咱们更好地了解LangChain里面的责任机制和责任设施。

6. 留传问题

我的LangSmith平台上对于评估链的信息是这么的：

图片

它并莫得追踪到详备驱动设施，从前边著作中咱们知说念这几个主义齐需要调用LLM，但这里莫得追踪到。网上的例子不错追踪到评估链调用大模子的流程（固然这个教程（https://blog.langchain.dev/evaluating-rag-pipelines-with-ragas-langsmith/）工夫好早了）：

图片

不知说念是不是因为LangChain咫尺不兼容RAGAS导致的。后续再望望吧。

若是认为本文对你有匡助，贫寒点个赞和热心呗 ~~~

环球好，我是同学小张，简单共享AI常识和实战案例

迎接 点赞 + 热心 ?，抓续学习，抓续干货输出。

公众号内著作一览

图片

本站仅提供存储处事，悉数实质均由用户发布，如发现存害或侵权实质，请点击举报。