本文将讲述如何在本地部署大模型服务，并使用Embeeding、向量数据库和LangChain构建本地知识库
本地部署LLM
通常使用LangChain会去调用OpenAI的服务，但是我们在使用OpenAI服务时，但经常会遇到很多阻力，比如付费、网络不稳定等。因此我们可以在下载一个较小的大模型到本地，并将其部署成OpenAI服务，这样也便于我们使用LangChain去直接调用。
首先需要下载FastChat：
pip3 install "fschat[model_worker,webui]" -i https://pypi.tuna.tsinghua.edu.cn/simple
部署很简单，只要开启三个终端分别运行以下命令
启动控制器：
python -m fastchat.serve.controller --host 0.0.0.0
启动worker，model-path 要指定模型的路径
python -m fastchat.serve.model_worker --model-path /to/path/ --host 0.0.0.0
最后执行命令：
python -m fastchat.serve.openai_api_server --host 0.0.0.0
这样就可以将模型启动为一个OpenAI服务
这里用的是千问7B大模型，可以执行如下代码进行下载：
from modelscope.hub.snapshot_download import snapshot_download
model_dir = snapshot_download('qwen/Qwen-7B-Chat', cache_dir='./to/path')
Embeeding
Embedding 技术已经作为「基本操作」广泛应用于推荐、广告、搜索等互联网核心领域中。Embedding 是用一个低维稠密向量来表示一个对象，使得这个向量能够表达相应对象的某些特征，同时向量之间的距离能反应对象之间的相似性。我们要基于大模型搭建本地知识库，那就必须要用到Embeeding了，将文本数据转化成向量，只有转化成向量，才便于计算机处理。将这些向量存到数据库后，我们可以将要提的问题同样适用Embeeding转化为向量，然后就行语义相似度查询，获取相关的知识信息。
使用如下代码就可以轻松的将语言转化为向量：
from sentence_transformers import SentenceTransformer
model = SentenceTransformer('all-mpnet-base-v2')
向量数据库
上文提到，我们会将语句转化为的向量存储到数据库中，这个数据库就是向量数据库。向量数据库主要用于图像检索、音频检索、文本检索等领域，其主要特点是能够高效地存储和检索大规模的向量数据，它用了专门的数据结构和算法来处理向量之间的相似性计算和查询。 通过构建索引结构，向量数据库可以快速找到最相似的向量，以满足各种应用场景中的查询需求。
我们将一些文档信息，也就是知识，分块存到向量数据库中，对于用户的问题，使用 Embedding 的相似度进行语义搜索的技术。然后，我们将和问题语义最接近的前几条内容，作为提示语的一部分给到 AI，就相当于给AI配备一套知识库。
LangChain
最后后使用LangChain组装上述所有的功能，实现大模型外挂知识库：
from langchain.chat_models import ChatOpenAI
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.document_loaders import Te服务器托管网xtLoader
from langchain.document_loaders import PyPDFLoader
from langchain.document_loaders import Docx2txtLoader
from langchain.embeddings import ModelScopeEmbeddings
from langchain.vectorstores import Qdrant
from langchain.retrievers.multi_query import MultiQueryRetriever
from langchain.chains import RetrievalQA
import os
# 连接本地部署的OpenAI服务
model = ChatOpenAI(
streaming=True,
verbose=True,
callbacks=[],
openai_api_key="none",
openai_api_base="http://127.0.0.1:8000/v1",
model_name="Qwen-7B-Chat",
temperature=0
)
# 加载Documents
base_dir = './files' # 文档的存放目录
documents = []
for file in os.listdir(base_dir):服务器托管网
# 完整的文件路径
file_path = os.path.join(base_dir, file)
if file.endswith('.pdf'):
loader = PyPDFLoader(file_path)
documents.extend(loader.load())
elif file.endswith('.docx'):
loader = Docx2txtLoader(file_path)
documents.extend(loader.load())
elif file.endswith('.txt'):
loader = TextLoader(file_path)
documents.extend(loader.load())
text_splitter = RecursiveCharacterTextSplitter(chunk_size=200, chunk_overlap=10) # 文档分割器
chunked_documents = text_splitter.split_documents(documents)
# 创建 embeedings
model_id = "damo/nlp_corom_sentence-embedding_chinese-base"
embeddings = ModelScopeEmbeddings(
model_id=model_id)
# 加载文档到向量数据库
vectorstore = Qdrant.from_documents(
documents=chunked_documents, # 以分块的文档
embedding=embeddings, # 用OpenAI的Embedding Model做嵌入
location=":memory:", # in-memory 存储
collection_name="documents") # 指定collection_name
# 构建一个MultiQueryRetriever
retriever_from_llm = MultiQueryRetriever.from_llm(retriever=vectorstore.as_retriever(), llm=model)
# 实例化一个RetrievalQA链
qa_chain = RetrievalQA.from_chain_type(model, retriever=retriever_from_llm)
result = qa_chain("填入你的问题")
print(result)
在上面代码中，首先连接本地部署的OpenAI服务，创建出了model，随后使用 RecursiveCharacterTextSplitter 进行文本分割，设置一个文档块大小为200，重叠字符长度为10。之后初始化Embeeding模型，并使用Qdrant作为向量数据库，读如文档数据并进行Embeeding将自然语言存储成向量。之后查询器使用了MultiQueryRetriever，其特点是使用语言模型从不同的视角为给定的用户输入查询生成多个查询。 然后使用这些查询来检索一组相关文档。下一步，使用RetrievalQA构建了一个Chain，作用是先检索后生成，即检索增强生成。
到这里就完成构建了。
服务器托管，北京服务器托管，服务器租用 http://www.fwqtg.net
机房租用，北京机房租用，IDC机房托管， http://www.fwqtg.net
哈喽大家好，我是咸鱼 今天分享一篇文章，是关于 TCP 拥塞控制对数据延迟产生的影响的。作者在服务延迟变高之后进行抓包分析，结果发现时间花在了 TCP 本身的机制上面：客户端并不是将请求一股脑发送给服务端，而是只发送了一部分，等到接收到服务端的 ACK，然后继…
