大语言模型常见的文本切分方式整理汇总

发布时间:2024-11-22 22:33

阅读不同类型的文章,扩大词汇量和语境理解 #生活技巧# #学习技巧# #语言学习策略#

大语言模型常见的文本切分方式整理汇总

整理

本文整理了一些简单的文本切分方式,适用于大语言模型经典应用RAG或相似场景。

一般切分

如果不借助任何包,很容易想到如下切分方案:

python复制代码 text = "我是一个名为 ChatGLM3-6B 的人工智能助手,是基于清华大学 KEG 实验室和智谱 AI 公司于 2023 年共同训练的语言模型开发的。我的目标是通过回答用户提出的问题来帮助他们解决问题。由于我是一个计算机程序,所以我没有实际的存在,只能通过互联网来与用户交流。" chunks = [] chunk_size = 128 for i in range(0, len(text), chunk_size): chunk = text[i:i + chunk_size] chunks.append(chunk) chunks python复制代码['我是一个名为 ChatGLM3-6B 的人工智能助手,是基于清华大学 KEG 实验室和智谱 AI 公司于 2023 年共同训练的语言模型开发的。我的目标是通过回答用户提出的问题来帮助他们解决问题。由于我是一个计算机程序,所以我没有实际的存在,只能通过互联网', '来与用户交流。'] 1234567891011

字符切分

使用CharacterTextSplitter,一般的设置参数为:chunk_size、 chunk_overlap、separator和strip_whitespace。

python复制代码from langchain.text_splitter import CharacterTextSplitter text_splitter = CharacterTextSplitter(chunk_size = 35, chunk_overlap=0, separator='', strip_whitespace=False) text_splitter.create_documents([text]) python复制代码[Document(page_content='我是一个名为 ChatGLM3-6B 的人工智能助手,是基于清华大学 '), Document(page_content='KEG 实验室和智谱 AI 公司于 2023 年共同训练的语言模型开发'), Document(page_content='的。我的目标是通过回答用户提出的问题来帮助他们解决问题。由于我是一个计'), Document(page_content='算机程序,所以我没有实际的存在,只能通过互联网来与用户交流。')] 1234567

递归字符切分

使用RecursiveCharacterTextSplitter,一般的设置参数为:chunk_size、 chunk_overlap。

python复制代码from langchain.text_splitter import RecursiveCharacterTextSplitter text_splitter = RecursiveCharacterTextSplitter(chunk_size = 35, chunk_overlap=0) text_splitter.create_documents([text]) python复制代码[Document(page_content='我是一个名为 ChatGLM3-6B 的人工智能助手,是基于清华大学'), Document(page_content='KEG 实验室和智谱 AI 公司于 2023'), Document(page_content='年共同训练的语言模型开发的。我的目标是通过回答用户提出的问题来帮助他'), Document(page_content='们解决问题。由于我是一个计算机程序,所以我没有实际的存在,只能通过互联'), Document(page_content='网来与用户交流。')] 12345678

与CharacterTextSplitter不同,RecursiveCharacterTextSplitter不需要设置分隔符,默认的几个分隔符如下:

python复制代码"\n\n" - 两个换行符,一般认为是段落分隔符 "\n" - 换行符 " " - 空格 "" - 字符 1234

拆分器首先查找两个换行符(段落分隔符)。一旦段落被分割,它就会查看块的大小,如果块太大,那么它会被下一个分隔符分割。如果块仍然太大,那么它将移动到下一个块上,以此类推。

Mrrkdown切分

除了对普通的文本字符进行切分外,langchain还支持对md、html、py、js等各种特殊文本或代码进行切分。

python复制代码# 以下是一段md文本 markdown_text = """ **LangChain-Chatchat** 基于ChatGLM等大语言模型与Langchain等应用框架实现,开源、可离线部署的检索增强生成(RAG)大模型知识库项目。 ## 目录 * 介绍 * 解决的痛点 * 快速上手 * 1. 环境配置 * 2. 模型下载 * 3. 初始化知识库和配置文件 * 4. 一键启动 * 5. 启动界面示例 * 联系我们 ## 介绍 一种利用langchain思想实现的基于本地知识库的问答应用,目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。 一行命令运行 Docker : ```shell docker run -d --gpus all -p 80:8501 registry.cn-beijing.aliyuncs.com/chatchat/chatchat:0.2.7 python复制代码from langchain.text_splitter import MarkdownTextSplitter splitter = MarkdownTextSplitter(chunk_size = 40, chunk_overlap=0) splitter.create_documents([markdown_text]) python复制代码[Document(page_content='**LangChain-Chatchat**'), Document(page_content='基于ChatGLM等大语言模型与Langchain等应用框架实现,开源、可离线'), Document(page_content='部署的检索增强生成(RAG)大模型知识库项目。'), Document(page_content='## 目录\n* 介绍\n* 解决的痛点\n* 快速上手\n* 1. 环境配置'), Document(page_content='* 2. 模型下载\n* 3. 初始化知识库和配置文件\n* 4. 一键启动'), Document(page_content='* 5. 启动界面示例\n* 联系我们'), Document(page_content='## 介绍'), Document(page_content='一种利用langchain思想实现的基于本地知识库的问答应用,目标期望建立一套'), Document(page_content='对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。'), Document(page_content='一行命令运行 Docker :\n```shell'), Document(page_content='docker run -d --gpus all -p 80:8501'), Document(page_content='registry.cn-beijing.aliyuncs.com/chatch'), Document(page_content='at/chatchat:0.2.7'), Document(page_content='```')]

1234567891011121314151617181920212223242526272829303132333435363738

Python代码切分

python复制代码python_text = """ class Person: def __init__(self, name, age): self.name = name self.age = age p1 = Person("John", 36) for i in range(10): print (i) """ from langchain.text_splitter import PythonCodeTextSplitter python_splitter = PythonCodeTextSplitter(chunk_size=100, chunk_overlap=0) python_splitter.create_documents([python_text]) python复制代码[Document(page_content='class Person:\n def __init__(self, name, age):\n self.name = name\n self.age = age'), Document(page_content='p1 = Person("John", 36)\n\nfor i in range(10):\n print (i)')]

1234567891011121314151617

TODO

以上方法仅按照固定长度和分割符对文本进行切分,但这在很多情况下会导致损失语义。更高级的切分方式有:语义相似度切分和利用大模型Agent切分,后续再补充。

网址:大语言模型常见的文本切分方式整理汇总 https://www.yuejiaxmz.com/news/view/198817

相关内容

大语言模型在语音助手领域的应用:创新的交互方式与用户体验
大语言模型会推理吗?丨AI那厮
探索大规模语言模型(LLM)在心理健康护理领域中的应用与潜力
语音识别:AI大模型在语音助手和音频处理中的应用
家电维修常见方法汇总
关于打扫的名言汇总
产品设计方案:AI心语——基于大模型技术的心理咨询平台
PaddleHub+PaddleSpeech:文心大模型
2024年国内8个常用AI大模型的适用性比较
反思+总结=成长 第四小学语文教研组期中考试反思总结汇总

随便看看