当前位置： 首页 > news >正文

Langchain CharacterTextSplitter无法分割文档问题

news 2026/2/8 16:09:57

在使用Langchain的文档分割器时，使用CharacterTextSplitter拆分文档是，发现返回的文档根本没有变化，即使设置了chunk_size，返回的大小也不符合参数设置。
在这里插入图片描述
CharacterTextSplitter设置了150，但是根本没有处理，长度减少单纯是因为去掉了一些开头和末尾的空格。

点进CharacterTextSplitter看一看，只重写了split_text方法。
在这里插入图片描述
再点进去TextSplitter看一眼

首先是把文档拆开，内容单词放在列表里，是一个存放字符串的列表。
在这里插入图片描述
然后使用create_documents来处理拆分工作。
在这里插入图片描述
这里使用了CharacterTextSplitter内重写的拆分方法，我们看一看他是怎么拆分的
在这里插入图片描述
就是根据选择的拆分字符，拆分成小块后，然后组合到chunk_size那么大，所以如果一开始的拆分就比chunk_size大，那这个拆分根本就不会起作用！

我的建议是使用RecursiveCharacterTextSplitter，可以正确地拆分较大的文档，拆分成预先定义的大小以及重合方式。
在这里插入图片描述

相关文章：

Langchain CharacterTextSplitter无法分割文档问题

在使用Langchain的文档分割器时，使用CharacterTextSplitter拆分文档是，发现返回的文档根本没有变化，即使设置了chunk_size，返回的大小也不符合参数设置。 CharacterTextSplitter设置了150，但是根本没有处理&#xff0…...

编程日记 2024/10/16 9:01:36

ros service不走是为什么

在ROS（Robot Operating System）中，如果ROS服务（Service）没有正常工作，可能有多种原因。你可以检查以下几点来排查问题： 服务是否正确启动 首先，确保服务节点已经启动并注册了相应的…...

编程日记 2024/10/16 9:00:35

量子计算机的原理与物理实现

量子计算机的原理与物理实现很复杂 指导性原则 首先思考制备一台量子计算机需要些什么？ 需要量子比特——二能级量子系统。除了量子计算机需要满足一些物理特性，它还必须要把量子比特绘制到某种初态上，以及测量系统的输出态。 而实验上的挑战…...

编程日记 2024/10/16 8:59:34

SQL Server 常用关键词语法汇总

一、函数 1.1 CAST CAST ( expression AS data_type [ ( length ) ] )expression: 这是你想要转换的数据或表达式。data_type: 目标数据类型，比如 INT, VARCHAR, DATE 等等。(length): 对于某些数据类型（如 CHAR, VARCHAR, BINARY, VARBINARY&#xff…...

编程日记 2024/10/16 8:58:33

软件测试工程师面试整理 —— 操作系统与网络基础！

在软件测试中，了解操作系统和网络基础知识对于有效地进行测试工作至关重要。无论是在配置测试环境、调试网络问题，还是在进行性能测试和安全测试时，这些知识都是不可或缺的。 1. 操作系统基础 操作系统（Operating System, OS&am…...

编程日记 2024/10/16 8:57:32

网络安全防御策略：通过限制IP访问提升服务器安全性

标题：网络安全防御策略：通过限制IP访问提升服务器安全性 摘要： 在网络安全领域，服务器被入侵是一场严重的事故。一旦发生这种情况，除了立即采取措施恢复系统外，还需要加强后续的安全防护措施。本文将探讨为…...

编程日记 2024/10/16 8:56:29

Multiprocessing出错没有提示was skipped without notice in python

这个问题可以通过打印返回结果解决。 解决方法 比如 Pool.apply_async(csdnKuangXiaoHU, args=(p, DestFile))改成 Result = Pool.apply_async(csdnKuangXiaoHU, args=...

编程日记 2024/10/16 8:55:28

调整应用窗口透明度

朋友问我有没有软件透明得，一开始没理解，他给我发一个，我一看原来时调整窗口透明度得，想着python应该也可以实现，就写了一个。 效果图如下： 源码如下： import sys import ctypes from PySid…...

编程日记 2024/10/16 8:53:23

启智畅想集装箱号码智能识别原理，OCR识别应用

集装箱号码用途： 集装箱号码在填写托运单时是必填项，用于标识和跟踪货物运输过程中的集装箱。它有助于海关管理和物流跟踪，确保货物能够顺利通过海关检查并按时送达目的地。 集装箱号码智能识别原理： 在深入探讨集装箱号码OCR&…...

编程日记 2024/10/16 8:52:21

React基础知识

说明：react版本为 18.3.1 React是什么 React由Meta公司研发，是一个用于构建Web和原生交互界面的库。（开发基于浏览器的web应用和基于mac和android的移动应用）React的优势 1.相较于传统基于DOM开发的优势：组件化的开…...

编程日记 2024/10/16 8:49:18

Java基础：面向对象编程3

1 Java可变长参数 1.1 概述 Java 的可变长参数（Varargs）是在 Java 1.5 中引入的功能，允许方法接受任意数量的相同类型的参数。可变参数的语法是在参数类型后面加上三个点（...），例如 int... numbers。 1.…...

编程日记 2024/10/16 8:47:16

实验kubernetes的CPU绑定策略

CPU 管理配置 CPU 管理策略通过 kubelet 参数 --cpu-manager-policy 或 KubeletConfiguration 中的 cpuManagerPolicy 字段来指定。 支持两种策略： none：默认策略。static：允许为节点上具有某些资源特征的 Pod 赋予增强的 CPU 亲和性和独占…...

编程日记 2024/10/16 8:46:14

Zsh 安装与配置

目录 1 环境配置 1.1 基本工具安装 1.2 安装 oh-my-zsh 1.3 从.bashrc中迁移配置（可选） 2 主题配置 2.1 内置主题 2.2 自定义主题 2.2.1 推荐主题 3 插件安装 3.1 推荐插件 3.1.1 zsh -autosuggestions 3.1.2 zsh-syntax-highlighting 3.2 启…...

编程日记 2024/10/16 8:45:13

Redis可视化工具Redis Desktop Manager（附安装包）

前言 redis工具，我相信每个开发都需要，如果每次查都去client执行指令，我怕查完之后，老大就要发版咯。我之前一直用的Redis可视化工具RedisDesktopManager，总觉得差点意思，直到同事推荐了个新的&#xff0c…...

编程日记 2024/10/16 8:44:11

sql server删除过期备份文件脚本

一、通过脚本查看过期文件，时间可以自己设定 for /f "delims" %i in (dir /b /a-d "E:\mybak_file\*.bak" ^| findstr /i "backup" ^| findstr /v /i "no_backup") do if "%~ti" LSS "2024/09/29 16:50&qu…...

编程日记 2024/10/16 8:42:09

【Docker系列】Docker查看镜像架构

💝💝💝欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学…...

编程日记 2024/10/16 8:41:08

Python案例 | 测试网络的下载速度上传速度和 ping 延迟

使用了 speedtest 库来测试网络的下载速度上传速度和 ping 延迟 注意，这里需要先卸载speedtest，再安装speedtest-cli pip uninstall speedtest pip install speedtest-cli其次运行代码： # 使用了 speedtest 库来测试网络的下载速度上传速度…...

编程日记 2024/10/16 8:38:05

一键找回，2024四大固态硬盘数据恢复工具推荐！

虽然固态硬盘（SSD）因其读写速度快、功耗低等特点受到广泛欢迎，但它并非无懈可击，数据丢失的问题依然存在。如果你也遇到了固态硬盘数据丢失的问题，那么一下的这几款软件可以一试！ 福昕数据恢复 直达链接&…...

编程日记 2024/10/16 8:37:03

数据结构~AVL树

文章目录 一、AVL树的概念二、AVL树的定义三、AVL树的插入四、AVL树的平衡五、AVL树的验证六、AVL树的删除七、完整代码八、总结 一、AVL树的概念 AVL树是最先发明的自平衡二叉查找树，AVL是⼀颗空树，或者具备下列性质的二叉搜索树：它的左右子…...

编程日记 2024/10/16 8:36:01

ffmpeg面向对象——rtsp拉流探索（1）

目录 0.avformat_open_input的rtsp流程程纯净版1.rtsp拉流流程图2.rtsp拉流对象图 标准rtsp协议的基石是tcp，本节探索下ffmpeg的rtsp拉流协议tcp的创建及rtsp协商过程。 0.avformat_open_input的rtsp流程程纯净版 ffmpeg拉流，从avformat_open_input接口…...

编程日记 2024/10/16 8:35:00

变量 varablie 声明- Rust 变量 let mut 声明与 C/C++ 变量声明对比分析

一、变量声明设计：let 与 mut 的哲学解析 Rust 采用 let 声明变量并通过 mut 显式标记可变性，这种设计体现了语言的核心哲学。以下是深度解析： 1.1 设计理念剖析 安全优先原则：默认不可变强制开发者明确声明意图 let x 5; …...

编程新知 2025/9/28 20:12:12

UE5 学习系列（三）创建和移动物体

这篇博客是该系列的第三篇，是在之前两篇博客的基础上展开，主要介绍如何在操作界面中创建和拖动物体，这篇博客跟随的视频链接如下： B 站视频：s03-创建和移动物体 如果你不打算开之前的博客并且对UE5 比较熟的话按照以…...

编程新知 2026/1/24 10:00:31

Golang dig框架与GraphQL的完美结合

将 Go 的 Dig 依赖注入框架与 GraphQL 结合使用，可以显著提升应用程序的可维护性、可测试性以及灵活性。 Dig 是一个强大的依赖注入容器，能够帮助开发者更好地管理复杂的依赖关系，而 GraphQL 则是一种用于 API 的查询语言，能够提…...

编程新知 2025/12/31 8:38:23

vue3+vite项目中使用.env文件环境变量方法

vue3vite项目中使用.env文件环境变量方法 .env文件作用命名规则常用的配置项示例使用方法注意事项在vite.config.js文件中读取环境变量方法 .env文件作用 .env 文件用于定义环境变量，这些变量可以在项目中通过 import.meta.env 进行访问。Vite 会自动加载这些环境变…...

编程新知 2026/1/26 19:12:01

全面解析各类VPN技术：GRE、IPsec、L2TP、SSL与MPLS VPN对比

目录 引言 VPN技术概述 GRE VPN 3.1 GRE封装结构 3.2 GRE的应用场景 GRE over IPsec 4.1 GRE over IPsec封装结构 4.2 为什么使用GRE over IPsec？ IPsec VPN 5.1 IPsec传输模式（Transport Mode） 5.2 IPsec隧道模式（Tunne…...

编程新知 2025/11/3 0:44:41

用机器学习破解新能源领域的“弃风”难题

音乐发烧友深有体会，玩音乐的本质就是玩电网。火电声音偏暖，水电偏冷，风电偏空旷。至于太阳能发的电，则略显朦胧和单薄。 不知你是否有感觉，近两年家里的音响声音越来越冷，听起来越来越单薄？ —…...

编程新知 2026/2/7 22:13:48

Aspose.PDF 限制绕过方案：Java 字节码技术实战分享（仅供学习）

Aspose.PDF 限制绕过方案：Java 字节码技术实战分享（仅供学习） 一、Aspose.PDF 简介二、说明（⚠️仅供学习与研究使用）三、技术流程总览四、准备工作1. 下载 Jar 包2. Maven 项目依赖配置 五、字节码修改实现代码&#…...

编程新知 2026/2/6 22:13:44

网站指纹识别

网站指纹识别 网站的最基本组成：服务器（操作系统）、中间件（web容器）、脚本语言、数据厍 为什么要了解这些？举个例子：发现了一个文件读取漏洞，我们需要读/etc/passwd，如…...

编程新知 2026/2/2 17:06:29

MacOS下Homebrew国内镜像加速指南（2025最新国内镜像加速）

macos brew国内镜像加速方法 brew install 加速formula.jws.json下载慢加速 🍺 最新版brew安装慢到怀疑人生？别怕，教你轻松起飞！ 最近Homebrew更新至最新版，每次执行 brew 命令时都会自动从官方地址 https://formulae.…...

编程新知 2026/1/28 10:57:16

Vue 模板语句的数据来源

&#x1f9e9; Vue 模板语句的数据来源&#xff1a;全方位解析 Vue 模板&#xff08;<template> 部分&#xff09;中的表达式、指令绑定&#xff08;如 v-bind, v-on&#xff09;和插值&#xff08;{{ }}&#xff09;都在一个特定的作用域内求值。这个作用域由当前 组件…...

编程新知 2026/2/1 6:18:18