1. 概述在检索增强生成（RAG）系统、文档处理系统以及其他基于大语言模型（LLM）的应用中，文本分割器（Text Splitter）是关键组件之一。它负责将长文档按照特定策略切分为更小的语义单元，这些单元随后会被转换为向量表示并存储在向量数据库中。...

介绍什么是 CRD？首先我们需要知道第一个概念就是 CRD，CRD 全称 Custom Resource Definition，是 Kubernetes 提供的一种 API 扩展机制，允许用户定义新的资源类型。通过 CRD，你可以像使用原生资源（如 ...

什么是LangChain？LangChain 是一个开源的语言模型工具链框架，旨在使研究人员和开发人员能够更轻松地构建、实验和部署以自然语言处理（NLP）为中心的应用程序。它提供了多种组件和工具，可帮助用户利用最近的语言模型进展，如大型 Transf...

在进行本地知识库的搭建实操之前，我们需要先对RAG有一个大概的了解。 什么是 RAG 技术检索增强生成 (RAG) 是一种使用来自私有或专有数据源的信息来辅助文本生成的技术。它将检索模型（设计用于搜索大型数据集或知识库）和生成模型（例如大型语言模型 ...

前提条件 一台Linux服务器 安装完docker 安装完Anaconda 安装Ollama 启动 ollama 1docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollam...

准备 一台云服务器，安装python及dashscope、dotenv和gradio库 开通模型服务灵积，申请API_KEY 编码12345678910111213141516171819202122232425262728293031323334...

前提条件3台服务器并安装Docker 配置PostgreSQL主节点 远程连接PostgreSQL主节点，依次运行以下命令，安装PostgreSQL。 输入mkdir postgresql命令，创建postgresql文件夹。 输入cd post...

问题场景在开发配合外部系统的子系统过程中，外部系统需要实现”一网通管”并通过单点登录方式实现免登录。当前实现是外部系统传入sso_token信息，子系统返回重定向response，用户在新标签页中可以正常访问子系统的数据看板页面。 但当外部系统通过i...

问题场景业务表随数据增加已达亿级，需要加索引进行优化查询。 思考直接添加索引会消耗很长时间，添加索引阶段会不会影响业务 解决方案分批次添加索引对于大表，可以考虑将添加索引的过程分为多个步骤，每次处理一部分数据。这可以减少单个操作的负载，以减小对生产环...

问题场景公司线上过期业务数据需要删除，删除前需要备份到本地一份。 思考如何让传输速度够快？ 分块多进程或多线程传输。 如何保证传输中断后，任务可以重新执行？ 任务需要设置保活，传输失败能重新执行任务。 如何防止传输中断后，不至于全部重传，...