LangChain学习笔记

什么是LangChain?LangChain 是一个开源的语言模型工具链框架,旨在使研究人员和开发人员能够更轻松地构建、实验和部署以自然语言处理(NLP)为中心的应用程序。它提供了多种组件和工具,可帮助用户利用最近的语言模型进展,如大型 Transf...

大模型

使用Ollama大模型打造专属本地知识库

在进行本地知识库的搭建实操之前,我们需要先对RAG有一个大概的了解。 什么是 RAG 技术检索增强生成 (RAG) 是一种使用来自私有或专有数据源的信息来辅助文本生成的技术。它将检索模型(设计用于搜索大型数据集或知识库)和生成模型(例如大型语言模型 ...

大模型

Ollama大模型本地部署教程

前提条件 一台Linux服务器 安装完docker 安装完Anaconda 安装Ollama 启动 ollama 1docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollam...

使用Gradio调用通义千问实现一个chatbot机器人

准备 一台云服务器,安装python及dashscope、dotenv和gradio库 开通模型服务灵积,申请API_KEY 编码12345678910111213141516171819202122232425262728293031323334...

大模型

Docker搭建PostgreSQL一主二从架构

前提条件3台服务器并安装Docker 配置PostgreSQL主节点 远程连接PostgreSQL主节点,依次运行以下命令,安装PostgreSQL。 输入mkdir postgresql命令,创建postgresql文件夹。 输入cd post...

Docker

记一次解决iframe嵌入网页无法免登录

问题场景在开发配合外部系统的子系统过程中,外部系统需要实现”一网通管”并通过单点登录方式实现免登录。当前实现是外部系统传入sso_token信息,子系统返回重定向response,用户在新标签页中可以正常访问子系统的数据看板页面。 但当外部系统通过i...

安全与运维

记一次给大表加索引

问题场景业务表随数据增加已达亿级,需要加索引进行优化查询。 思考直接添加索引会消耗很长时间,添加索引阶段会不会影响业务 解决方案分批次添加索引对于大表,可以考虑将添加索引的过程分为多个步骤,每次处理一部分数据。这可以减少单个操作的负载,以减小对生产环...

安全与运维

记一次大文件夹同步到本地

问题场景公司线上过期业务数据需要删除,删除前需要备份到本地一份。 思考如何让传输速度够快? 分块多进程或多线程传输。 如何保证传输中断后,任务可以重新执行? 任务需要设置保活,传输失败能重新执行任务。 如何防止传输中断后,不至于全部重传,...

安全与运维

记一次多磁盘挂载同一目录

问题场景Ubuntu Server系统上将新添加三块容量分别为2T、2T、8T的磁盘挂载到/home/titi/workspace/fdfs/目录,文件系统为ext4。 思考同一目录无法重复挂载,后挂载的会覆盖之前挂载的磁盘,需要将三块硬盘合并到一个...

安全与运维

记一次文件存储系统升级和迁移

问题场景公司文件存储目前使用自己搭建的FDFS文件存储系统。FDFS搭建在阿里云服务器上,单机部署,没有做集群高可用。公司多个业务系统使用该FDFS,各个业务的数据也没有办法区分开,公司还要承担高昂的续费和扩容费用。 原文件存储系统缺点: 不具备高...

安全与运维
12346