记一次给大表加索引问题场景业务表随数据增加已达亿级,需要加索引进行优化查询。 思考直接添加索引会消耗很长时间,添加索引阶段会不会影响业务 解决方案分批次添加索引对于大表,可以考虑将添加索引的过程分为多个步骤,每次处理一部分数据。这可以减少单个操作的负载,以减小对生产环...2023-08-25安全与运维
记一次大文件同步到本地问题场景公司线上过期业务数据需要删除,删除前需要备份到本地一份。 思考如何让传输速度够快? 分块多进程或多线程传输。 如何保证传输中断后,任务可以重新执行? 任务需要设置保活,传输失败能重新执行任务。 如何防止传输中断后,不至于全部重传,...2023-08-25安全与运维
记一次多磁盘挂载同一目录问题场景Ubuntu Server系统上将新添加三块容量分别为2T、2T、8T的磁盘挂载到/home/titi/workspace/fdfs/目录,文件系统为ext4。 思考同一目录无法重复挂载,后挂载的会覆盖之前挂载的磁盘,需要将三块硬盘合并到一个...2023-08-24安全与运维
记一次文件存储系统升级和迁移问题场景公司文件存储目前使用自己搭建的FDFS文件存储系统。FDFS搭建在阿里云服务器上,单机部署,没有做集群高可用。公司多个业务系统使用该FDFS,各个业务的数据也没有办法区分开,公司还要承担高昂的续费和扩容费用。 原文件存储系统缺点: 不具备高...2023-08-23安全与运维
RPC学习笔记介绍RPC(Remote Procedure Call)远程过程调用,简单的理解是一个节点请求另一个节点提供的服务。 本地过程调用123456def add(a, b): total = a +b return total tota...2023-04-10协议
go和goland安装配置安装 到 go官网下载找到对应安装包链接下载。 一路next安装,打开终端输入go version,如看到下图则代表安装成功。 打开GO111MODULE,更改go代理。 12go env -w GO111MODULE=ongo env -...2023-03-25Go
人工智能时代如何保持独立思考认识人工智能人工智能是计算机科学的一个分支,该领域的研究包括机器人、语音识别、图像识别、自然语言处理和专家系统等。人工智能目标是使机器像人类一样地感知、思考和执行任务,甚至是超越人类。 机器人 语音识别 图像识别 自然语言处理 专家系统 经历了漫...2023-03-22随笔
Socket网络编程学习笔记简介网络中进程之间如何通信?本地的进程间通信可以有很多种方式,但可以总结为下面4类: 消息传递(管道、FIFO、消息队列) 同步(互斥量、条件变量、读写锁、文件和写记录锁、信号量) 共享内存(匿名的和具名的) 远程过程调用(Solaris门和Sun...2023-01-05Python
Django日志配置四个组件一份 Python logging 配置有下面四个部分组成: Loggers日志记录器是日志记录系统的入口。每个日志记录器都是一个命名桶,可将信息写入其中进行处理。logger 可以配置 日志级别。日志级别描述了由该 logger 处理的消息...2022-05-23Python
HTTPS学习笔记前言了解https之前需要了解对称加密和非对称加密、http的弊端。 http的弊端由上图可见,http在传输数据过程中,所有数据都是明文传输,自然没有安全性可言。https使用了混合加密算法(对称加密和非对称加密),可以用密钥加密或还原数据,只要确...2022-04-29网络