-
附录D 系统设计
附录D 系统设计 附录D 系统设计 1、搜索关键词智能提示suggestion 百度搜索框中，输入“北京”，搜索框下面会以北京为前缀，展示“北京爱情故事”、“北京公交”、“北京医院”等等搜索词，输入“结构之 ”，会提示“结构之法”，“结构之法 算法之道”等搜索词。 请问，如何设计此系统，使得空间和时间复杂度尽量低。 提示：此题比较开放，简单... -
离线安装及升级
离线安装及升级 1 环境要求 2 下载安装包 3 解压安装包 4 配置文件说明 4.1 安装配置文件 4.2 数据库配置文件 5 执行安装脚本 6 安装目录结构 7 配置反向代理 8 离线升级 离线安装及升级 1 环境要求 部署服务器要求 操作系统: Ubuntu 22 / CentOS 7 64 位系统 CPU/内存: 4C... -
PyTorch 分布式概述
PyTorch 分布式概述 简介 数据并行训练 torch.nn.DataParallel torch.nn.parallel.DistributedDataParallel TorchElastic 通用分布式训练 PyTorch 分布式开发人员 PyTorch 分布式概述 原文：https://pytorch.org/tutor... -
Redis最常见的面试内容
面试官最爱问的 Redis 问题，一文全搞定！ 一、Redis 基础概念三连击 1. 什么是 Redis？ 2. Redis 为啥这么快？ 3. Redis 和 Memcached 有啥区别？ 二、数据类型高频考点 1. Redis 有哪些数据类型？怎么用？ 2. 如何用 Redis 实现分布式锁？ 三、缓存经典难题大揭秘 1. 缓存雪崩、缓存... -
单机模型并行最佳实践
单机模型并行最佳实践 基本用法 将模型并行应用于现有模块 通过流水线输入加快速度 单机模型并行最佳实践 原文：https://pytorch.org/tutorials/intermediate/model_parallel_tutorial.html 作者 ：Shen Li 模型并行在分布式训练技术中被广泛使用。 先前的帖子已经解... -
Redis面试常见问题汇总（补充：分布式锁相关）
Redis面试常见问题汇总（补充：分布式锁相关） 四、分布式锁设计与实现 1. 基础概念 Q：什么是分布式锁？为什么需要分布式锁？ 分布式锁 ：在分布式系统中，用于控制多个进程或线程对共享资源互斥访问的机制。 原因 ：单机锁无法跨节点，当系统部署在多台服务器时，需要保证同一时间只有一个节点操作共享资源（如数据库、文件、缓存等），避免数据不一... -
PyTorch 中通道在最后的内存格式（beta）
PyTorch 中通道在最后的内存格式（beta） 什么是通道在最后 内存格式 API 性能提升 转换现有模型 要做的工作 PyTorch 中通道在最后的内存格式（beta） 原文：https://pytorch.org/tutorials/intermediate/memory_format_tutorial.html 作者 ： ... -
使用 RPC 的分布式管道并行化
使用 RPC 的分布式管道并行化 基础知识 第 1 步：对 ResNet50 模型进行分片 第 2 步：将 ResNet50 模型片段拼接到一个模块中 步骤 3：定义训练循环 第 4 步：启动 RPC 进程 使用 RPC 的分布式管道并行化 原文：https://pytorch.org/tutorials/intermediate/dist... -
为什么使用消息队列？
为什么使用消息队列？ 面试题 面试官心理分析 面试题剖析 为什么使用消息队列 解耦 异步 削峰 消息队列有什么优缺点 Kafka、ActiveMQ、RabbitMQ、RocketMQ 有什么优缺点？ 为什么使用消息队列？ 面试题 为什么使用消息队列？ 消息队列有什么优点和缺点？ Kafka、ActiveMQ、RabbitMQ、Ro... -
分布式事务的解决方案
分布式事务解决方案 一、两阶段提交（2PC） 二、补偿事务（TCC） 三、本地消息表（异步确保） 四、MQ 事务消息 五、Sagas 事务模型 分布式事务解决方案 一、两阶段提交（2PC） 和上一节中提到的数据库XA事务一样，两阶段提交就是使用XA协议的原理，我们可以从下面这个图的流程来很容易的看出中间的一些比如commit...
