DeepSpeed

在这里插入图片描述

文章目录

    • 一、关于 DeepSpeed
      • 1、DeepSpeed 是什么
      • 2、深度学习训练和推理的极致速度和规模
      • 3、DeepSpeed 的四大创新支柱
        • 1)DeepSpeed 训练
        • 2)DeepSpeed 推理
        • 3)DeepSpeed 压缩
        • 4)DeepSpeed4Science
      • 4、DeepSpeed 软件套件
        • DeepSpeed 库
        • 推理模型实现 (MII)
        • Azure 上的 DeepSpeed
      • 5、DeepSpeed Adoption
      • 6、构建管道状态
    • 二、安装
      • 要求
      • 贡献的硬件支持
      • PyPI
      • Windows
      • 特征
    • 三、编写 DeepSpeed 模型
      • 训练
      • 模型检查点
      • DeepSpeed 配置
    • 四、启动 DeepSpeed 训练
      • 资源配置(多节点)
      • 多节点环境变量
        • MPI 和 AzureML 兼容性
      • 资源配置(单节点)


一、关于 DeepSpeed

1、DeepSpeed 是什么

DeepSpeed is a deep learning optimization library that makes distributed training and inference easy, efficient, and effective.

  • 官网:https://www.deepspeed.ai
    https://www.microsoft.com/en-us/research/project/deepspeed/
  • github : https://github.com/microsoft/DeepSpeed
  • 入门 : https://www.deepspeed.ai/getting-started/ 使用 DeepSpeed 的第一步
  • DeepSpeed JSON 配置 : https://www.deepspeed.ai/docs/config-json/
  • API文档 : https://deepspeed.readthedocs.io/en/latest/ 生成的 DeepSpeed API 文档
  • 教程 : https://www.deepspeed.ai/tutorials/
  • 博客 : https://www.deepspeed.ai/posts/

教程

  • Deepspeed大模型分布式框架精讲
    https://www.bilibili.com/video/BV1mc411y7jW/


2、深度学习训练和推理的极致速度和规模

DeepSpeed 支持世界上最强大的语言模型,例如MT-530B和BLOOM 。

它是一款易于使用的深度学习优化软件套件,可为训练和推理提供前所未有的规模和速度。借助 DeepSpeed,您可以:

  • 训练/推理 具有数十亿或数万亿参数的密集或稀疏模型
  • 实现出色的系统吞吐量 并 有效扩展到数千个 GPU
  • 在资源受限的 GPU 系统上进行 训练/推理
  • 实现前所未有的低延迟和高吞吐量的推理
  • 以低成本实现极限压缩,实现无与伦比的推理延迟和模型尺寸减小

3、DeepSpeed 的四大创新支柱


1)DeepSpeed 训练

DeepSpeed 提供了系统创新的融合,使大规模深度学习训练变得有效、高效,大大提高了易用性,并在可能的规模方面重新定义了深度学习训练格局。

ZeRO、3D-Parallelism、DeepSpeed-MoE、ZeRO-Infinity 等创新属于训练支柱。了解更多:DeepSpeed 训练


2)DeepSpeed 推理

DeepSpeed 汇集了张量、管道、专家和零并行等并行技术的创新,并将它们与高性能定制推理内核、通信优化和异构内存技术相结合,以前所未有的规模实现推理,同时实现无与伦比的延迟、吞吐量和性能。

降低成本。这种推理系统技术的系统组合属于推理支柱。了解更多:DeepSpeed-推理


3)DeepSpeed 压缩

为了进一步提高推理效率,DeepSpeed 为研究人员和从业人员提供易于使用且组合灵活的压缩技术 来压缩他们的模型,同时提供更快的速度、更小的模型大小并显着降低的压缩成本。

此外,ZeroQuant 和 XTC 等 SoTA 在压缩方面的创新也包含在压缩支柱下。了解更多:DeepSpeed 压缩


4)DeepSpeed4Science

秉承微软解决人类最紧迫挑战的使命,微软 DeepSpeed 团队响应这一机遇,推出了一项名为DeepSpeed4Science的新计划,旨在通过人工智能系统技术创新构建独特的能力,帮助领域专家解开当今最大的科学谜团。 了解更多信息:DeepSpeed4Science 网站和教程



4、DeepSpeed 软件套件


DeepSpeed 库

https://github.com/microsoft/DeepSpeed

DeepSpeed库实现并将 DeepSpeed 训练、推理和压缩支柱中的创新和技术打包到一个易于使用的开源存储库中。

它允许在单个训练、推理或压缩管道中轻松组合多个特征。

DeepSpeed 库被 DL 社区广泛采用,并已用于启用一些最强大的模型(请参阅DeepSpeed 采用)。


推理模型实现 (MII)

推理模型实现 (MII) 是一个开源存储库,通过减轻应用复杂系统优化技术本身的需要,使所有数据科学家都可以进行低延迟和高吞吐量的推理。

MII 开箱即用,支持数千种广泛使用的深度学习模型,并使用 DeepSpeed-Inference 进行优化,只需几行代码即可部署,同时与普通开源版本相比,延迟显着降低。


Azure 上的 DeepSpeed

DeepSpeed 用户多种多样,可以访问不同的环境。我们建议尝试 Azure 上的 DeepSpeed,因为这是最简单、最容易的方法。

在 Azure 上尝试 DeepSpeed 的推荐方法是通过 AzureML recipes。

作业提交和数据准备脚本已在此处提供。有关如何在 Azure 上使用 DeepSpeed 的更多详细信息,请遵循Azure 教程。



5、DeepSpeed Adoption

DeepSpeed 是 Microsoft 新的 大规模 AI 计划的重要组成部分,该计划旨在大规模实现下一代 AI 功能,您可以在此处找到更多信息。

DeepSpeed 已被用于训练许多不同的大型模型,下面列出了我们所知道的几个示例(如果您想包含您的模型,请提交 PR):

  • Megatron-Turing NLG (530B)
  • Jurassic-1 (178B)
  • BLOOM (176B)
  • GLM (130B)
  • xTrimoPGLM (100B)
  • YaLM (100B)
  • GPT-NeoX (20B)
  • AlexaTM (20B)
  • Turing NLG (17B)
  • METRO-LM (5.4B)

DeepSpeed 已与多种不同的流行开源深度学习框架集成,例如:

文档
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传Transformers with DeepSpeed
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传使用 DeepSpeed 加速
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传Lightning with DeepSpeed
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传MosaicML with DeepSpeed
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传Determined with DeepSpeed
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传MMEngine with DeepSpeed


6、构建管道状态

DescriptionStatus
NVIDIA外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传 外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传 外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传 外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传
AMD外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传
CPU外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传 外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传
Intel Gaudi外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传
Intel XPU外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传
PyTorch Nightly外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传
Integrations外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传 外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传 外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传 外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传
Misc外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传 外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传 外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

二、安装

开始使用 DeepSpeed 的最快方法是通过 pip,这将安装最新版本的 DeepSpeed,该版本不依赖于特定的 PyTorch 或 CUDA 版本。

DeepSpeed 包含多个 C++/CUDA 扩展,我们通常将其称为 ops

默认情况下,所有这些 extensions/ops 都将使用 torch 的 JIT C++ 扩展加载器即时构建(JIT),该加载器依赖 ninja在运行时构建和动态链接它们。


要求

  • 在安装 DeepSpeed之前必须安装PyTorch 。
  • 为了获得完整的功能支持,我们建议使用 >= 1.9 的 PyTorch 版本,最好是最新的 PyTorch 稳定版本。
  • CUDA 或 ROCm 编译器,例如nvcc或hipcc,用于编译 C++/CUDA/HIP 扩展。
  • 下面列出了我们开发和测试的特定 GPU,这并不意味着您的 GPU 如果不属于此类别就无法工作,只是 DeepSpeed 在以下方面进行了最充分的测试:
    • NVIDIA:Pascal、Volta、Ampere 和 Hopper 架构
    • AMD:MI100 和 MI200

贡献的硬件支持

  • DeepSpeed 现在支持各种硬件加速器。
贡献者硬件加速器名称贡献者已验证上游验证
华为华为升腾NPU西北大学是的
英特尔英特尔® Gaudi® 2 人工智能加速器高压泵是的是的
英特尔英特尔® 至强® 处理器中央处理器是的是的
英特尔英特尔® 数据中心 GPU Max 系列xpu是的是的

PyPI

我们定期将版本推送到PyPI,并鼓励用户在大多数情况下从那里安装。

pip install deepspeed

安装后,您可以验证安装并通过 DeepSpeed 环境报告查看您的计算机与哪些扩展/操作兼容。

ds_report

如果您想预安装任何 DeepSpeed 扩展/操作(而不是 JIT 编译)或通过 PyPI 安装预编译操作,请参阅我们的高级安装说明。


Windows

DeepSpeed 部分支持 Windows 支持。在 Windows 上,您可以通过以下步骤构建轮子,目前仅支持推理模式。

  1. 安装pytorch,如pytorch 1.8 + cuda 11.1
  2. 安装Visual cpp构建工具,例如VS2019 C++ x64/x86构建工具
  3. 使用管理员权限启动 cmd 控制台以创建所需的符号链接文件夹
  4. 运行以在文件夹python setup.py bdist_wheel中构建轮子dist

特征

请查看DeepSpeed-Training、DeepSpeed-Inference和DeepSpeed- Compression页面,了解这三个支柱提供的全套功能。


三、编写 DeepSpeed 模型

翻译自:https://www.deepspeed.ai/getting-started/ (最后更新于 2024-05-14)

DeepSpeed 模型训练是使用 DeepSpeed 引擎完成的。
该引擎可以包装任何类型的任意模型torch.nn.module,并具有用于训练和检查模型的最小 API 集。请参阅教程以获取详细示例。


初始化 DeepSpeed 引擎:

model_engine, optimizer, _, _ = deepspeed.initialize(args=cmd_args,model=model, model_parameters=params)

deepspeed.initialize确保分布式数据并行 或 混合精度训练 所需的所有必要设置 都在幕后适当完成。
除了包装模型之外,DeepSpeed 还可以根据传递给 deepspeed.initialize 和 DeepSpeed 配置文件 的参数构建和管理训练优化器、数据加载器和学习率调度器。
请注意,DeepSpeed 在每个训练步骤中自动执行学习率计划。


如果您已经有分布式环境设置,则需要替换:

torch.distributed.init_process_group(...)

为:

deepspeed.init_distributed()

默认情况下是使用 NCCL 后端,DeepSpeed 已对其进行了全面测试,但您也可以覆盖默认值。

但如果您在 deepspeed.initialize() 之前不需要 分布式环境设置,则不必使用此功能,因为 DeepSpeed 会在其initialize 后自动初始化分布式环境。
无论如何,你需要删除 torch.distributed.init_process_group,如果您已经安装了它。


训练

DeepSpeed 引擎初始化后,就可以使用三个简单的 API 来训练模型,分别用于前向传播(可调用对象)、后向传播 ( backward) 和权重更新 ( step)。


for step, batch in enumerate(data_loader):#forward() methodloss = model_engine(batch)#runs backpropagationmodel_engine.backward(loss)#weight updatemodel_engine.step()

在底层,DeepSpeed 使用预定义的学习率调度程序以混合精度自动执行分布式数据并行训练所需的必要操作:

  • 梯度平均:在分布式数据并行训练中,backward 确保在train_batch_size 训练后,在数据并行过程中 对梯度进行平均。
  • 损失缩放:在 FP16/混合精度训练中,DeepSpeed 引擎自动处理损失缩放以避免梯度中的精度损失。
  • 学习率调度程序:当使用 DeepSpeed 的学习率调度程序(在文件中指定ds_config.json)时,DeepSpeedstep()在每个训练步骤(model_engine.step()执行时)调用调度程序的方法。不使用 DeepSpeed 的学习率调度程序时:
    • 如果计划应该在每个训练步骤执行,则用户可以 在初始化 DeepSpeed 引擎时将计划程序传递给 deepspeed.initialize ,并让 DeepSpeed 管理它以进行更新或保存/恢复。
    • 如果计划应该以任何其他间隔(例如,训练时期)执行,则用户不应在初始化期间将计划程序传递给 DeepSpeed,并且必须显式管理它。

模型检查点

保存和加载训练状态是通过 DeepSpeed 中的save_checkpointload_checkpoint API 处理的,采用两个参数来唯一标识检查点:

  • ckpt_dir:保存检查点的目录。
  • ckpt_id:唯一标识目录中检查点的标识符。

在下面的代码片段中,我们使用损失值作为检查点标识符。


# load checkpoint
_, client_sd = model_engine.load_checkpoint(args.load_dir, args.ckpt_id)
step = client_sd['step']# advance data loader to ckpt step
dataloader_to_step(data_loader, step + 1)for step, batch in enumerate(data_loader):#forward() methodloss = model_engine(batch)#runs backpropagationmodel_engine.backward(loss)#weight updatemodel_engine.step()#save checkpointif step % args.save_interval:client_sd['step'] = stepckpt_id = loss.item()model_engine.save_checkpoint(args.save_dir, ckpt_id, client_sd = client_sd)

DeepSpeed 可以自动保存和恢复模型、优化器和学习率调度器状态,同时向用户隐藏这些详细信息。
但是,用户可能希望保存给定模型训练所独有的附加数据。为了支持这些项目,
save_checkpoint 接受客户端状态字典client_sd进行保存。
这些项目可以load_checkpoint作为返回参数来检索。
在上面的示例中,该step值存储为client_sd.

重要提示:所有进程都必须调用此方法,而不仅仅是排名为 0 的进程。
这是因为每个进程都需要保存其主权重和调度程序+优化器状态。
如果仅针对排名为 0 的进程调用此方法,则该方法将挂起等待与其他进程同步。


DeepSpeed 配置

可以使用应指定为 .json 的配置 JSON 文件来启用、禁用或配置 DeepSpeed 功能args.deepspeed_config
下面显示了示例配置文件。有关完整的功能集,请参阅API 文档。


{"train_batch_size": 8,"gradient_accumulation_steps": 1,"optimizer": {"type": "Adam","params": {"lr": 0.00015}},"fp16": {"enabled": true},"zero_optimization": true
}

四、启动 DeepSpeed 训练

deepspeedDeepSpeed 安装启动分布式训练的入口点。我们通过以下假设来说明 DeepSpeed 的示例用法:

  1. 您已经将 DeepSpeed 集成到您的模型中
  2. client_entry.py是您模型的入口脚本
  3. client argsargparse命令行参数
  4. ds_config.json是 DeepSpeed 的配置文件

资源配置(多节点)

DeepSpeed 使用与OpenMPI和Horovod兼容的主机文件配置多节点计算资源 。

主机文件是主机名(或 SSH 别名)(可通过无密码 SSH 访问的计算机)和插槽计数(指定系统上可用的 GPU 数量)的列表。例如,


worker-1 slots=4
worker-2 slots=4

指定名为worker-1worker-2的两台机器各有四个GPU用于训练。

主机文件是使用--hostfile命令行选项指定的。如果未指定主机文件,DeepSpeed 将搜索/job/hostfile.如果未指定或未找到主机文件,DeepSpeed 会查询本地计算机上的 GPU 数量以发现可用的本地插槽数量。

以下命令在 中指定的所有可用节点和 GPU 上启动 PyTorch 训练作业myhostfile

deepspeed --hostfile=myhostfile <client_entry.py> <client args> \--deepspeed --deepspeed_config ds_config.json

或者,DeepSpeed 允许您将模型的分布式训练限制为可用节点和 GPU 的子集。此功能通过两个命令行参数启用:--num_nodes--num_gpus。例如,可以使用以下命令将分布式训练限制为仅使用两个节点:


deepspeed --num_nodes=2 \<client_entry.py> <client args> \--deepspeed --deepspeed_config ds_config.json

--include您可以使用和 --exclude 标志来包含或排除特定资源。

例如,要使用节点 worker-2上 除 GPU 0 之外的所有可用资源以及 worker-3 上的GPU 0和1 :

deepspeed --exclude="worker-2:0@worker-3:0,1" \<client_entry.py> <client args> \--deepspeed --deepspeed_config ds_config.json

同样,您只能在 worker-2 上使用GPU 0和1 :

deepspeed --include="worker-2:0,1" \<client_entry.py> <client args> \--deepspeed --deepspeed_config ds_config.json

多节点环境变量

当跨多个节点进行训练时,我们发现支持传播用户定义的环境变量很有用。

默认情况下,DeepSpeed 将传播设置的所有 NCCL 和 PYTHON 相关环境变量。

如果您想传播其他变量,您可以在名为的点文件中指定它们,.deepspeed_env该文件包含换行符分隔的条目列表 VAR=VAL

DeepSpeed 启动器将查找您正在执行的本地路径以及您的主目录 ( ~/)。

如果您想用自己的文件或路径和名称覆盖该文件的默认名称,则可以使用环境变量DS_ENV_FILE.如果您要启动多个需要不同变量的作业,这非常有用。

作为一个具体示例,某些集群需要在训练之前设置特殊的 NCCL 变量。用户可以简单地将这些变量添加到 .deepspeed_env其主目录中的文件中,如下所示:


NCCL_IB_DISABLE=1
NCCL_SOCKET_IFNAME=eth0

然后,DeepSpeed 将确保在训练作业中的每个节点上启动每个进程时设置这些环境变量。


MPI 和 AzureML 兼容性

如上所述,DeepSpeed 提供了自己的并行启动器来帮助启动多节点/多 GPU 训练作业。如果您更愿意使用 MPI(例如 mpirun)启动训练作业,我们会为此提供支持。应该注意的是,DeepSpeed 仍将使用 torch 分布式 NCCL 后端,而不是MPI 后端。

要使用 mpirun + DeepSpeed 或 AzureML(使用 mpirun 作为启动器后端)启动训练作业,您只需安装 mpi4py python 包。 DeepSpeed 将使用它来发现 MPI 环境并将必要的状态(例如,世界大小、等级)传递到火炬分布式后端。

如果您使用模型并行性、管道并行性,或者在调用之前需要 torch.distributed 调用,deepspeed.initialize(..)我们会通过额外的 DeepSpeed API 调用提供相同的 MPI 支持。将您的初始 torch.distributed.init_process_group(..)呼叫替换为:


deepspeed.init_distributed()

资源配置(单节点)

如果我们仅在单个节点(具有一个或多个 GPU)上运行,则 DeepSpeed不需要如上所述的主机文件。如果未检测到或未传入主机文件,则 DeepSpeed 将查询本地计算机上的 GPU 数量,以发现可用插槽的数量。和--include参数 --exclude正常工作,但用户应指定“localhost”作为主机名。

另请注意,CUDA_VISIBLE_DEVICES不能与 DeepSpeed 一起使用来控制应使用哪些设备。例如,要仅使用当前节点的 gpu1,请执行以下操作:


deepspeed --include localhost:1 ...

2024-05-15(三)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/705200.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Golang RPC实现-day02

导航 Golang RPC实现一、客户端异步并发多个请求1、 客户端结构体2、 一个客户端&#xff0c;异步发送多个请求&#xff0c;使用call结构体代表客户端的每次请求3、客户端并发多个请求4、客户端接收请求 Golang RPC实现 day01 我们实现了简单的服务端和客户端。我们简单总结一…

景源畅信电商:做抖音有哪些未开发的蓝海领域?

在互联网信息爆炸的今天&#xff0c;抖音已经成为人们获取信息和娱乐的重要渠道。然而&#xff0c;随着用户数量的增加和内容的丰富&#xff0c;抖音的红海竞争也日益激烈。在这样的背景下&#xff0c;寻找还未被充分开发的蓝海领域&#xff0c;对于内容创作者来说&#xff0c;…

思科模拟器--2.静态路由和默认路由配置24.5.15

首先&#xff0c;创建三个路由器和两个个人电脑。 接着&#xff0c;配置两台电脑的IP&#xff0c;子网掩码和默认网关 对Router 0&#xff0c;进行以下命令&#xff1a; 对Router进行以下命令&#xff1a; 对Router2进行以下命令&#xff1a; 本实验完成。 验证&#xff1a;PC…

MT3036 第一节离数课后

思路&#xff1a; 这道题与之前的表达式求值题目不同的是&#xff0c;有not这个单目运算符。而且如果表达式错误&#xff0c;要输入error。 把true和false成为操作数&#xff0c;把and or not成为运算符。 考虑error的情况&#xff1a; 1.and 和 or是双目运算符&#xff0c…

线性模型之岭回归的用法

实战&#xff1a;使用岭回归模型 完整代码&#xff1a; import numpy as np import matplotlib.pyplot as plt from sklearn.linear_model import LinearRegression from sklearn.datasets import make_regression from sklearn.model_selection import train_test_split fro…

pytest教程-46-钩子函数-pytest_sessionstart

领取资料&#xff0c;咨询答疑&#xff0c;请➕wei: June__Go 上一小节我们学习了pytest_report_testitemFinished钩子函数的使用方法&#xff0c;本小节我们讲解一下pytest_sessionstart钩子函数的使用方法。 pytest_sessionstart 是 Pytest 提供的一个钩子函数&#xff0c…

实战+代码!Selenium + Phantom JS爬取天天基金数据

功能&#xff1a; 通过程序实现从基金列表页&#xff0c;获取指定页数内所有基金的近一周收益率以及每支基金的详情页链接。再进入每支基金的详情页获取其余的基金信息&#xff0c;将所有获取到的基金详细信息按近6月收益率倒序排列写入一个Excel表格。 思路&#xff1a; 1.…

fastadmin对登录token的处理

fastadmin对token的操作 最近开发遇到一个场景&#xff0c;需要绕过验证获取登录&#xff0c;所以恶补了一下这个知识点&#xff0c;这个主要就是控制fastadmin的token的问题 代码分步实现 class Xcxuser extends Api {//关于鉴权protected $noNeedLogin [login,getopenid,…

错误: 找不到或无法加载主类问题(已解决)

今天在虚拟机中安装了idea2023.2的版本&#xff0c;运行代码时发现错误找不到主类&#xff01; 直接说结论&#xff1a; 我先clean了一下target&#xff0c;然后重新build&#xff0c;发现maven报错了&#xff0c;idea2023.2默认使用了内置的maven&#xff0c;然后我切换了一下…

Yalmip使用教程(8)-常见报错及调试方法

博客中所有内容均来源于自己学习过程中积累的经验以及对yalmip官方文档的翻译&#xff1a;https://yalmip.github.io/tutorials/ 这篇博客将详细介绍使用yalmip工具箱编程过程中的常见错误和相应的解决办法。 1.optimize的输出参数 众所周知&#xff0c;optimize是yalmip用来求…

中国农业大学:学硕11408复试线上涨40分,今年还会持续涨吗?中国农业大学计算机考研考情分析!

中国农业大学&#xff08;China Agricultural University&#xff09;&#xff0c;简称“中国农大”&#xff0c;坐落于中国首都北京&#xff0c;由中华人民共和国教育部直属&#xff0c;中央直管副部级建制&#xff0c;水利部、农业部和北京市共建&#xff0c;位列国家“双一流…

解决kali Linux2024无法获取动态IPv4地址(DHCP)解决方案

用root用户启动终端 进入根目录&#xff0c;选择配置文件 cd到根目录下/../etc/network找到interfaces文件 编辑interfaces文件 vi interfaces&#xff0c;编辑interfaces文件 输入如下命令 打开虚拟网络编辑器 选择虚拟机选项卡&#xff0c;编辑&#xff0c;打开虚拟网络编…

Jmeter(四十一) - 从入门到精通进阶篇 - Jmeter配置文件的刨根问底 - 下篇(详解教程)

宏哥微信粉丝群&#xff1a;https://bbs.csdn.net/topics/618423372 有兴趣的可以扫码加入 1.简介 为什么宏哥要对Jmeter的配置文件进行一下讲解了&#xff0c;因为有的童鞋或者小伙伴在测试中遇到一些需要修改配置文件的问题不是很清楚也不是很懂&#xff0c;就算修改了也是…

tag-字符串:最长公共前缀

题目 编写一个函数来查找字符串数组中的最长公共前缀。 如果不存在公共前缀&#xff0c;返回空字符串 “”。 示例 题解一 class Solution:def longestCommonPrefix(self, strs: List[str]) -> str:# 按照字典顺序找到strs中最大的字符串和最小的字符串str0 min(strs)st…

51单片机超声波测距_液位检测_温度检测原理图PCB仿真代码

目录 实物图&#xff1a; PCB ​原理图​ 仿真图 ​编辑 程序 资料下载地址&#xff1a;51单片机超声波测距-液位检测-温度检测原理图PCB仿真代码 主控为stc89c52,通过ds18b20进行温度采集&#xff0c;超声波测距&#xff0c;距离不可以超过1m&#xff0c;通过按键可以设…

Java面试八股之List、Set、Map和Queue之间的区别

Java中List、Set、Map和Queue之间的区别 List List 是一个有序且允许重复元素的集合。它提供了按索引访问元素的能力&#xff0c;也就是说&#xff0c;你可以通过元素的插入位置或指定的索引来精确地访问、添加或删除元素。List 的典型实现包括 ArrayList 和 LinkedList。 特…

喜茶·茶坊黑金首店入驻北京三里屯,率先引入珍稀娟姗奶制茶

发布 | 大力财经 近日&#xff0c;喜茶茶坊 BLACK 在北京三里屯开业&#xff0c;这是喜茶新业态的首家黑金店型。该店在延续喜茶茶坊“鲜、茶、纯”的精品茗茶特色和宋代茶文化审美意趣的基础上&#xff0c;首次升级呈现了铜锅手煮烹茶工艺、娟姗牛乳制茶等创新尝试&#xff0…

【C++ 高阶数据结构 Test】AVL ~ 二叉搜索树

文章目录 1. AVL 树概念2. AVL 树节点的定义3. AVL树的插入4. AVL树的旋转4.1 新节点插入较高左子树的左侧---左左&#xff1a;右单旋4.2 新节点插入较高右子树的右侧---右右&#xff1a;左单旋4.3 新节点插入较高左子树的右侧---左右&#xff1a;先左单旋再右单旋4.4 新节点插…

电工能混到这份上

最近看到某电工师傅发了一篇帖子&#xff0c;大致内容是他在处理一个简单故障的时候居然花了很长的时间。我们一起来看看他遇到的是什么故障吧! plc 控制的一台设备&#xff0c;行走部分靠 2 个脚踏开关控制&#xff08;内部开关量控制方向&#xff0c;电位器控制速度&#xff…

微信小程序快速开发-基础内容(内容真的又多又干货)

目录 实现横向布局效果 实现滚动效果 实现轮播图效果 实现文本长按选中复制效果 渲染 HTML 标签 按钮组件的使用效果 图片组件的使用效果 Mustache 语法 动态绑定内容&#xff08;定义变量&#xff0c;渲染变量&#xff09; 动态绑定属性&#xff08;将属性定义为变量…