“百模大战”时代，专业人士这样提升战斗力 原创

最近几个月，“百模大战”这个词没少出现，你能看到各种大大小小的模型发布，有的选择从0到1完全自研这条路，但是从数据准备到模型开发和训练、调优，这是一条痛苦又漫长的路，所以有的人选择以开源模型为基础，再根据自己的需求量身定制，站在巨人的肩膀上。但是不论选择哪条路，都需要更高的算力基础，才足以支撑复杂的数据处理、模型训练和使用。

一些图库网站已经开始在网上售卖以这种方式生成的图片了，更有甚者还提供工具，基于图库已有的内容，让用户生成新的图片。当然，这背后需要庞大的技术支持，对于个人，我们就拿Stable Diffusion玩玩吧。

作为一种开源模型，Stable Diffusion拥有高度的灵活性，你可以把它部署到云端、服务器，也能装到自己的电脑上运行。但是云和数据中心这样的规格，一般的个人和中小企业还是比较难以负担的，所以出于成本和灵活性的考量，我们就选择工作站。

不过要是直接把Stable Diffusion拿过来用，效果会不大好，因为它是在LAION-5B的图片和标题对上训练完成的。LAION-5B是一个公开的数据集，数据都来自网络上抓去的公用数据，所以还需要额外的训练才能用，这里的训练指的是通过特定的垂类数据进行微调，让模型在通用的基础上获得特定的“能力”。

一般来说，微调会通过嵌入和超网络两种方式。嵌入，就是喂给它一些你自己的图像数据，让它更精确，这种操作也能让Stable Diffusion实现风格模仿；超网络，能够让模型实现艺术家风格的模仿。

其实这两种方法之外，还可以利用DreamBooth缓解Stable Diffusion无法生成特定个人图像的问题，就是更耗资源，需要足够高的配置才能实现，暂且放弃。

虽然说是微调，但还是需要一点时间和精力的，我有点等不及想先过把瘾，但又不想浪费昂贵的工作站资源，就先在自己的笔记本电脑上部署运行了一下，结果当然是不行。其实很多笔记本的配置根本达不到Stable Diffusion的最低要求，硬着头皮多试几次也会出现各种错误。尽管运行Stable Diffusion的硬件要求比训练要低一些，但至少也得是NVIDIA RTX的GPU才礼貌呀。

为了不让生成的图片看起来有各种毛病，具体来说，4GB以上的显存能够确保运行，6GB能够确保基本稳定，如果想达到比较好的效果，就需要12GB或以上的显存了，所以说，这样的配置已经是工作站级别的产品才能有的了。

戴尔的Precision 7960塔式工作站最高可以选择4张NVIDIA RTX A6000显卡，这相当于单张48GB的GPU内存，总共192GB的工作站系统GPU内存，如果从算力来看，每个GPU最多1457 TFLOP的算力，每个工作站总计算力为5828 TFLOPS。如果使用这样的配置，应用级的推理、微调完全够用，运行就更不用多说了，但预算实在有限，所以最终选择了Precision 5680移动工作站。

Precision 5680也是移动工作站里面较高端的一款，对于运行Stable Diffusion也是够用的，折腾完一系列的配置之后，简单试一下就能发现，基本的Stable Diffusion出图效果其实不太理想，但现在也有Stable Diffusion XL这个选择，顾名思义，就是Stable Diffusion的加强版，出图效果会更好，但是模型也相对更大一些，生成的时间会比较久，没有足够的显存，是很难带动的。

配合Stable Diffusion XL，用Precision 5680输入指令后，出一张图大约花费20秒左右的时间，生成的效果还是很不错的，而且生成图片的可调参数也比Midjourney这类在线服务丰富得多，一不小心就在上面玩一整天。不过这台工作站整体表现还是很给力的，主要是Precision工作站独有的RMT Pro技术和ECC内存校验能力，随时都能快速纠正错误，像这样长时间高负载运行一天下来，机器都不会出现任何明显的卡顿，死机就更不可能了，要是换成一般的电脑，根本想都不敢想。

其实如果设备达不到Stable Diffusion XL对硬件配置的最低要求，也可以选择用Stable Diffusion的Controlnet插件，它能根据你提供的草图，让Stable Diffusion丰富细节，缺点就是，这已经算是图生图了，但好处是比文生图的结果更可控一些，有设计功底的话，还是挺方便的。

搭配Controlnet插件使用基本的Stable Diffusion，在Precision 5680生成一张图的时间比之前稍短了一点，大约不到20秒，生成结果的完成度也是很高的。

相信第一次接触Stable Diffusion的人不在少数，但是很多人都觉得只要搞一台配置很高的电脑就可以了。但事实并不是这样的，相比传统个人电脑，工作站拥有更高的硬件配置，但更重要的是，模型需要设备长时间、高负载运行，更强的GPU只是及格线，它还需要足够的稳定性，才能真正应对这种长时间、高负载的运行。

除此之外，很多做设计还有数据科学的人应该了解，工作站的ISV认证是很重要的，Precision拥有完整的ISV认证，这相当于专业软件开发商事先帮你试过一遍机器，性能、稳定性、功能各个方面都要表现很好才能通过。对于一些数据科学、研发、设计所需的专业软件，使用 Precision这样具备完整ISV认证的产品，可以很好的避免兼容性问题，像是蓝屏、卡顿的情况是不会发生的。

对于模型训练这一块，其实一些比较舍得成本的企业会选择云服务和数据中心，其实也没什么不好，但是云服务基本都是租赁的模式，会随着时间的推移，投入的成本也变高，如果在这期间，你的需求发生改变，这恐怕又会是一大笔钱，尤其对于需要更多调试、迭代的早期阶段，选择云服务的试错压力是很大的。另一方面，云服务需要接入广域网，如果你的数据里面涉及一些敏感信息，那这种模式基本上就可以第一个排除了，首先你就得考虑本地部署的模式。

其实本地研发、部署模型已经被许多行业采用，像是在零售行业，语言模型也可以为顾客提供自动化与个性化的导购；在医疗行业，智能模型为医疗机构的智能设备和线上服务提供医疗问答、病历生成、文档理解等功能；在制造行业，模型可以帮助完成产品设计研发、质量控制检测等工作……

数据中心服务器也是一种本地部署模式，但是需要一定范围的本地网络连接才能调用，灵活性很低，而且如果机房设备性能不够，也需要额外的硬件设施成本投入，相比工作站，试错成本也是比较高的。

所以至少在模型研发部署的早期阶段，工作站是一种非常好的载体，不仅响应速度很快，灵活性也很强。而且戴尔Precision提供的选择还挺多的，不仅有塔式，还有机架和移动工作站，Precision移动工作站外形上跟一般笔记本几乎没什么差别，但是性能足够跑动Stable Diffusion这样的模型。

这相当于在你日常办公的设备里面放了一个设计小助手，不论给设计做图片的修整，还是给文字搭配合适的图片，都能快速完成，而且没有网络也能使用，这样的一次性投入还是很值得的。