作者 | Agam Shah
出品 | 51CTO技术栈（微信号：blog51cto）
开发者需要AI PC吗？
目前，没有理由劝开发人员购买一台AI PC，利用其中新的AI处理器来编译本地AI模型。
——AI PC 仍存在多个问题：硬件能力不足，模型不可用，开发工具部署起来头疼。
我经过几个月的测试，试图在所谓的搭载Windows 11和专用AI处理器的AI PC上，离线运行本地LLM。这些笔记本包括搭载了英特尔和高通神经处理器的芯片，专为AI设计。
微软大肆宣传其AI PC支持轻量级AI模型，如Meta的Llama 2和微软的Phi Silica。
我尝试将这些模型加载到PC上的过程非常令人沮丧，每一步都不顺畅。首先是找到与高通和英特尔芯片中的神经处理器兼容的轻量级模型，然后是加载Jupyter笔记本和运行这些SLM所需的神经网络。
当我成功运行模型时，发现SLM并未使用专用的AI处理器，而是依赖于GPU或CPU。
1.PC厂商的人工智能炒作
微软在今年的Build大会上宣布了Copilot+ PC。首批Co-Pilot PC配备了硬件，可以在设备上运行推断，避免了云端操作。
Copilot PC有一些最低要求，包括至少45 TOPS的最低AI性能要求。第一批搭载高通骁龙芯片的AI PC满足了这一要求。
微软CEO萨蒂亚·纳德拉表示，公司已经准备了40多个模型，可以直接在Copilot+ PC上本地运行。其中之一是Phi Silica，一个38亿参数的SLM。
DirectML和ONNX运行时允许用户在Windows设备上运行Phi-3模型，但高通芯片发布时还没有准备好。高通通过AI开发中心提供了其支持的AI模型清单。
早期尝试加载Llama v2并不顺利，对我而言没有效果。我寻求了高通的帮助来加载模型，但没有明确的结果。
使用高通推荐的工具创建Jupyter笔记本令人困惑，我无法手动加载任何AI模型。高通建议下载ONNX运行时以利用NPUs，这也令人费解。
最近，LMStudio为高通芯片提供了其AI软件的版本。
我使用LMStudio加载了80亿参数的Llama v3.1模型，但它只使用了骁龙CPU，没有利用GPU或NPU。它每秒输出17.34个token，但仅几个查询后内存使用率就达到了87%。
目前还没有真正有意义的模型能够利用高通的NPUs，这些处理器与GPU一样，旨在加速AI。即使NPUs能够工作，Copilot PC的内存也不足以运行长时间的查询，而且电池寿命也会迅速耗尽。
微软正在为开发者提供工具，将AI能力集成到桌面应用程序中。对他们来说，加载Llama v3.1没有必要，因为他们已经在PC上有了Copilot功能。
微软的Phi Silica支持更多地是为开发者将大语言模型风格的查询能力引入Windows应用程序，通过Windows App SDK。
2.Meteor Lake的失败
去年底，英特尔推出了一个名为Meteor Lake的AI PC芯片，配备了神经处理单元。
现在，这个芯片成了一块摆设，购买了搭载该芯片的笔记本进行PC上AI的人被遗弃了。没有有用的应用程序，NPU仅用于基本的AI模型如TinyLlama。
可以肯定的是，英特尔的Meteor Lake芯片不符合微软AI PC的最低规格要求。英特尔声称Meteor Lake在AI性能上达到34 TOPS（每秒万亿次运算），低于Windows PC所需的40 TOPS。
Meteor Lake受到了差评。它比上一代笔记本芯片速度更慢，电池寿命没有改进。
发布Meteor Lake约六个月后，英特尔推出了下一代AI PC芯片Lunar Lake，这款芯片已经搭载在PC上，提供了120 TOPS的AI性能。
我尝试在Meteor Lake PC上手动运行本地AI模型。
加载神经网络以利用NPU涉及安装OpenVINO 2024.2，并按照OpenVINO网站上的说明操作。
安装提供了NPU插件，你期望在Jupyter笔记本上加载模型时运行。英特尔说我需要正确的NPU驱动程序和固件。
安装新的NPU驱动程序本身就是一个挑战，我必须在Windows的设备管理器设置中卸载旧驱动程序，然后检测新驱动程序。最后，我只能使用驱动程序搜索来更新驱动程序。
我从Jupyter笔记本中运行了TinyLlama等模型，运行得很顺利，但给出的答案很差。但与高通一样，它没有利用NPU。
少数模型如Stable Diffusion 1.4利用了NPU，但是它是直接在GIMP界面中进行的。
英特尔的AI软件开发主要集中在其服务器CPU上。
3.回到Nvidia
开发者应该依靠Nvidia在他们的PC上运行Jupyter笔记本以进行任何有意义的AI。
购买AI PC用于提高生产力，但不适合进行与AI相关的编码或试验。芯片制造商的NPUs对开发者不友好。问题从启动神经网络开始，每个芯片制造商都有自己的问题。但在设备上AI是一个新兴领域，为开发者提供了许多优化AI的机会，如通过量化来优化PC上的AI。
对于喜欢冒险的开发者，典型的Windows挑战将会出现——确保你有正确的驱动程序和开发工具包。高通和英特尔都有自己偏好的工具来编译和加载模型。
幸运的是，Windows命令行和PowerShell使命令行冒险变得有趣。
预期能够利用NPUs的AI功能将预先打包在应用程序中。英特尔正在与公司合作，利用NPUs。这与使软件与特定芯片架构兼容是一样的。
AI硬件正在迅速发展，英特尔正在大肆宣传其最新的Lunar Lake芯片。近期的评测称赞这款芯片具有出色的电池续航。但不要为了开发目的购买它——它没有足够的内存或带宽来本地运行语言模型。
