在AI技术飞速发展的今天，大语言模型（LLM）的应用越来越广泛，但它们通常需要强大的计算资源才能运行。然而，一位硬核开发者Binh Pham却打破了这一常规，他成功地将大语言模型塞进了一个U盘大小的设备中，让8年前的树莓派Zero W也能变身“AI神器”，这无疑是给老旧设备带来了一次“逆天改命”的机会。

树莓派Zero W的挑战与突破

树莓派Zero W诞生于2017年，距今已有8年之久，其硬件配置相当有限：单核1GHz的CPU、512MB的内存，以及802.11n WiFi和蓝牙4.1。相比之下，如今的主流LLM大多依赖于ARMv8-A架构，并且通常需要GPU或NPU来加速推理计算。而树莓派Zero W使用的是ARMv6架构，这意味着它在硬件上并没有任何优势，甚至可以说是处于劣势。

但Binh Pham并没有因此放弃，他选择了llama.cpp作为推理引擎，这是一个开源框架，专门为资源受限的设备优化，能够在CPU上运行Meta Llama等大语言模型。然而，即使如此，在树莓派Zero W上运行llama.cpp依然面临诸多困难，最大的障碍就是架构不兼容。llama.cpp的代码优化仅针对ARMv8-A及以上架构，而树莓派Zero W的处理器不支持特定的Arm Neon指令集，这导致编译时出现错误。

面对这一难题，Binh Pham选择了硬核的解决方案——直接修改llama.cpp的源码，手动删除或调整所有不兼容ARMv6的部分。他逐行审查源码，替换或移除依赖于ARMv8架构的优化部分，调整数据处理逻辑以适配ARMv6指令集，并优化编译流程以避免树莓派Zero W有限的内存导致编译崩溃。经过数周的努力，他成功编写了一个适用于ARMv6的精简版llama.cpp，并将其命名为llama.zero。

LLMStick：即插即用的AI U盘

解决了架构兼容问题后，Binh Pham进一步优化了LLM的交互方式。他将树莓派Zero W运行在USB Gadget Mode（USB设备模式）下，使其能够被识别为一个USB存储设备，从而实现无缝交互。他将这个设备命名为LLMStick，使用起来非常简单：将LLMStick插入电脑的USB端口，它会显示为一个存储设备；用户在USB盘中创建一个文本文件，输入prompt（提示词）；LLMStick运行llama.zero进行推理计算，然后将生成的文本写回文件。这种设计让树莓派Zero W变成了一款便携式的即插即用AI USB设备，用户可以随时随地进行离线推理，无需复杂的软件界面。

性能表现：探索意义大于实用价值

尽管Binh Pham成功地在树莓派Zero W上运行了LLM，但其性能表现仍然存在局限性。在实际测试中，他使用了不同参数规模的LLM模型，并设定64 tokens为生成上限。测试结果显示，即使是参数规模最小的Tiny15M模型，每个token的生成时间也需要223ms；而参数规模较大的Lamini-T5-Flan-77M模型，每个token的生成时间长达2.5s；SmolLM2-136M模型的每个token生成时间更是达到了2.2s。这些数据表明，即使是最小的模型，其生成速度也难以满足实际应用需求，而规模较大的模型则几乎无法使用。

许多开发者对这个项目提出了疑问：为什么不直接使用树莓派Zero 2W呢？树莓派Zero 2W采用ARMv8架构，能够直接运行llama.cpp，无需大幅修改源码；其四核Cortex-A53的性能更强，能够运行更大的LLM并提升推理速度。然而，Binh Pham坚持使用树莓派Zero W，可能是为了增加挑战性，也可能是想向开发者证明，即使是8年前的老旧硬件，经过合理优化后也能运行LLM。

开源分享，激发更多可能性

目前，Binh Pham已经在GitHub上开源了llama.zero项目，并提供了完整的编译教程和如何将树莓派Zero W作为USB设备使用的指南。这一开源项目的分享，无疑为更多开发者提供了灵感和参考，激发了他们在资源受限的设备上探索LLM应用的可能性。

Binh Pham的这个项目虽然在性能上还有待提升，但它所展现出的创新精神和对老旧设备的“逆天改命”尝试，无疑是值得我们关注和学习的。它让我们看到了在有限的资源下，通过技术优化和创新思维，依然可以实现看似不可能的目标。或许在不久的将来，我们能够看到更多类似的项目出现，让更多的老旧设备重新焕发出新的活力，为AI技术的普及和应用开辟出更广阔的道路。