如果说今年边缘计算有什么新变化，那无疑是大模型的开源化，为规模化落地提供重要支撑。

在《2025边缘计算市场调研报告》的企业走访中发现，大模型一体机成为了今年炙手可热的明星产品，各大企业纷纷推出用于本地端的大模型一体机。

凭借强大的泛化能力与语义理解优势，大模型在众多领域展现出独特价值。例如在安防行业，它能够精准理解“可疑人员徘徊”等复杂语义，无需依赖大量人工标注样本。

然而，边缘设备自身存在的算力、存储及实时性等方面的限制，使得纯大模型部署困难重重，面临着算力成本高昂、实时性欠佳以及数据适配性差三大严峻挑战。

例如，一个7b参数的大模型在边缘端运行时，处理单路视频就需要数秒时间，难以满足多路并发处理的需求；在工业质检等对响应速度要求极高的场景中，大模型每秒仅能处理1帧的速度，远远无法达到毫秒级响应的标准；此外，边缘场景数据呈现碎片化特点，通用大模型的准确度仅为75%，需针对性优化。

小模型则凭借“小而精”的特性，在边缘端占据着传统优势，其训练数据量需求少、推理速度快（可达毫秒级）、硬件兼容性强。

但小模型也存在明显的短板，其语义理解能力相对薄弱，面对未训练过的复杂场景，如“识别戴安全帽且携带工具的工人”时往往束手无策；而且不同行业需求差异巨大，针对不同场景开发小模型需要重复投入，开发成本高达数十万级门槛。

业内的普遍共识是大小模型结合，小模型用于前置过滤，大模型进行深度理解，二者相辅相成，实现成本与效率的平衡。

例如，小模型先对视频流进行初筛，过滤99%的常规画面，大模型则补充小模型算法精度问题。以烟火检测为例，大模型可以将误报从15次降至1次，将95%的误报过滤掉。

对于无历史数据的新场景，如宠物行为识别，大模型可基于少量样本快速生成1.0版本算法，再通过小模型持续数据投喂提升精度，形成“0到1快速验证+1到100持续迭代”的闭环。

与过去传统方案动辄50万开发费及大量标注数据的投入相比，大小模型结合后，5万元即可启动项目，极大地降低了开发门槛；同时，小模型运行于低功耗边缘盒子，大模型部署于算力稍强的边缘服务器，避免“杀鸡用牛刀”的资源浪费。

以智慧交通应用场景为例，小模型实时抓拍车牌、车型，大模型分析“多车连续变道”、“行人横穿马路”等复杂事件，为交通调度提供决策支持。

但不容忽视的是，目前国产化芯片还无法支持大模型运行，企业需通过模型轻量化（如量化、剪枝）与异构计算（CPU+NPU协同）缓解；在实际应用中，大部分企业仍不得不选择英伟达芯片。

小结

边缘计算的智能化变革，绝非大模型对小模型的替代，而是二者在算力、成本、精度间寻找最优解的过程。对于企业而言，需以场景需求为导向，若追求极致实时性与成本控制，小模型仍是首选；若面临复杂语义理解与创新场景开拓，大模型则是破局关键。