智慧链接千里沃土,科技孕育万亩良田。 为应对智慧农业场景中大规模预训练模型面临的分布式部署与低延迟需求挑战,本文提出一种新型前额叶皮层启发的混合专家门控路由架构(Prefrontal Cortex-Inspired Mixture of Experts,PFC-MoE)。研究基于Deepseek V3的MoE架构突破,针对农业物联网特有的"训练-推理范式分离"特性(即训练阶段需承载海量农业知识参数,推理阶段要求分布式低算力部署),创新性地将神经科学领域的前额叶执行控制机制引入动态路由设计。 本文核心贡献包含三方面:(1)系统论证MoE架构相较于传统Transformer模型在农业大模型领域的应用优势,量化分析稀疏激活机制对农业知识表征效率的提升(提升约37%参数利用率);(2)借鉴前额叶皮层的工作记忆与任务调度机制,设计具备层级决策能力的动态路由网络,通过门控函数的多尺度特征融合实现专家选择的认知模拟;(3)提出面向边缘计算的双阶段路由优化策略,在保持95%以上模型精度的同时,将推理时延降低至传统方案的1/8。实验表明,该架构在农业病虫害诊断、产量预测等任务中展现出显著优于稠密模型的性能-效率平衡。
qingxuandaoming/PFC-MoE
Folders and files
| Name | Name | Last commit date | ||
|---|---|---|---|---|