数字农科院2.0

基于参数高效微调的跨模态枸杞虫害识别模型D-PAG

文献类型： 中文期刊

作者： 邢嘉璐;刘建平;周国民;刘立波;王健

作者机构：

关键词： 枸杞;虫害识别;参数高效微调;大模型;CLIP

期刊名称：农业大数据学报

ISSN： 2096-6369

年卷期： 2024 年 6 卷 04 期

页码：

收录情况： 科技核心（2024版） ; ; 农林核心（2020版）

摘要： 随着多模态基础模型（大模型）的发展，如何高效地将其迁移到特定领域或任务中成为目前的热点、难点问题。该研究以多模态大模型CLIP为基础模型，使用参数高效微调方法 Prompt、Adapter将CLIP迁移到枸杞虫害识别任务中，提出了用于枸杞虫害识别的跨模态参数高效微调模型D-PAG。D-PAG模型首先在CLIP编码器的输入层或隐层中嵌入了可学习的Prompt与Adapter，用于训练，学习虫害特征；然后利用门控单元将Prompt、Adapter集成到CLIP编码器网络中，平衡两者对特征提取的影响大小，在Adapter中设计了GCS-Adapter注意力用以加强跨模态语义信息融合。为了验证方法的有效性，在枸杞虫害数据集和细粒度数据集IP102上进行了实验。验证实验结果表明，在枸杞数据集上仅用20%样本数量训练便可达到98.8%的准确率，使用40%样本数量训练准确率达到了99.5%；在IP102上验证，准确率达到75.6%，与ViT持平。该方案可在少样本条件下，通过引入极少额外参数，将多模态大模型基础知识高效迁移到特定虫害识别领域，为高效使用大模型解决农业图像处理问题提供了新的技术方案。

分类号：

  • 相关文献

[1]Transfer large models to crop pest recognition—A cross-modal unified framework for parameters efficient fine-tuning. Jianping Liu,Jialu Xing,Guomin Zhou,Jian Wang,Lulu Sun,Xi Chen. 2025

[2]作物表型智能识别与三维重建技术综述. 张建华,姚琼,周国民,吴雯迪,修晓杰,王健. 2024

[3]作物农艺性状与形态结构表型智能识别技术综述. 张建华,姚琼,周国民,吴雯迪,修晓杰,王健. 2024

[4]啶虫脒在枸杞中的残留动态分析. 周峰,于晶,李卫建,陈君,徐荣. 2009

[5]基于标准化种植模式下4GQB-3300枸杞采摘机设计与脱果试验. 赵映,肖宏儒,王新江,石志刚,梅松,丁文芹. 2019

[6]枸杞L-半乳糖酸内酯脱氢酶基因的克隆及表达分析. 乔枫,耿贵工,陈志. 2015

[7]青海省枸杞种植土壤重金属富集现状及潜在风险分析. 王奂仑,耿贵工,韩燕,孙小凤,崔明明. 2018

[8]宁南固原枸杞开花生物学特性. 罗术东,王彪,褚忠桥,吴杰,杨文寿,张俊丽. 2011

[9]中国枸杞种质资源主要形态学性状调查与聚类分析. 袁海静,安巍,李立会,曹有龙,刘伟华,董立国,李丁仁,王孝. 2013

[10]枸杞负泥虫的生物学特性及其防治措施. 徐林波,刘爱萍,王慧. 2007

[11]枸杞害虫及其天敌的种类和发生规律调查. 刘爱萍,徐林波,王慧. 2007

[12]不同提取溶剂系统对类胡萝卜素总含量的影响. 康保珊,赵文恩,焦凤云,张软爱. 2007

[13]枸杞抗坏血酸氧化酶基因的克隆与表达分析. 乔枫,耿贵工,谢惠春,曾阳,周连玉,陈志. 2016

[14]振动式枸杞采摘机理仿真分析与样机试验. 张最,肖宏儒,丁文芹,梅松. 2015

[15]吡虫啉在枸杞中的残留消解动态. 康萍芝,沈瑞清,张丽荣,潘家荣. 2005

[16]宁南固原枸杞开花生物学特性研究. 罗术东,王彪,褚忠桥,吴杰,杨文寿,张俊丽. 2012

[17]不同产地枸杞矿质元素指纹特征及判别分析. 张森燊,郭波莉,魏帅,魏益民. 2015

[18]宁夏枸杞蜜蜂授粉增产试验研究. 王彪,罗术东,褚忠桥. 2013

[19]枸杞线粒体DNA的提取. 刘建利,任贤,曹君迈,张利义,周云峰. 2008

[20]营养组分结合多元统计分析对不同产地秋果枸杞的鉴别. 陈兰珍,李熠. 2019

作者其他论文 更多>>