2020年3月 农业机械学报 第51卷第3期 doi:10.6041/.issn.1000-1298.2020.03.001 植物表型平台与图像分析技术研究进展与展望 张慧春2周宏平郑加强葛玉峰李杨先 (1.南京林业大学机械电子工程学院,南京210037;2.内布拉斯加大学林肯分校生物系统工程学院,林肯NE68583) 摘要:近年来,植物基因组得到迅猛发展,但因缺乏足够的表型数据而限制了人类解析数量性状遗传学的能力。通 过开发植物表型信息采集平台和进行图像分析可以加以解决。高通量、自动化、高分辨率的植物表型信息采集平 台与分析技术对于加快植物改良和育种、提高产量和抗病虫害能力至关重要。将植物表型平台信息采集平台与分 析技术用于解析基因组信息,定量研究与生长、产量和适应生物或非生物胁迫相关的复杂性状,是建立植物生长模 型和采集农作物高维、丰富表型数据集的重要途径,能够满足填补基因组信息与植物表型可塑性之间空白的需要, 闸述了基于光学成像的植物表型信息采集平台与图像分析技术的研究进展,从室内、田间不同的使用环境出发,根 据不同搭载方式,总结分析了各表型平台的功能和特点。最后,分析了目前植物表型信息采集平台与分析技术存 在的瓶颈问題,提出了以下建议与展望:开发植物表型信息采集平台的多传感器集成系统;将植物生长环境监测模 块融入植物表型信息采集平台中;开发针对林木的表型信息采集平台;对传感器获取的表型数据进行更好的集成 与挖掘;采用无损原位根系信息采集技术得到植物地下部分的表型数据;构建表型数据统一开放的标准,进行学科 交叉的深度合作。 关键词:植物表型;表型平台;高通量;光学成像;图像采集;图像分析技术 中图分类号:TP391.41;TP212文献标识码:A文章编号:1000-1298(2020)03-0001-17 OSID Research Progress and Prospect in Plant Phenotyping Platform and Image analysis technology ZHANG Huichun ZHOU Hongping ZHENG Jiaqiang GE Yufeng LI Yangxian (1. College of Mechanical and Electronic Engineering, Nanjing Forestry Unirersity, Nanjing 210037, China 2. Biological Systems Engineering Department, University of Nebraska-Lincoln, Lincoln NE 68583, USA) Abstract: In recent years, the rapid development of plant genomes, but the lack of sufficient phenotypic data limits the ability of humans to analyze the genetics of quantitative traits. This problem can be effectively solved by developing a plant phenotypic monitoring platform. High-throughput, automated and high-resolution phenotyping platform is critical for accelerating crop improvement and breeding strategies for higher yield and disease tolerance. Plant phenotyping has been advancing at an accelerated rate as a response to the need to fill the gap between genomic information and the plasticity of the plant phenome Domestic and international efforts have been made to develop phenotyping facilities, and these devices are actively contributing to the generation of high-dimensional, richly informative datasets about the phenotype of model and crop plants. The plant phenotypic monitoring platform integrates multiple sensors for quantitative research on complex traits related to growth, yield, and adaptation to biotic or abiotic stresses such as plant height, leaf number and area, root morphology, biomass, and fruit characteristics The research progress of plant phenotypic monitoring technology and research status of platform at home and abroad was mainly introduced. The research progress of plant phenotypic information collection platform and technology was introduced, and the functions and characteristics of each were summarized and analyzed. Thus, various phenotypic platform based on indoor and field environments were presented together with applications of these platforms with different mounting modes. An overview of the most 攵稿日期:2019-09-23修回日期:2019-10-18 基金项目:国家自然科学基金项目(31371963)、江苏省六大人才高峰项目(NY-058)、江苏省青蓝工程项目(苏教201842)、江苏省333工 程项目(苏人20186)、福建省林木种苗科技攻关六期项目(20192021)和江苏高校优势学科建设工程项目 作者简介:张慧春(1978-),女,教授,博士,主要从事农林信息技术与装备、表型分析平台与技术研究,E-mail:;zhanghe@hotmail.com
书 2020年 3月 农 业 机 械 学 报 第 51卷 第 3期 doi:10.6041/j.issn.10001298.2020.03.001 植物表型平台与图像分析技术研究进展与展望 张慧春1,2 周宏平1 郑加强1 葛玉峰2 李杨先1 (1.南京林业大学机械电子工程学院,南京 210037;2.内布拉斯加大学林肯分校生物系统工程学院,林肯 NE68583) 摘要:近年来,植物基因组得到迅猛发展,但因缺乏足够的表型数据而限制了人类解析数量性状遗传学的能力。通 过开发植物表型信息采集平台和进行图像分析可以加以解决。高通量、自动化、高分辨率的植物表型信息采集平 台与分析技术对于加快植物改良和育种、提高产量和抗病虫害能力至关重要。将植物表型平台信息采集平台与分 析技术用于解析基因组信息,定量研究与生长、产量和适应生物或非生物胁迫相关的复杂性状,是建立植物生长模 型和采集农作物高维、丰富表型数据集的重要途径,能够满足填补基因组信息与植物表型可塑性之间空白的需要。 阐述了基于光学成像的植物表型信息采集平台与图像分析技术的研究进展,从室内、田间不同的使用环境出发,根 据不同搭载方式,总结分析了各表型平台的功能和特点。最后,分析了目前植物表型信息采集平台与分析技术存 在的瓶颈问题,提出了以下建议与展望:开发植物表型信息采集平台的多传感器集成系统;将植物生长环境监测模 块融入植物表型信息采集平台中;开发针对林木的表型信息采集平台;对传感器获取的表型数据进行更好的集成 与挖掘;采用无损原位根系信息采集技术得到植物地下部分的表型数据;构建表型数据统一开放的标准,进行学科 交叉的深度合作。 关键词:植物表型;表型平台;高通量;光学成像;图像采集;图像分析技术 中图分类号:TP39141;TP212 文献标识码:A 文章编号:10001298(2020)03000117 OSID: 收稿日期:2019 09 23 修回日期:2019 10 18 基金项目:国家自然科学基金项目(31371963)、江苏省六大人才高峰项目(NY 058)、江苏省青蓝工程项目(苏教 201842)、江苏省 333工 程项目(苏人 20186)、福建省林木种苗科技攻关六期项目(20192021)和江苏高校优势学科建设工程项目 作者简介:张慧春(1978—),女,教授,博士,主要从事农林信息技术与装备、表型分析平台与技术研究,Email:njzhanghc@hotmail.com ResearchProgressandProspectinPlantPhenotypingPlatform andImageAnalysisTechnology ZHANGHuichun1,2 ZHOUHongping1 ZHENGJiaqiang1 GEYufeng2 LIYangxian1 (1.CollegeofMechanicalandElectronicEngineering,NanjingForestryUniversity,Nanjing210037,China 2.BiologicalSystemsEngineeringDepartment,UniversityofNebraskaLincoln,LincolnNE68583,USA) Abstract:Inrecentyears,therapiddevelopmentofplantgenomes,butthelackofsufficientphenotypic datalimitstheabilityofhumanstoanalyzethegeneticsofquantitativetraits.Thisproblem canbe effectivelysolvedbydevelopingaplantphenotypicmonitoringplatform.Highthroughput,automatedand highresolutionphenotypingplatformiscriticalforacceleratingcropimprovementandbreedingstrategies forhigheryieldanddiseasetolerance.Plantphenotypinghasbeenadvancingatanacceleratedrateasa responsetotheneedtofillthegapbetweengenomicinformationandtheplasticityoftheplantphenome. Domesticandinternationaleffortshavebeenmadetodevelopphenotypingfacilities,andthesedevicesare activelycontributing to the generation ofhighdimensional, richly informative datasetsaboutthe phenotypeofmodelandcropplants.Theplantphenotypicmonitoringplatformintegratesmultiplesensors forquantitativeresearchoncomplextraitsrelatedtogrowth,yield,andadaptationtobioticorabiotic stressessuchasplantheight,leafnumberandarea,rootmorphology,biomass,andfruitcharacteristics. Theresearchprogressofplantphenotypicmonitoringtechnologyandresearchstatusofplatform athome andabroadwasmainlyintroduced.Theresearchprogressofplantphenotypicinformationcollection platformandtechnologywasintroduced,andthefunctionsandcharacteristicsofeachweresummarized andanalyzed.Thus,variousphenotypicplatformbasedonindoorandfieldenvironmentswerepresented togetherwithapplicationsoftheseplatformswithdifferentmountingmodes.Anoverview ofthemost
农业机械学报 2020 年 commonly used sensors that empower digital phenotyping and the information they provide were presented. Function and feature of each phenotype platform was also analyzed. Meanwhile, an in-depth nalysis of image processing with its major issues was given, and the algorithms that were used or emerged as useful to obtain data out of images in an automatic fashion. In this review, the current and emerging methods of image acquisition and processing that allow image-based phenomics were covered. The main bottlenecks that still remained in the field was concluded and the application prospect of plant phenotypic monitoring technology and platform were expected, which pointed out the following challenges developing plant phenotyping platform of multi-sensor integrated system, introducing plant growth environment monitoring module into plant phenotypic information collection platform, designing forest phenotypic information collection platform, conducting integration and mining phenotype data captured by sensors, collecting the phenotypic data of underground part by nondestructive in situ plant root measurement technology, building unified open standards for phenotypic data and prompting interdisciplinary cooperation Key words: plant phenotype; phenotyping platform; high-throughput; optical imaging; image acquisition; image analysis technique 0引言 生产领域的重大革新,通过这项技术,可以快速获取 植物的结构、形态、生长、光合作用等特征,客观准确 高通量测序技术的快速发展提供了经济和高效地得到各项表型数据,对生物体进行从宏观到微观 的基因组信息,极大地加速了对调控作物重要性状的系统展示,监测作物生长状况,从而有利于培育出 基因的挖掘。然而,由于植物表型的复杂性、受环境更优良的品种,为调控作物生长环境提供可靠依据 影响多变及全程动态变化等特性,表型研究严重滞也为农作物优质丰产研究提供新的方法。 后于基因型研究,造成植物信息之间无法互联互通, 本文从应用环境的室内和田间角度,汇总当前 也使海量的基因数据的科研价值降低。只有将国内外的各种类型表型平台,分析其原理构成、获取 大量可用的基因型信息与表型性状相匹配,架设起的表型参数和优势特点,阐述面向植物表型信息采 数据之间沟通的桥梁,才能充分挖掘基因组、转录组集的图像采集技术和图像数据分析算法,对采集植 和蛋白质组等组学信息,揭示特征多样性随时间变物表型图像的分析和处理方法、流程加以总结,对根 化的趋势。基于光学成像的表型采集平台和图像分据提取的性状参数进行作物产量预测制定相应的栽 析技术是当前植物表型测定的主要瓶颈,由于受限培管理措施等智能决策应用进行分析,并对未来植物 于平台与技术,缺乏足够数量与精度的表型数据,限表型信息采集技术和平台的发展进行展望。 制了解析植物生长速率、产量和适应压力相关基因 的能力。表型采集与分析技术结合基因组信息,可1植物表型信息采集平台研究进展 培育出更高产、更优质、更耐胁迫的作物,从而大大 传统的植物表型信息采集方法存在样本量小 提高育种改良效率2。 (测量性状少)、效率低(多为人工测量)、误差大(主 作物收获的是表型,而不是基因型。表型是指观性严重)、适应性差(多针对单一植物)等缺 受基因和环境决定或影响的复杂植物性状,包括生点,无法适应大批量、快速、准确、无损的表型测 长、发育、耐性、抗性、生理、结构、产量等3。可测量要求,已成为制约植物生物学研究的重要因 量参数包括植物高度、叶形态(如叶片长度、叶片宽素[。随着科研需求的增长及成像传感器技术的 度、叶片数量、叶面积、叶面倾角、叶空间分布发展,进行高通量、高效率、高精度、低误差、低成本 等)-3、根形态(如根长度、根的数量等)、生物的自动表型信息采集已成为可能。成像传感器监测 量(指某一时刻单位面积内实存生活的有机物质总的数据具有客观性,且可以对植物进行实时监测与 量)(7、果实特征(如果实大小、果实形状、果实颜色分析,因此自动表型信息采集技术开始广泛用于植 等)及生物胁迫(包括病害、虫害、杂草危害等)与物表型信息采集平台13-1。植物表型信息采集平 非生物胁迫(包括干旱、盐碱、洪涝等)90 台的应用需要以下条件:高分辨率的成像传感器;能 早在DNA和分子标记被发现之前,人们就已经进行数据自动采集的高精度环境传感器;有利于进 根据表型对品种进行选择、确定和改良,依靠肉眼观行计算机视觉、机器学习等处理的优质数据;数据管 察进行表型评估,将田间小块作物的长势、倒伏和衰理和分析技术6-m。 老等作为判断依据。植物表型信息采集技术是农业 随着现代化、智能化农业装备的发展,学者们希
commonlyused sensorsthatempowerdigitalphenotyping and the information they provide were presented.Functionandfeatureofeachphenotypeplatform wasalsoanalyzed.Meanwhile,anindepth analysisofimageprocessingwithitsmajorissueswasgiven,andthealgorithmsthatwereusedoremerged asusefultoobtaindataoutofimagesinanautomaticfashion.Inthisreview,thecurrentandemerging methodsofimageacquisitionandprocessingthatallowimagebasedphenomicswerecovered.Themain bottlenecksthatstillremainedinthefieldwasconcludedandtheapplicationprospectofplantphenotypic monitoringtechnology and platform were expected, which pointed outthe following challenges: developing plantphenotyping platform ofmultisensorintegrated system, introducing plantgrowth environmentmonitoringmoduleintoplantphenotypicinformationcollectionplatform,designingforest phenotypicinformationcollectionplatform,conductingintegrationandminingphenotypedatacapturedby sensors,collecting the phenotypic data ofunderground partby nondestructive in situ plantroot measurementtechnology, building unified open standards for phenotypic data and prompting interdisciplinarycooperation. Key words: plantphenotype; phenotyping platform; highthroughput; opticalimaging; image acquisition;imageanalysistechnique 0 引言 高通量测序技术的快速发展提供了经济和高效 的基因组信息,极大地加速了对调控作物重要性状 基因的挖掘。然而,由于植物表型的复杂性、受环境 影响多变及全程动态变化等特性,表型研究严重滞 后于基因型研究,造成植物信息之间无法互联互通, 也使海量的基因数据的科研价值降低[1] 。只有将 大量可用的基因型信息与表型性状相匹配,架设起 数据之间沟通的桥梁,才能充分挖掘基因组、转录组 和蛋白质组等组学信息,揭示特征多样性随时间变 化的趋势。基于光学成像的表型采集平台和图像分 析技术是当前植物表型测定的主要瓶颈,由于受限 于平台与技术,缺乏足够数量与精度的表型数据,限 制了解析植物生长速率、产量和适应压力相关基因 的能力。表型采集与分析技术结合基因组信息,可 培育出更高产、更优质、更耐胁迫的作物,从而大大 提高育种改良效率[2] 。 作物收获的是表型,而不是基因型。表型是指 受基因和环境决定或影响的复杂植物性状,包括生 长、发育、耐性、抗性、生理、结构、产量等[3] 。可测 量参数包括植物高度、叶形态(如叶片长度、叶片宽 度、叶 片 数 量、叶 面 积、叶 面 倾 角、叶 空 间 分 布 等)[4-5] 、根形态(如根长度、根的数量等)[6] 、生物 量(指某一时刻单位面积内实存生活的有机物质总 量)[7] 、果实特征(如果实大小、果实形状、果实颜色 等)及生物胁迫(包括病害、虫害、杂草危害等)[8] 与 非生物胁迫(包括干旱、盐碱、洪涝等)[9-10] 等。 早在 DNA和分子标记被发现之前,人们就已经 根据表型对品种进行选择、确定和改良,依靠肉眼观 察进行表型评估,将田间小块作物的长势、倒伏和衰 老等作为判断依据。植物表型信息采集技术是农业 生产领域的重大革新,通过这项技术,可以快速获取 植物的结构、形态、生长、光合作用等特征,客观准确 地得到各项表型数据,对生物体进行从宏观到微观 的系统展示,监测作物生长状况,从而有利于培育出 更优良的品种,为调控作物生长环境提供可靠依据, 也为农作物优质丰产研究提供新的方法。 本文从应用环境的室内和田间角度,汇总当前 国内外的各种类型表型平台,分析其原理构成、获取 的表型参数和优势特点,阐述面向植物表型信息采 集的图像采集技术和图像数据分析算法,对采集植 物表型图像的分析和处理方法、流程加以总结,对根 据提取的性状参数进行作物产量预测、制定相应的栽 培管理措施等智能决策应用进行分析,并对未来植物 表型信息采集技术和平台的发展进行展望。 1 植物表型信息采集平台研究进展 传统的植物表型信息采集方法存在样本量小 (测量性状少)、效率低(多为人工测量)、误差大(主 观性 严 重 )、适 应 性 差 (多 针 对 单 一 植 物 )等 缺 点[11] ,无法适应大批量、快速、准确、无损的表型测 量 要 求,已 成 为 制 约 植 物 生 物 学 研 究 的 重 要 因 素[12] 。随着科研需求的增长及成像传感器技术的 发展,进行高通量、高效率、高精度、低误差、低成本 的自动表型信息采集已成为可能。成像传感器监测 的数据具有客观性,且可以对植物进行实时监测与 分析,因此自动表型信息采集技术开始广泛用于植 物表型信息采集平台[13-15] 。植物表型信息采集平 台的应用需要以下条件:高分辨率的成像传感器;能 进行数据自动采集的高精度环境传感器;有利于进 行计算机视觉、机器学习等处理的优质数据;数据管 理和分析技术[16-20] 。 随着现代化、智能化农业装备的发展,学者们希 2 农 业 机 械 学 报 2020年
第3期 张慧春等:植物表型平台与图像分析技术研究进展与展望 望在大批量植株中挖掘物种功能多样性、比较品种荷耦合器件( Charge coupled device,CCD)相机、近红 性能及植株对环境的响应,以获取表型性状之间的外仪( Near infrared,NR)、红外仪( Infrared,IR)、热 关联,基因、环境与表型之间的关系等,高通量植物成像仪、光谱成像仪、荧光成像仪等对室内、田间的 表型信息采集平台应运而生1-2。高通量(HTTP)植物进行监测,从而在短时间内获取较多的表型参 指的是与人工表型分析相比,能够测量更多样品和/数。由于植物表型信息采集技术在农业领域存 或更多数据点,不仅在单位时间内采样数量高,同时在巨大潜力,各国的科研机构与企业都在积极开发 数据处理和参数获取的同步性和高效性也与硬件平构建高通量植物表型信息采集平台0。 台扫描源数据相匹配。高通量表型依赖于快速输 植物表型采集平台按照搭载方式可分为台式 送、自动化传感、数据采集、数据分析方法和技术装传送带式、车载式、自走式、门架式、悬索式以及无人 备,通过在平台(包括拖拉机、机器人、无人机、固定机式植物表型平台,表1列举对比了部分表型信息 轨道、传送带、悬索缆架等)搭载多种传感器,如电采集平台性能。 表1植物表型信息采集平台性能对比 Tab 1 Performance comparison of plant phenotyping platf orm 表型平台 研发单位 平台类型使用环境 功能优势 实际应用 作物表型参数全自动、无损、高通量 华中农业大学和传送带式高通 011年已由华中农业大学和 HRPE 室内提取,以及植物栽培输送全自动 华中科技大学 量表型平台 体化 华中科技大学使用2-21 北京数字绿土科技无人机植物表 视野广阔,日测2km2,累计工作时2012年开始应用于农林业表 LiAr 有限公司 型平台 长超8000h 型领域 荷兰 Pheno Spex公门架式植物表田间、不受环境影响,效率达5000株/h,2018年应用于南京农业大学 Fieldsman 司 型平台 室内每天可重复测量 搭建的田间表型平台 中国科学院植物研 rop 3D 台式表型平台室内 集成激光雷达、相机、多光谱和热成2014年开始应用于中国科学 像仪4种传感器 院植物研究所[ 美国内布拉斯加大悬索式高通量 覆盖4000m2的田间,悬索平台上2017年在内布拉斯加大学林 Spidercam 田间搭载有可见RGB、近红外线、激光雷肯分校的试验田间已经使 学林肯分校 表型平台 达和多光谱等多个摄像头和传感器用 在生长箱内可控条件下,记录微气 法国农业科学研究 台式表型平台室内 象条件,配备垂直和水平架设的两2006年在法国农业科学研究 架RGB摄像机、红外摄像机和荧光院的生长箱内已经使用2 摄像机,并能进行自动浇水 德国 Lemnatec公台式高通量表 在生长箱中配备了一个机械臂,可 017年在美国阿肯色州立大 Scanalyzer H T S 室内以容纳3个高分辨率的相机,在可 型平台 学的生长箱使用3 见光、荧光和近红外光谱上成像 美国爱荷华州立大自走式表型平 多个立体摄像头同步触发,多组立 014年在美国爱荷华州立大 PhenotypingRobe 田间体镜头叠加确保对高大作物的表型 分析 学的试验田间使用 美国乔治亚大学 车载式植物表田同高通量 可基于现有机器搭载,成本较低,较2017年在美国乔治亚大学的 型平台 棉田中使用[31 澳大利亚联邦科学无人机植物表 Helipod 田间搭载热成像仪和RGB相机,获取冠在澳大利亚堪培拉州进行高强 与工业研究组织型平台 层温度和RGB图像 度表型实验 荷兰 Phenol ation传送带式表型田间、实时测量光和效率,估算植物叶片在荷兰瓦赫宁根大学试验田中 平台 温室对土壤覆盖度 进行实验 超高通量,每天数万盆植物,不受恶为 Crop Design、英美烟草等110 WPScan 荷兰WPS公司传送带式表型 平台 劣温室环境限制,效率高 多家大型园艺公司建造的平台 德 hoFer传送带式植物 直径200μm以上根系的高通 TuberCt 室内断层扫描,扫描后完成3D重建 表型平台 量CT扫描 德国生物与地球科传送带式植物 可测量植物的根长度,以及主根与利用高分辨率相机采集种植在 室内 分支的侧根角度 琼脂培养皿中植株的根图像 DroughtSpotter 荷兰 Pheno Spex公传送带式植物 室内精确灌溉功能,评估植物的蒸腾动2015年在阿德莱德大学进行 干旱胁迫实验
望在大批量植株中挖掘物种功能多样性、比较品种 性能及植株对环境的响应,以获取表型性状之间的 关联,基因、环境与表型之间的关系等,高通量植物 表型信息采集平台应运而生[21-24] 。高通量(HTTP) 指的是与人工表型分析相比,能够测量更多样品和 / 或更多数据点,不仅在单位时间内采样数量高,同时 数据处理和参数获取的同步性和高效性也与硬件平 台扫描源数据相匹配。高通量表型依赖于快速输 送、自动化传感、数据采集、数据分析方法和技术装 备,通过在平台(包括拖拉机、机器人、无人机、固定 轨道、传送带、悬索缆架等)搭载多种传感器,如电 荷耦合器件(Chargecoupleddevice,CCD)相机、近红 外仪(Nearinfrared,NIR)、红外仪(Infrared,IR)、热 成像仪、光谱成像仪、荧光成像仪等对室内、田间的 植物进行监测,从而在短时间内获取较多的表型参 数[25] 。由于植物表型信息采集技术在农业领域存 在巨大潜力,各国的科研机构与企业都在积极开发 构建高通量植物表型信息采集平台[26] 。 植物表型采集平台按照搭载方式可分为台式、 传送带式、车载式、自走式、门架式、悬索式以及无人 机式植物表型平台,表 1列举对比了部分表型信息 采集平台性能。 表 1 植物表型信息采集平台性能对比 Tab.1 Performancecomparisonofplantphenotypingplatform 表型平台 研发单位 平台类型 使用环境 功能优势 实际应用 HRPF 华 中 农 业 大 学 和 华中科技大学 传送带式高通 量表型平台 室内 作物表型参数全自动、无损、高通量 提取,以及植物栽培输送全自动一 体化 2011年已 由 华 中 农 业 大 学 和 华中科技大学使用[27-29] LiAir 北京数字绿土科技 有限公司 无人机植物表 型平台 田间 视野广阔,日测 2km2,累计工作时 长超 8000h 2012年开 始 应 用 于 农 林 业 表 型领域 FieldScan 荷兰 PhenoSpex公 司 门架式植物表 型平台 田间、 室内 不受环境影响,效率达 5000株 /h, 每天可重复测量 2018年应 用 于 南 京 农 业 大 学 搭建的田间表型平台 Crop3D 中国科学院植物研 究所 台式表型平台 室内 集成激光雷达、相机、多光谱和热成 像仪 4种传感器 2014年开 始 应 用 于 中 国 科 学 院植物研究所[30] Spidercam 美国内布拉斯加大 学林肯分校 悬索式高通量 表型平台 田间 覆盖 4000m2 的田间,悬索平台上 搭载有可见 RGB、近红外线、激光雷 达和多光谱等多个摄像头和传感器 2017年在 内 布 拉 斯 加 大 学 林 肯 分 校 的 试 验 田 间 已 经 使 用[31] Ppes 法国农业科学研究 院 台式表型平台 室内 在生长箱内可控条件下,记录微气 象条件,配备垂直和水平架设的两 架 RGB摄像机、红外摄像机和荧光 摄像机,并能进行自动浇水 2006年在 法 国 农 业 科 学 研 究 院的生长箱内已经使用[32] ScanalyzerHTS 德 国 LemnaTec公 司 台式高通量表 型平台 室内 在生长箱中配备了一个机械臂,可 以容纳 3个高分辨率的相机,在可 见光、荧光和近红外光谱上成像 2017年在 美 国 阿 肯 色 州 立 大 学的生长箱使用[33] PhenotypingRobot 美国爱荷华州立大 学 自走式表型平 台 田间 多个立体摄像头同步触发,多组立 体镜头叠加确保对高大作物的表型 分析 2014年在 美 国 爱 荷 华 州 立 大 学的试验田间使用 GPhenoVision 美国乔治亚大学 车载式植物表 型平台 田间 可基于现有机器搭载,成本较低,较 高通量 2017年在 美 国 乔 治 亚 大 学 的 棉田中使用[34] Helipod 澳大利亚联邦科学 与工业研究组织 无人机植物表 型平台 田间 搭载热成像仪和 RGB相机,获取冠 层温度和 RGB图像 在澳大利亚堪培拉州进行高强 度表型实验 CropObserver 荷 兰 PhenoVation 公司 传送带式表型 平台 田间、 温室 实时测量光和效率,估算植物叶片 对土壤覆盖度 在荷兰瓦赫宁根大学试验田中 进行实验 WPScan 荷兰 WPS公司 传送带式表型 平台 室内 超高通量,每天数万盆植物,不受恶 劣温室环境限制,效率高 为 CropDesign、英美烟草等 110 多家大型园艺公司建造的平台 TuberCT 德 国 FraunhoFer EZRT 传送带式植物 表型平台 室内 断层扫描,扫描后完成 3D重建 直径 200μm以上根系的高通 量 CT扫描 GrowScreenAgar 德国生物与地球科 学研究所 传送带式植物 表型平台 室内 可测量植物的根长度,以及主根与 分支的侧根角度 利用高分辨率相机采集种植在 琼脂培养皿中植株的根图像 DroughtSpotter 荷兰 PhenoSpex公 司 传送带式植物 表型平台 室内 精确灌溉功能,评估植物的蒸腾动 态 2015年在 阿 德 莱 德 大 学 进 行 干旱胁迫实验[35] 第 3期 张慧春 等:植物表型平台与图像分析技术研究进展与展望 3
农业机械学报 2020 年 植物表型信息采集平台按照使用环境分为温室境胁迫的表型响应、萌发试验或生态毒理测试效果 植物表型平台和田间植物表型平台。室内容易控制较好 气象环境,包括气候箱、生长室、温室等,方便开展不 同水分、光照、养分、温湿度等对植物的影响以及植 物对生物和非生物胁迫反应的研究-,实验可重 复性好,有助于完成基因定位和机理分析。 1.1面向温室的植物表型平台 1.1.1台式植物表型平台 台式植物表型平台是一种专门针对小型植物、 小批量采样的系统,通常以气候生长箱为依托,用于 实验室中。可选择可见光、近红外、红外或荧光成像 图2 Lemnatec的台式扫描分析表型信息采集系统 摄像头中的一种或多种,一般采用摄像头固定、植物 Fig 2 Lab seanning analysis phenotype measurement 运动的方式进行成像。由于没有传送装置,只能间 system by LemnaTec 接进行植物运动测量(必须手工更换样品)。图1 中国科学院联合其它机构研发了高通量植物监 为荷兰的台式多光谱植物表型信息采集平台测平台—Cmp3D(图3),该平台以激光雷达 Plant monitor.。该平台包括一个可见光相机和一个荧为主,并集成高分辨率相机、热成像仪、高光谱成像 光相机,通过可见光相机可获取植物在R.G、B(红、仪等传感器。Cmp3D高通量植物监测平台对田间 绿蓝)通道下的图像,这些图像可独立使用,也可或温室作物的各生长时期进行多源数据获取,结合 以自动合成高分辨率的可见光图像用于分析。荧光自主开发的软件,可提取株高、株幅、叶长、叶宽、叶 相机可用于叶绿素荧光成像,由于除植物之外包括倾角和叶面积等表型参数。 花盆、土壤等在内的其他部分都不含有叶绿素,因此 叶绿素荧光成像直接去除了花盆、土壤等背景噪声, 达到图像分割的目的。此外,对于拟南芥等冠层平 展的小型植物,可以自动进行叶片计数。 图3高通量植物监测平台Crop3D Fig 3 Crop 3D platform for 3D high-throughput 美国阿拉斯加大学台式表型信息采集系统主要 图1台式多光谱植物表型信息采集系统 Plant Monitor 针对小型植物,如图4所示,能自动进行高通量 Fig 1 Benchtop multispectral plant phenotype 测试。该生长箱除了可以精确控制温度、湿度、光照 measurement system PlantMonitor 强度外,还在轨道上安装了可见光相机、荧光成像仪 matEd的台式扫描分析表型信息采集平台和近红外成像仪来定时采集植物图像。需要手动检 是一种多功能成像分析系统(图2),它专为低成本查托盘的目标质量,用水分测量仪来测试土壤水分 的植物表型分析和小型生物的表型参数提取而设数据。当叶片足够大时,还可测定植物的光合作用 计。在平台中,一个RGB传感器安装在顶部,下效率。 方有光源,底部也有可用照明。样品需经手工装载,1.1.2传送带式植物表型平台 该平台主要用于花盆植物、小托盘里的植物、培养皿 传送带式植物表型平台是在温室内将各类成像 中的植物(如种子、叶盘)、烧杯中的植物(如浮萍)、装置和传感器固定,盆栽植物装在与牵引件连结在 植物的部分片段(如树叶、水果)等样品的表型信息起的承载构件内,或直接装在输送带上,利用工作 采集。测量的参数包括尺寸、颜色等信息,这种台式构件的旋转运动或往复运动,使盆栽植物向前输送, 扫描分析表型信息采集系统对表型参数测试准确性运动到有成像装置的暗箱或传感器处,进行表型数 高、可重复性强,对于研究植物生长过程中植物对环据的采集,采集完成后继续移动,形成闭合环路
植物表型信息采集平台按照使用环境分为温室 植物表型平台和田间植物表型平台。室内容易控制 气象环境,包括气候箱、生长室、温室等,方便开展不 同水分、光照、养分、温湿度等对植物的影响以及植 物对生物和非生物胁迫反应的研究[36-37] ,实验可重 复性好,有助于完成基因定位和机理分析。 11 面向温室的植物表型平台 111 台式植物表型平台 台式植物表型平台是一种专门针对小型植物、 小批量采样的系统,通常以气候生长箱为依托,用于 实验室中。可选择可见光、近红外、红外或荧光成像 摄像头中的一种或多种,一般采用摄像头固定、植物 运动的方式进行成像。由于没有传送装置,只能间 接进行植物运动测量 (必须手工更换样品)。图 1 为 荷 兰 的 台 式 多 光 谱 植 物 表 型 信 息 采 集 平 台 PlantMonitor。该平台包括一个可见光相机和一个荧 光相机,通过可见光相机可获取植物在 R、G、B(红、 绿、蓝)通道下的图像,这些图像可独立使用,也可 以自动合成高分辨率的可见光图像用于分析。荧光 相机可用于叶绿素荧光成像,由于除植物之外包括 花盆、土壤等在内的其他部分都不含有叶绿素,因此 叶绿素荧光成像直接去除了花盆、土壤等背景噪声, 达到图像分割的目的。此外,对于拟南芥等冠层平 展的小型植物,可以自动进行叶片计数。 图 1 台式多光谱植物表型信息采集系统 PlantMonitor Fig.1 Benchtopmultispectralplantphenotype measurementsystemPlantMonitor LemnaTec的台式扫描分析表型信息采集平台 是一种多功能成像分析系统(图 2),它专为低成本 的植物表型分析和小型生物的表型参数提取而设 计[38] 。在平台中,一个 RGB传感器安装在顶部,下 方有光源,底部也有可用照明。样品需经手工装载, 该平台主要用于花盆植物、小托盘里的植物、培养皿 中的植物(如种子、叶盘)、烧杯中的植物(如浮萍)、 植物的部分片段(如树叶、水果)等样品的表型信息 采集。测量的参数包括尺寸、颜色等信息,这种台式 扫描分析表型信息采集系统对表型参数测试准确性 高、可重复性强,对于研究植物生长过程中植物对环 境胁迫的表型响应、萌发试验或生态毒理测试效果 较好。 图 2 LemnaTec的台式扫描分析表型信息采集系统 Fig.2 Labscanninganalysisphenotypemeasurement systembyLemnaTec 中国科学院联合其它机构研发了高通量植物监 测平台———Crop3D[39](图 3),该平台以激光雷达 为主,并集成高分辨率相机、热成像仪、高光谱成像 仪等传感器。Crop3D高通量植物监测平台对田间 或温室作物的各生长时期进行多源数据获取,结合 自主开发的软件,可提取株高、株幅、叶长、叶宽、叶 倾角和叶面积等表型参数。 图 3 高通量植物监测平台 Crop3D Fig.3 Crop3Dplatformfor3Dhighthroughput cropphenotyping 美国阿拉斯加大学台式表型信息采集系统主要 针对小型植物,如图 4所示[40] ,能自动进行高通量 测试。该生长箱除了可以精确控制温度、湿度、光照 强度外,还在轨道上安装了可见光相机、荧光成像仪 和近红外成像仪来定时采集植物图像。需要手动检 查托盘的目标质量,用水分测量仪来测试土壤水分 数据。当叶片足够大时,还可测定植物的光合作用 效率。 112 传送带式植物表型平台 传送带式植物表型平台是在温室内将各类成像 装置和传感器固定,盆栽植物装在与牵引件连结在 一起的承载构件内,或直接装在输送带上,利用工作 构件的旋转运动或往复运动,使盆栽植物向前输送, 运动到有成像装置的暗箱或传感器处,进行表型数 据的采集,采集完成后继续移动,形成闭合环路。 4 农 业 机 械 学 报 2020年
第3期 张慧春等:植物表型平台与图像分析技术研究进展与展望 m 图6内布拉斯加大学的传送带式温室高通量 图4针对小型植物的自动高通量台式表型信息采集系统 植物扫描成像暗室表型平台 Fig 4 Automated high-throughput phenotyping system Fig 6 Chamber high-throughput phenoty ping platform r small plants for greenhouse in UNL A.可见光相机B.荧光成像仪 外成像仪 型平台从近端到远距离精确、连续采集单个叶片或 图5为荷兰WPS公司的温室植物表型平台,该 植物器官、单株植物、小地块和整个农场,主要包括 平台通过传送带将植物传送到指定成像模块,并依 次对植物进行成像。对成像后的植物进行参数提车载式、自走式门架式、悬索式以及无人机、航空遥 感和光谱卫星成像等几种类型(图7)4。 取,从而获取植物生长状况。由于所有植物都采用 条形码进行标记,其各个生长阶段的所有表型数据 都可定期、自动进行监测,适用于盆栽、小型作物。 荷兰 Ovata应用这种温室高通量植物表型平台实现 了多肉植物从播种、灌溉、施肥到清洗苗床等过程的 全自动作业。 车载式自走式 门架式悬索式无人机航空光谱 遥感卫星 图7面向田间的植物表型平台 Fig. 7 Phenoty ping platform used in field 1.2.1车载式植物表型平台 车载式植物表型平台主要是指由拖拉机等 进行驱动{-4,按照植物种类和生长状况布置传感 器,并搭载其他配件(如电力设备、数据存储器等) 的平台。这种平台旨在降低成本、减少人力和提高 图5WPS公司的传送带式温室植物表型平台 工作效率。这类平台可以在GPS、陀螺仪等配合下 Fig 5 WPS greenhouse phenotyping platform 实现自动导航。由于田间土壤分布异质化等特点, 美国内布拉斯加大学林肯分校建立了传送带式车载系统在行进过程中不可避免地存在颠簸和抖 温室高通量植物表型平台(图6),可实现对最高动。同时,它对作物生长有较大的机械影响,常引起 4m的玉米、高粱等高大作物的表型信息提取,传送土壤压实,从而对植物造成损害,且由于机身高度有 带输送系统将植物自动送人RGB、近红外、热成像、限,主要适用于小麦、棉花等低矮作物,并受到行株 稳态荧光、高光谱等5个独立的成像暗室,采集植物距和植物空间限制。除了田间土壤条件可能限制操 的形态结构参数和生理生化参数,以此来分析植物作外,许多地面车辆需要人工操作,无法快速通过试 生长、水分利用、生物量等表型信息。 验田,也限制了该方法的高通量表型分析能力。在 1.2面向田间的植物表型平台 特定的气候时期,潮湿的土壤条件可能是一个限制 温室中的植物表型信息与田间的植物表型信息因素。如对于冬季作物来说,只要土壤没有冻结,车 相关性有限,不能代替田间表型研究。田间环境可载式表型平台就无法顺利下地,因此阻碍了表型信 以研究植物在自然条件下的性状,气象环境真实,土息的采集。 壤不受限于盆,且环境开阔,有利于高通量植物表型 爱荷华州立大学开发了搭载在约翰迪尔1026R 的研究,方便全球定位系统(GPS)、地理信息系统等型小型拖拉机上的植物表型平台,如图8所示(。该 技术的融合使用,空间解析度好,有助于发现野外自系统除了拥有多个进行植物表型数据采集的GRAS 然条件对于生物变异和生物多样性的影响,研究成20s4C-C型深度相机外,还配备了 Topcon350型自 果也可直接应用于生产实践中。面向田间的植物表动导航系统和AGⅠ-4型接收器/转向控制器,实现
图 4 针对小型植物的自动高通量台式表型信息采集系统 Fig.4 Automatedhighthroughputphenotypingsystem forsmallplants A.可见光相机 B.荧光成像仪 C.近红外成像仪 图 5为荷兰 WPS公司的温室植物表型平台,该 平台通过传送带将植物传送到指定成像模块,并依 次对植物进行成像。对成像后的植物进行参数提 取,从而获取植物生长状况。由于所有植物都采用 条形码进行标记,其各个生长阶段的所有表型数据 都可定期、自动进行监测,适用于盆栽、小型作物。 荷兰 Ovata应用这种温室高通量植物表型平台实现 了多肉植物从播种、灌溉、施肥到清洗苗床等过程的 全自动作业。 图 5 WPS公司的传送带式温室植物表型平台 Fig.5 WPSgreenhousephenotypingplatform 美国内布拉斯加大学林肯分校建立了传送带式 温室高通量植物表型平台(图 6)[41] ,可实现对最高 4m的玉米、高粱等高大作物的表型信息提取,传送 带输送系统将植物自动送入 RGB、近红外、热成像、 稳态荧光、高光谱等 5个独立的成像暗室,采集植物 的形态结构参数和生理生化参数,以此来分析植物 生长、水分利用、生物量等表型信息。 12 面向田间的植物表型平台 温室中的植物表型信息与田间的植物表型信息 相关性有限,不能代替田间表型研究。田间环境可 以研究植物在自然条件下的性状,气象环境真实,土 壤不受限于盆,且环境开阔,有利于高通量植物表型 的研究,方便全球定位系统(GPS)、地理信息系统等 技术的融合使用,空间解析度好,有助于发现野外自 然条件对于生物变异和生物多样性的影响,研究成 果也可直接应用于生产实践中。面向田间的植物表 图 6 内布拉斯加大学的传送带式温室高通量 植物扫描成像暗室表型平台 Fig.6 Chamberhighthroughputphenotypingplatform forgreenhouseinUNL 型平台从近端到远距离精确、连续采集单个叶片或 植物器官、单株植物、小地块和整个农场,主要包括 车载式、自走式、门架式、悬索式以及无人机、航空遥 感和光谱卫星成像等几种类型(图 7)[42] 。 图 7 面向田间的植物表型平台 Fig.7 Phenotypingplatformusedinfield 121 车载式植物表型平台 车载式植物表型平台[43]主要是指由拖拉机等 进行驱动[44-46] ,按照植物种类和生长状况布置传感 器,并搭载其他配件(如电力设备、数据存储器等) 的平台。这种平台旨在降低成本、减少人力和提高 工作效率。这类平台可以在 GPS、陀螺仪等配合下 实现自动导航。由于田间土壤分布异质化等特点, 车载系统在行进过程中不可避免地存在颠簸和抖 动。同时,它对作物生长有较大的机械影响,常引起 土壤压实,从而对植物造成损害,且由于机身高度有 限,主要适用于小麦、棉花等低矮作物,并受到行株 距和植物空间限制。除了田间土壤条件可能限制操 作外,许多地面车辆需要人工操作,无法快速通过试 验田,也限制了该方法的高通量表型分析能力。在 特定的气候时期,潮湿的土壤条件可能是一个限制 因素。如对于冬季作物来说,只要土壤没有冻结,车 载式表型平台就无法顺利下地,因此阻碍了表型信 息的采集。 爱荷华州立大学开发了搭载在约翰迪尔 1026R 型小型拖拉机上的植物表型平台,如图 8所示[47] 。该 系统除了拥有多个进行植物表型数据采集的 GRAS 20S4C C型深度相机外,还配备了 Topcon350型自 动导航系统和 AGI 4型接收器 /转向控制器,实现 第 3期 张慧春 等:植物表型平台与图像分析技术研究进展与展望 5