在水果行業(yè)中，成熟度是評(píng)估水果品質(zhì)的重要指標(biāo)，可用于確定采收、運(yùn)輸、銷售等的最佳時(shí)間。部分水果可通過表皮顏色判斷成熟度，如香蕉等；牛油果、獼猴桃等水果則需要采用破壞性測(cè)量才能確定。為了給出解決方案，我們驗(yàn)證了高光譜成像和深度神經(jīng)網(wǎng)絡(luò)是否能夠預(yù)測(cè)水果的成熟程度。通過這項(xiàng)工作，我們提供了一個(gè)高光譜數(shù)據(jù)集，并在此基礎(chǔ)上測(cè)試了不同的模型，從而展示了小型神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)。在前人研究中，Pinto等人[1]和Olarewaju等人[2]利用高光譜成像來確定牛油果的成熟程度，Zhu等人[3]利用高光譜數(shù)據(jù)預(yù)測(cè)獼猴桃的硬度和可溶性固形物含量，這些研究都是基于經(jīng)典的機(jī)器學(xué)習(xí)算法進(jìn)行的。Mollazade等人[4]展示了一個(gè)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)對(duì)番茄含水量的預(yù)測(cè)能力，Gao等人[5]利用高光譜成像和預(yù)訓(xùn)練的AlexNet（一種深度卷積神經(jīng)網(wǎng)絡(luò)）可以預(yù)測(cè)草莓的成熟狀態(tài)，這些研究則是基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的。本文作者使用了更廣泛的模型，記錄了更大的數(shù)據(jù)集，分析了測(cè)量水果成熟度是否需要高光譜數(shù)據(jù)，或者純彩色圖像就足夠。
高光譜成像 (HSI) 技術(shù)是近年來日益流行的一種非破壞性測(cè)量技術(shù)，該技術(shù)基于高光譜相機(jī)獲取的光譜數(shù)據(jù)，其典型光譜范圍可從紫外到近紅外（表1），與標(biāo)準(zhǔn)RGB圖像相比，高光譜圖像有更多的通道，通常超過100個(gè)，可通過波長(zhǎng)范圍揭示更多被檢測(cè)物質(zhì)的不同化學(xué)性質(zhì)。
表1 高光譜相機(jī)的典型波長(zhǎng)范圍
類型 | 紫外線(UV) | 可見(VIS) | 近紅外(NIR) |
波長(zhǎng) | 100-380nm | 380-740nm | 740-2500nm |
本文的高光譜圖像獲取系統(tǒng)由3個(gè)部分組成（圖1），第一個(gè)組件是物體支架，由高光譜相機(jī)線掃描工作模式所必需的直線驅(qū)動(dòng)器組成。第二個(gè)組件是光源。對(duì)于高光譜成像來說，足夠明亮和均勻的光源是必不可少的。鹵素?zé)艉蚅ED燈組合使用，以覆蓋更廣泛的光譜。此外，使用聚四氟乙烯曲率反射器來產(chǎn)生漫反射光。最后一個(gè)組件是相機(jī)，本研究使用了兩款高光譜相機(jī)（Specm FX 10和INNO-SPEC Redeye 1.7），以便更好地驗(yàn)證結(jié)果，并覆蓋不同的波長(zhǎng)范圍。Specm FX 10有224個(gè)通道，光譜范圍400-1000 nm；INNO-SPEC Redeye 1.7有252個(gè)通道，光譜范圍950-1700nm。使用折射計(jì)測(cè)量可溶性固形物的含量，使用硬度計(jì)測(cè)量穿透阻力以確定果肉的硬度。試驗(yàn)收集了1038份牛油果和1522份獼猴桃的數(shù)據(jù)，它涵蓋了兩種水果從未熟到過熟的成熟過程，高光譜數(shù)據(jù)集可通過https://github.com/cogsys-tuebingen/deephs fruit獲得。圖1 高光譜圖像獲取系統(tǒng)：帶有物體支架的直線驅(qū)動(dòng)器、光源和相機(jī)。獲得高光譜圖像后，首先采用簡(jiǎn)單的基于像素的神經(jīng)網(wǎng)絡(luò)剔除背景，并訓(xùn)練它來區(qū)分背景和水果，然后將水果分為3類進(jìn)行研究，即未熟、成熟、過熟，將硬度、甜度和整體成熟度作為研究指標(biāo)，建立一個(gè)小的光譜卷積神經(jīng)網(wǎng)絡(luò)，專門用于成熟果實(shí)的應(yīng)用。本文構(gòu)建了高光譜卷積神經(jīng)網(wǎng)絡(luò)（Hyperspectral Convolutional Neural Network，HS-CNN）水果分類的架構(gòu)（圖2），將整個(gè)網(wǎng)絡(luò)設(shè)計(jì)的盡可能簡(jiǎn)單和小，輸入一個(gè)水果的高光譜數(shù)據(jù)，3個(gè)卷積層從輸入的光譜數(shù)據(jù)提取特征映射，采用批歸一化（Batch Normalization）加快訓(xùn)練過程，使用平均池化（average pooling），最后的分類發(fā)生在CNN的頭部，由一個(gè)全局平均池化層（global average pooling layer）和一個(gè)全連接層（fully connected layer）組成。全局平均池化層大大減少了參數(shù)的數(shù)量，使預(yù)測(cè)更加的穩(wěn)定。
使用旋轉(zhuǎn)、翻轉(zhuǎn)、隨機(jī)噪聲和隨機(jī)切割作為數(shù)據(jù)增強(qiáng)技術(shù)，用Adabound對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化，根據(jù)驗(yàn)證損失提前停止，以防止過度擬合。在數(shù)據(jù)集中測(cè)試了5個(gè)模型，分別為具有徑向基核的支持向量機(jī)(SVM)、k-最近鄰分類器（kNN）、ResNet18、AlexNet和高光譜卷積神經(jīng)網(wǎng)絡(luò)(HS-CNN)。測(cè)試集為18個(gè)標(biāo)記的高光譜記錄，測(cè)試結(jié)果如表2所示，每個(gè)神經(jīng)網(wǎng)絡(luò)給出三個(gè)值。當(dāng)網(wǎng)絡(luò)能夠訪問整個(gè)高光譜記錄時(shí)，F(xiàn)ull值給出了準(zhǔn)確度。大多數(shù)情況下HS-CNN模型是優(yōu)于參考模型的，該模型預(yù)測(cè)牛油果硬度，準(zhǔn)確率達(dá)93.33%以上，預(yù)測(cè)牛油果的成熟度水平，準(zhǔn)確率均90%以上；預(yù)測(cè)獼猴桃的成熟程度要比預(yù)測(cè)牛油果困難得多，因此所有模型的預(yù)測(cè)精度都明顯較低。然而，我們的模型仍然能預(yù)測(cè)獼猴桃的硬度和成熟度，準(zhǔn)確率分別接近70%和80%。通過移除或替換高光譜卷積神經(jīng)網(wǎng)絡(luò)的組成部分，研究不同部分的影響。以牛油果為例，研究了這些操作的硬度測(cè)試精度。隨機(jī)剪切和增加測(cè)試時(shí)間可提高測(cè)試準(zhǔn)確性（表3-1）；深度分離卷積可以防止過擬合，增加測(cè)試精度（表3-2）；網(wǎng)絡(luò)的頭部使用卷積部分的特征映射確定分類結(jié)果，全局平均池化減少參數(shù)的數(shù)量，防止了過擬合，提高精確性（表3-3）；焦點(diǎn)損失函數(shù)可改善測(cè)試精度（表3-4）；學(xué)習(xí)率值為0.01的Adabound算法更好（表3-5）；平均池化的精確度比最大池化的精度更高（表3-6）。表3-1 不同增強(qiáng)技術(shù)的影響
Augmentation variant | Accuracy |
Full augmentation | 93.3 % |
Without test time augmentation | 70.8 % |
Without random noise | 73.3 % |
Without random cut | 69.3 % |
No transformation augmentation | 80.0 % |
表3-3 不同頭部架構(gòu)的準(zhǔn)確度比較
| |
| Global Average Pooling with additional layer | |
| |
| |
表3-4 不同損失函數(shù)的準(zhǔn)確度
表3-5 不同優(yōu)化程序的準(zhǔn)確度
| |
| Stochastic gradient descent | |
| |
| Adabound with default parameters | |
| Adabound with learning rate | |
使用積分梯度（Integrated gradient）來查看高光譜記錄的哪些部分對(duì)確定水果的狀態(tài)是重要的，這種技術(shù)可以顯示神經(jīng)元對(duì)網(wǎng)絡(luò)決策的影響，在一定程度上驗(yàn)證神經(jīng)網(wǎng)絡(luò)的決策過程，驗(yàn)證了預(yù)測(cè)正確性。圖3a給出了對(duì)牛油果成熟度預(yù)測(cè)影響的空間分布，這種影響均勻的分布在整個(gè)水果上。圖3b顯示了基于波長(zhǎng)的影響，主要決策發(fā)生在800nm以上。此外，在一定程度上，該網(wǎng)絡(luò)利用520 ~ 650 nm的可見光范圍來區(qū)分未成熟果實(shí)和成熟果實(shí)。這個(gè)范圍與牛油果的可見變化相匹配。總的來說，通過卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的特征似乎是可信的。圖3 決策因子對(duì)牛油果狀態(tài)判定的影響（a）基于空間，(b)基于波長(zhǎng)。此外，本文還介紹了一種為特定任務(wù)生成高光譜記錄假彩色圖像（false color image）的技術(shù)（圖4）。訓(xùn)練了一個(gè)基于像素的自動(dòng)編碼器(圖4a)，對(duì)水果的高光譜圖像進(jìn)行編碼和解碼，使用均方誤差進(jìn)行訓(xùn)練，潛在空間的大小為3，將其解釋為彩色圖像。使用編碼器的嵌入作為分類器網(wǎng)絡(luò)的輸入(圖4b)，并訓(xùn)練分類器以區(qū)分成熟度等級(jí)。最終得到了一個(gè)專門編碼信息以區(qū)分成熟度等級(jí)的編碼器。以這種方式訓(xùn)練的編碼器可以生成假彩色圖像，從而可視化成熟過程。對(duì)于牛油果（圖5），成熟的部分從果實(shí)的底部一直長(zhǎng)到頂部。對(duì)于獼猴桃的硬度分布（圖6），水果上慢慢長(zhǎng)出一個(gè)受損的部分。圖4 預(yù)訓(xùn)練方法的架構(gòu)（a）自動(dòng)編碼器（b）分類器網(wǎng)絡(luò)。本文的研究表明，卷積神經(jīng)網(wǎng)絡(luò)可用于高光譜數(shù)據(jù)，將水果分為三類(未熟、成熟和過熟)。HS-CNN分類器網(wǎng)絡(luò)在牛油果成熟狀態(tài)分類方面表現(xiàn)出卓越的性能，在獼猴桃成熟狀態(tài)分類方面表現(xiàn)出良好的性能。[1] J. Pinto, H. Rueda-Chac′on, and H. Arguello, “Classification of Hass avocado (persea americana mill) in terms of its ripening via hyperspectral images,” TecnoL′ogicas, vol. 22, no. 45, pp. 109–128, 5 2019.[2] O. O. Olarewaju, I. Bertling, and L. S. Magwaza, “Non-destructive evaluation of avocado fruit maturity using near infrared spectroscopy and PLS regression models,” Scientia Horticulturae, vol. 199, pp. 229–236, 2 2016.[3] H. Zhu, B. Chu, Y. Fan, X. Tao, W. Yin, and Y. He, “Hyperspectral Imaging for Predicting the Internal Quality of Kiwifruits Based on Variable Selection Algorithms and Chemometric Models,” Scientific Reports, vol. 7, no. 1, pp. 1–13, 12 2017.[4] K. Mollazade, M. Omid, F. A. Tab, S. Mohtasebi, and M. Sasse-Zude, “Spatial mapping of moisture content in tomato fruits using hyperspectral imaging and artificial neural networks,” in International workshop on Computer Image Analysis in Agriculture, 2012.[5] Z. Gao, Y. Shao, G. Xuan, Y. Wang, Y. Liu, and X. Han, “Real-time hyperspectral imaging for the in-field estimation of strawberry ripeness with deep learning,” Artificial Intelligence in Agriculture, vol. 4, pp.31–38, 1 2020.由于相關(guān)研究?jī)?nèi)容非常專業(yè)，難免有些理解不準(zhǔn)確或者編輯整理的疏漏，請(qǐng)以英文原文為準(zhǔn)。
