Jetson 百萬(wàn)開(kāi)發(fā)者 | NVIDIA Jetson 助水產(chǎn)養(yǎng)殖企業(yè)打造自動(dòng)化流水線-重點(diǎn)聚焦
老百姓的日常餐桌上總少不了魚(yú)，大快朵頤背后，您是否想到過(guò)，這些海產(chǎn)品通常都經(jīng)過(guò)水產(chǎn)養(yǎng)殖企業(yè)的科學(xué)養(yǎng)殖
2023-04-25Jetson 百萬(wàn)開(kāi)發(fā)者 | NVIDIA Jetson 助水產(chǎn)養(yǎng)殖企業(yè)打造自動(dòng)化流水線-重點(diǎn)聚焦
老百姓的日常餐桌上總少不了魚(yú)，大快朵頤背后，您是否想到過(guò)，這些海產(chǎn)品通常都經(jīng)過(guò)水產(chǎn)養(yǎng)殖企業(yè)的科學(xué)養(yǎng)殖處理，且肉感鮮美，安全可靠。
(資料圖)
然而，水產(chǎn)養(yǎng)殖企業(yè)的大多數(shù)工作仍舊大量依靠人力，工人需要在潮濕環(huán)境下進(jìn)行高強(qiáng)度的漁業(yè)作業(yè)，造成了鮮有年輕人愿意從事這類繁重、惡劣的工作。因此實(shí)現(xiàn)水產(chǎn)養(yǎng)殖的自動(dòng)化流程，對(duì)水產(chǎn)養(yǎng)殖企業(yè)來(lái)說(shuō)是極大的需求。
水產(chǎn)養(yǎng)殖企業(yè)的一個(gè)主要賣品就是魚(yú)，包含各種魚(yú)類的魚(yú)苗和成魚(yú)。魚(yú)苗通常會(huì)被進(jìn)行飼養(yǎng)，直到養(yǎng)成成魚(yú)后再賣出。成魚(yú)則是會(huì)被放進(jìn)池塘中進(jìn)行觀察飼養(yǎng)。由于魚(yú)苗的個(gè)體小，在一個(gè)水盆里很難判斷魚(yú)苗的數(shù)量，因此需要通過(guò)視覺(jué)目標(biāo)檢測(cè)的方法來(lái)對(duì)魚(yú)苗計(jì)數(shù)。在國(guó)內(nèi)、國(guó)外都有成熟的魚(yú)苗計(jì)數(shù)器來(lái)對(duì)魚(yú)苗的數(shù)量進(jìn)行計(jì)數(shù)，有較高的準(zhǔn)確率，但是卻很少有成熟的、針對(duì)成魚(yú)的計(jì)數(shù)產(chǎn)品。
來(lái)自華南理工大學(xué)自動(dòng)化科學(xué)與工程學(xué)院的研究生林銳描述說(shuō)：“一方面，成魚(yú)的活動(dòng)性要比魚(yú)苗強(qiáng)得多，使得成魚(yú)在不同時(shí)刻可能有不同的姿態(tài)，給視覺(jué)檢測(cè)造成困擾；另一方面，成魚(yú)之間相互重疊遮擋的情況更為明顯，較難從二維圖像中判斷魚(yú)遮擋重疊時(shí)的數(shù)量情況?！?/p>
用實(shí)例分割模型對(duì)成魚(yú)計(jì)數(shù)
作為校企合作項(xiàng)目，林銳和他的小伙伴們一起，與某水產(chǎn)養(yǎng)殖企業(yè)合作，目標(biāo)是幫助企業(yè)在放魚(yú)作業(yè)時(shí)能了解魚(yú)的數(shù)量和大致重量。
本項(xiàng)目的應(yīng)用場(chǎng)景是：水產(chǎn)養(yǎng)殖企業(yè)將采購(gòu)的魚(yú)裝在車廂中，并載回到養(yǎng)殖場(chǎng)，將車廂和放魚(yú)槽連接，放魚(yú)槽另一端連接池塘，放魚(yú)槽上安裝了本項(xiàng)目的魚(yú)計(jì)數(shù)和估重系統(tǒng)。打開(kāi)車廂的閘門，將魚(yú)放進(jìn)放魚(yú)槽并流向池塘，該系統(tǒng)則開(kāi)始對(duì)魚(yú)進(jìn)行計(jì)數(shù)和估重，并將結(jié)果上傳到后臺(tái)服務(wù)器中。
圖1 放魚(yú)槽示意圖
圖 1 中的 ① 即為 NVIDIA Jetson Xavier NX 設(shè)備，② 為攝像頭，① 和 ② 組成了本項(xiàng)目的硬件設(shè)備。③ 為該項(xiàng)目的實(shí)驗(yàn)對(duì)象。④ 為該項(xiàng)目所需要的放魚(yú)槽設(shè)備。
林銳和他的隊(duì)員們決定，使用深度學(xué)習(xí)實(shí)例分割算法作為魚(yú)的目標(biāo)檢測(cè)模型?！皩?shí)例分割是語(yǔ)義分割和目標(biāo)檢測(cè)的集成，它具有目標(biāo)檢測(cè)的功能，同時(shí)能對(duì)目標(biāo)進(jìn)行像素級(jí)的分割?！绷咒J介紹說(shuō)。
利用圖像中的一些語(yǔ)義信息，來(lái)幫助模型對(duì)相互遮擋重疊的魚(yú)進(jìn)行識(shí)別，從而使算法能更好地對(duì)成魚(yú)進(jìn)行計(jì)數(shù)。利用實(shí)例分割模型得到的目標(biāo)掩膜，可以建立目標(biāo)像素面積和重量的一個(gè)線性模型，通過(guò)這個(gè)模型得到魚(yú)的估計(jì)重量，幫助企業(yè)能較好地了解這一批次魚(yú)的數(shù)量和重量。
在算力和成本中達(dá)到最佳平衡
同學(xué)們利用現(xiàn)場(chǎng)收集的上千張魚(yú)的圖片作為訓(xùn)練數(shù)據(jù)集，部分圖片如圖 2 所示。
圖 2 訓(xùn)練集圖片
利用收集的魚(yú)類數(shù)據(jù)集訓(xùn)練算法，使用了 PyTorch1.4 框架，CUDA10.0 以及 NVIDIA GPU 進(jìn)行訓(xùn)練，并且算法的 Backbone 層修改為 ResNet18。在訓(xùn)練完算法之后，先將模型轉(zhuǎn)化為 ONNX 格式，將模型權(quán)重導(dǎo)出為 wts 格 式，并通過(guò) TensorRT 框架實(shí)現(xiàn) YOLACT 算法的加速引擎。部署到 Jetson Xavier NX 上使用的是 C++ 語(yǔ)言，然后使用了 Qt 開(kāi)源框架搭建了一個(gè)人機(jī)操作界面，并且移植到 Jetson Xavier NX 平臺(tái)上。
“由于本項(xiàng)目用到實(shí)例分割算法，需要算力較高的設(shè)備。”林銳說(shuō)，權(quán)衡了成本后，最終選擇 NVIDIA Jetson Xavier NX。它擁有 384 個(gè) CUDA 核心以及 48 個(gè) Tensor 核 心，Volta 架構(gòu)，在 INT8 數(shù)據(jù)格式下可以達(dá)到 21TOPS 的算力，在 FP16 數(shù)據(jù)格式下可以達(dá)到 10TOPS 的算力。
將整個(gè) Qt 程序移植到 NVIDIA Jetson Xavier NX 設(shè)備上，最后的呈現(xiàn)效果如圖 3 所 示。
圖 3 Jetson Xavier NX 界面顯示
“雖然本項(xiàng)目主要研究成魚(yú)的計(jì)數(shù)和估重，只是水產(chǎn)養(yǎng)殖業(yè)中的一個(gè)簡(jiǎn)單環(huán)節(jié)， 但是本項(xiàng)目的技術(shù)可以推廣到水產(chǎn)養(yǎng)殖業(yè)的其他工作任務(wù)，”林銳說(shuō)，“國(guó)內(nèi)的水產(chǎn)養(yǎng)殖企業(yè)大多是勞動(dòng)密集型企業(yè)，大多數(shù)工作需要人力來(lái)完成。因此，通過(guò)引進(jìn)一些智能科技，幫助水產(chǎn)養(yǎng)殖企業(yè)打造自動(dòng)化流水線，能提高水產(chǎn)養(yǎng)殖企業(yè)的經(jīng)濟(jì)收益和工作效率。這將有利于原型機(jī)產(chǎn)品的推廣和研發(fā)，并打開(kāi)一個(gè)新的市場(chǎng)?！?/p>
給 Jetson 開(kāi)發(fā)者們的建議
作為資深開(kāi)發(fā)者，已經(jīng)使用了好幾代 NVIDIA Jetson 產(chǎn)品的林銳說(shuō)：“Jetson 系列有多個(gè)不同型號(hào)的設(shè)備，適用于不同的應(yīng)用場(chǎng)景和需求。因此，在選擇 Jetson 設(shè)備時(shí)，需要根據(jù)自己的需求選擇合適的設(shè)備?！?/p>
“作為 NVIDIA Jetson 用戶，需要深入了解設(shè)備的功能和性能，學(xué)習(xí)優(yōu)化代碼以實(shí)現(xiàn)更好的性能。與此同時(shí)，Jetson 擁有一個(gè)活躍的社區(qū)，包括開(kāi)發(fā)者、用戶和愛(ài)好者。加入社區(qū)可以獲得幫助、分享經(jīng)驗(yàn)和學(xué)習(xí)新技能。Jetson 社區(qū)還有許多活動(dòng)和比賽，可以幫助用戶提高技能，認(rèn)識(shí)到更多的應(yīng)用場(chǎng)景?！?/p>
*本文中圖片均由華南理工大學(xué)自動(dòng)化科學(xué)與工程學(xué)院的林銳提供，如果您有任何疑問(wèn)或需要使用本文中圖片，請(qǐng)聯(lián)系林銳同學(xué)。
標(biāo)簽：
