為滿足工廠自動化計算機(jī)視覺應(yīng)用的發(fā)展需求，意法半導(dǎo)體（ST）憑借其深厚的技術(shù)積累和敏銳的市場洞察力，開發(fā)了一套基于STM32N6和STM32MP257的手勢識別與控制系統(tǒng)。該系統(tǒng)由三大部分構(gòu)成：手勢識別與數(shù)據(jù)采集的感知部分、數(shù)據(jù)轉(zhuǎn)換與處理任務(wù)的PLC部分以及實(shí)現(xiàn)運(yùn)動控制與手勢跟隨的靈巧手部分。

感知部分：手勢識別與數(shù)據(jù)采集

感知部分的核心是攝像頭，它像一個不知疲倦的觀察者，實(shí)時捕捉手部視頻。而負(fù)責(zé)處理這些視頻的是STM32N6微控制器，它集成了意法半導(dǎo)體強(qiáng)大的Neural-ART加速器神經(jīng)處理單元（NPU），在視覺數(shù)據(jù)處理方面表現(xiàn)出色，確保手勢識別的高效與精準(zhǔn)。

手勢識別技術(shù)采用了Google提供的MediaPipe Hand Landmarker技術(shù)。這一技術(shù)依賴于深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）訓(xùn)練出的兩個模型：掌部檢測模型和手部關(guān)鍵點(diǎn)檢測模型。掌部檢測模型首先在圖像中準(zhǔn)確定位手部區(qū)域，并裁剪出手掌圖像；隨后，手部關(guān)鍵點(diǎn)檢測模型在裁剪后的圖像上提取出21個關(guān)鍵點(diǎn)的xyz坐標(biāo)（z軸代表相對深度信息）。STM32N6憑借出色的計算能力，能夠?qū)崿F(xiàn)每秒超過30幀的高識別速率，真正實(shí)現(xiàn)實(shí)時處理。通過ST的X-CUBE-AI軟件擴(kuò)展包及完整的AI生態(tài)系統(tǒng)，該模型可以輕松部署到STM32N6平臺，無需復(fù)雜優(yōu)化即可高效運(yùn)行。最終，STM32N6通過485總線將21個關(guān)鍵點(diǎn)坐標(biāo)數(shù)據(jù)發(fā)送給PLC，為后續(xù)控制提供精確輸入。

數(shù)據(jù)轉(zhuǎn)換與處理：關(guān)節(jié)角度計算與控制

數(shù)據(jù)處理的關(guān)鍵環(huán)節(jié)由基于STM32MP257的PLC承擔(dān)。STM32MP257是一款專為工業(yè)自動化設(shè)計的高性能工業(yè)級MPU，采用雙核Cortex-A35處理器和單核Cortex-M33組成的異構(gòu)架構(gòu)，具備強(qiáng)大的計算和實(shí)時處理能力。豐富的通信接口、圖形加速、AI加速以及多種安全功能，使其在工業(yè)自動化、機(jī)器人控制和智能邊緣計算等領(lǐng)域大顯身手。

這款PLC的一大亮點(diǎn)是集成了CODESYS軟件平臺，開發(fā)者可以通過它輕松創(chuàng)建、調(diào)試和部署控制程序，極大縮短開發(fā)周期。在本系統(tǒng)中，PLC借助CODESYS平臺完成多項(xiàng)關(guān)鍵任務(wù)：

關(guān)節(jié)角度計算：根據(jù)視覺系統(tǒng)傳來的21個關(guān)鍵點(diǎn)坐標(biāo)，精確計算每個手指三個關(guān)節(jié)的角度數(shù)據(jù)，并將其轉(zhuǎn)化為機(jī)械手電機(jī)目標(biāo)位置的映射關(guān)系；

數(shù)據(jù)處理與轉(zhuǎn)換：對關(guān)節(jié)角度數(shù)據(jù)進(jìn)行坐標(biāo)轉(zhuǎn)換、目標(biāo)位置設(shè)定等處理，生成最終的控制幀；

實(shí)時通信與控制：通過標(biāo)準(zhǔn)CAN協(xié)議，將計算出的目標(biāo)位置實(shí)時發(fā)送給機(jī)械手電機(jī)驅(qū)動系統(tǒng)，確保運(yùn)動精確執(zhí)行。

此外，STM32MP257支持EtherCAT、Modbus TCP/RTU、Ethernet等常用通信協(xié)議和邏輯控制功能，能靈活適應(yīng)不同工業(yè)環(huán)境，連接和控制各種設(shè)備，保障系統(tǒng)在多樣化場景中穩(wěn)定運(yùn)行。其異構(gòu)架構(gòu)也為用戶提供了更多升級空間。

意法半導(dǎo)體還提供了基于STM32MP135的PLC方案，雖然主頻和網(wǎng)口數(shù)量稍遜一籌，但性價比較高，適合預(yù)算有限的應(yīng)用場景。

靈巧手部分：運(yùn)動控制與手勢跟隨

本系統(tǒng)選用睿研RY-H1靈巧手進(jìn)行演示，這款機(jī)械手就像一位訓(xùn)練有素的“模仿大師”。它擁有15個自由度和20個運(yùn)動關(guān)節(jié)，內(nèi)置15個高速精密空心杯電機(jī)，創(chuàng)新的直線驅(qū)動設(shè)計讓它高度仿生，動作協(xié)調(diào)自然，擬人度極高。RY-H1機(jī)械手搭載獨(dú)家專利的力位混合智能控制算法，由STM32G431 MCU實(shí)現(xiàn)高精度、高速控制，能模擬人手完成猜拳、握筆、握雞蛋、摘草莓、遞名片等復(fù)雜動作。

RY-H1機(jī)械手通過接收PLC傳來的目標(biāo)位置數(shù)據(jù)進(jìn)行插補(bǔ)控制，與手勢識別系統(tǒng)完美協(xié)同，精準(zhǔn)跟隨手勢運(yùn)動。無需觸覺傳感器就能自適應(yīng)各種物體形態(tài)，抓取精準(zhǔn)度令人贊嘆。

應(yīng)用前景廣泛

這套基于STM32N6和STM32MP257的手勢識別與控制系統(tǒng)不僅提升了機(jī)器人的視覺能力和工作效率，還推動了自動化技術(shù)的進(jìn)步。無論是在工業(yè)制造、物流配送還是醫(yī)療護(hù)理領(lǐng)域，這些先進(jìn)的傳感器都能幫助機(jī)器人更好地完成任務(wù)。例如，在工業(yè)環(huán)境中，該系統(tǒng)可以用于自動引導(dǎo)車（AGV）的導(dǎo)航系統(tǒng)，提高生產(chǎn)效率；在醫(yī)療領(lǐng)域，它可以用于手術(shù)輔助機(jī)器人，提供高精度的視覺支持。

注：中芯巨能代理銷售意法半導(dǎo)體旗下全系列IC電子元器件，如需STM32N6和STM32MP257產(chǎn)品規(guī)格書、樣片測試、采購、BOM配單等需求，請加客服微信：13310830171。