首页 › M5Stack › 【搬运】通过AI判断金鱼坐标推断金鱼状态的实验

vany5921 发表于 2020-3-13 18:14

【搬运】通过AI判断金鱼坐标推断金鱼状态的实验

本项目转载自home-made-garbage，作者通过AI摄像头标记金鱼的坐标尝试判断金鱼是否在睡觉，代码分为UnitV和StickC部分，UnitV串口传输坐标，最终通过StickC的WiFi对外进行UDP广播。
关于金鱼的模型可以通过V-training进行学习，UnitV识别金鱼并通过串口发送其中心坐标（x，y），画面大小224x224。

UnitV端
from machine import UART
from board import board_info
from fpioa_manager import fm
from Maix import GPIO
import sensor,image,lcd
import KPU as kpu

lcd.init()

sensor.reset()
sensor.set_pixformat(sensor.RGB565)
sensor.set_framesize(sensor.QVGA)
sensor.set_windowing((224, 224))
sensor.set_vflip(1)
sensor.set_hmirror(1)
sensor.run(1)

fm.register(35, fm.fpioa.UART1_TX, force=True)
fm.register(34, fm.fpioa.UART1_RX, force=True)

uart = UART(UART.UART1, 115200,8,0,0, timeout=1000, read_buf_len=4096)

classes = ["goldfish"]
task = kpu.load(0x600000)
#task = kpu.load("/sd/model246pic.kmodel")
anchor = (0.57273, 0.677385, 1.87446, 2.06253, 3.33843, 5.47434, 7.88282, 3.52778, 9.77052, 9.16828)
a = kpu.init_yolo2(task, 0.3, 0.3, 5, anchor)
while(True):
    img = sensor.snapshot()
    code = kpu.run_yolo2(task, img)
    if code:
      for i in code:
            a = img.draw_cross(i.x()+int(i.w()/2),i.y()+int(i.h()/2),color = (0, 255, 0),size=5,thickness=4)
            data_packet = bytearray()
            uart.write(data_packet)
      a = lcd.display(img)
    else:
      a = lcd.display(img)
a = kpu.deinit(task)

M5StickC端接收UnitV的金鱼坐标并通过UDP发送
#include <WiFi.h>
#include <WiFiUDP.h>
#include <M5StickC.h>

static WiFiUDP wifiUdp;
static const char *kRemoteIpadr = "192.168.0.255";
static const int kRmoteUdpPort = 9000;

const char* ssid = "WiFi-SSID";
const char* password = "password";

static const uint8_t packet_begin = { 0xFF, 0xD8, 0xEA };


void setup() {
M5.begin();
M5.Axp.ScreenBreath(0);

Serial.begin(115200);
Serial2.begin(115200, SERIAL_8N1, 32, 33);

static const int kLocalPort = 7000;

WiFi.mode(WIFI_STA);
WiFi.begin(ssid, password);
Serial.println("");

// Wait for connection
while (WiFi.status() != WL_CONNECTED) {
    delay(500);
    Serial.print(".");
}

wifiUdp.begin(kLocalPort);

Serial.println("");
Serial.print("Connected to ");
Serial.println(ssid);
Serial.print("IP address: ");
Serial.println(WiFi.localIP());
}

void loop() {
if (Serial2.available()) {
    uint8_t rx_buffer;
    int rx_size = Serial2.readBytes(rx_buffer, 10);   
    if (rx_size == 10) {
      if ((rx_buffer == packet_begin) && (rx_buffer == packet_begin) && (rx_buffer == packet_begin)) {
      Serial.print(rx_buffer);
      Serial.print(":");
      Serial.print(rx_buffer);
      Serial.print(",");
      Serial.println(rx_buffer);
      
      wifiUdp.beginPacket(kRemoteIpadr, kRmoteUdpPort);
      wifiUdp.print(rx_buffer);
      wifiUdp.print(":");
      wifiUdp.print(rx_buffer);
      wifiUdp.write(',');
      wifiUdp.print(rx_buffer);
      wifiUdp.endPacket();
      }
    }
}
}


根据坐标绘制图表，其中Y轴为移动距离X轴为时间点
可以看出图表中1点到5点的移动量明显减少，证明金鱼此时在睡觉。

t3486784401 发表于 2020-3-13 18:35

方法不错，不过数据处理有待加强：

应该用位置差商算平均速度，用 x^2+y^2 容易被圆弧游动的金鱼欺骗

genvex 发表于 2020-4-10 12:01

t3486784401 发表于 2020-3-13 18:35
方法不错，不过数据处理有待加强：

应该用位置差商算平均速度，用 x^2+y^2 容易被圆弧游动的金鱼欺骗


x^2+y^2是计算 直线移动距离吗，能出改进指导意见吗

t3486784401 发表于 2020-4-10 13:29

genvex 发表于 2020-4-10 12:01
x^2+y^2是计算 直线移动距离吗，能出改进指导意见吗

x^2+y^2 是计算到原点的直线距离，这个参数有变化，可以推导出金鱼有移动，
但是参数不变化，却不能推导出金鱼静止（圆周运动就是特例）。

实际应该用金鱼速度来作为运动评判：(x1-x0)^2+(y1-y0)^2
相邻两次采样位置之差作为速度，即差商。

金鱼假如相对于原点做圆周运动，x^2+y^2结果是不变的，会误认为静止；
但是(x1-x0)^2+(y1-y0)^2 作为瞬时速度就不会为零，避免误判

genvex 发表于 2020-4-10 14:45

t3486784401 发表于 2020-4-10 13:29
x^2+y^2 是计算到原点的直线距离，这个参数有变化，可以推导出金鱼有移动，
但是参数不变化，却不能推导 ...

给力，详细，腻害，您做过类似的项目吗

t3486784401 发表于 2020-4-10 15:03

genvex 发表于 2020-4-10 14:45
给力，详细，腻害，您做过类似的项目吗

做过纯 PC 的图像识别，涉及图像变换了。

这个上摄像头的，除了驱动不同，在检测算法上目测一样

查看完整版本: 【搬运】通过AI判断金鱼坐标推断金鱼状态的实验