当前位置： 首页 > news >正文

【智能家居】八、监控摄像采集、人脸识别比对进行开门功能点

news 来源：原创 2024/5/9 20:24:00

一、使用 fswebcam 测试 USB 摄像头
二、根据demo来实现功能点
三、功能点编写编译运行实现
四、mjpg实现监控识别
五、V4L2 视频设备 Linux 内核模块的一部分

一、使用 fswebcam 测试 USB 摄像头

a. 安装 fswebcam

orangepi@orangepi:~$ sudo apt update
orangepi@orangepi:~$ sudo apt-get install -y fswebcam

b. 安装完 fswebcam 后可以使用下面的命令来拍照

a) -d 选项用于指定 USB 摄像头的设备节点
b) --no-banner 用于去除照片的水印
c) -r 选项用于指定照片的分辨率
d) -S 选项用设置于跳过前面的帧数
e) ./image.jpg 用于设置生成的照片的名字和路径

orangepi@orangepi:~$ sudo fswebcam -d /dev/video0 \ --no-banner -r 1280x720 -S 5 ./image.jpg

c. 在服务器版的 linux 系统中，拍完照后可以使用 scp 命令将拍好的图片传到
Ubuntu PC 上镜像观看

orangepi@orangepi:~$ scp image.jpg test@192.168.1.55:/home/test（根据实际情况修改 IP 地址和路径）

d. 在桌面版的 linux 系统中，可以通过 HDMI 显示器直接查看拍摄的图片

这里使用fswebcam进行拍照。参考用户手册

首先在/smart_home拍照，命名为imageComp.jpg

sudo fswebcam -d /dev/video0 --no-banner -r 1280x720 -S 5 ./imageComp.jpg

二、根据demo来实现功能点

demo.c

主要的功能是通过摄像头采集人脸数据，然后通过 cURL 发送 POST 请求到指定的 API 接口，接收 OCR 后台返回的数据。在这个过程中，你使用了一些全局变量、文件 I/O、cURL 库等。

以下是一些建议和注意事项：

  1. 错误处理： 在系统调用和库函数调用后，最好检查其返回值，以确保操作成功。例如，你可以在文件打开、内存分配等操作后添加错误检查，并在失败时输出错误信息。

  2. 函数封装： 考虑将一些相关的操作封装成函数，以提高代码的模块性和可读性。例如，可以将 cURL 相关的初始化和清理操作封装成函数。

  3. 全局变量的使用： 全局变量在函数间传递数据，但过度使用全局变量可能导致代码难以理解和维护。尽量将数据传递作为函数参数，以提高函数的可复用性。

  4. 内存释放： 在使用 malloc 分配内存后，确保在不再需要使用该内存时调用 free 进行释放，以避免内存泄漏。

  5. 字符串操作： 在使用字符串拼接函数（如 sprintf）时，确保目标缓冲区足够大以防止缓冲区溢出。

  6. 资源释放顺序： 在释放资源时，注意释放的顺序，以避免悬挂指针或资源泄漏。

  7. 安全性： 尽量避免使用 system 函数来执行外部命令，这可能带来安全风险。如果可能的话，考虑使用更安全的库函数或 API。

下面是一些可能的改进：

// 错误处理函数
void handleError(const char *message)
{perror(message);exit(EXIT_FAILURE);
}// 初始化 cURL
CURL *initCurl()
{CURL *curl = curl_easy_init();if (!curl){handleError("curl_easy_init failed");}return curl;
}// 释放 cURL 资源
void cleanupCurl(CURL *curl)
{curl_easy_cleanup(curl);
}// 发送 cURL POST 请求
bool sendPostRequest(const char *url, const char *postString, size_t (*writeCallback)(void *, size_t, size_t, void *))
{CURL *curl = initCurl();if (!curl){return false;}CURLcode res;// 设置 cURL 选项curl_easy_setopt(curl, CURLOPT_URL, url);curl_easy_setopt(curl, CURLOPT_POSTFIELDS, postString);curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, writeCallback);// 执行请求res = curl_easy_perform(curl);// 检查执行结果if (res != CURLE_OK){fprintf(stderr, "curl_easy_perform() failed: %s\n", curl_easy_strerror(res));cleanupCurl(curl);return false;}cleanupCurl(curl);return true;
}// 获取人脸数据
char *getFace()
{printf("人脸数据采集中...\n");system("sudo fswebcam -d /dev/video0 --no-banner -r 1280x720 -S 5 ./image.jpg");while (access("./image.jpg", F_OK) != 0){// 等待文件存在}printf("数据采集完毕\n");// 获取 base64 数据char *base64BufFaceRec = getBase64FromFile("./image.jpg");remove("./image.jpg"); // 采集完成删除，防止占内存return base64BufFaceRec;
}// 发送人脸数据到 OCR 后台
bool sendFaceToOcr()
{char *img1 = getFace(); // 图片 base64 流char *img2 = getBase64FromFile("/home/orangepi/smart_home/test/imageComp.jpg");char *key = "JFD5c1iBh9LVqPkkZMqM8Q";char *secret ="76f444813fc945bd9543e4d7e086ad87";int typeId = 21;char *format = "xml";// 分配足够的空间int len = strlen(key) + strlen(secret) + strlen(img1) + strlen(img2) + 128;char *postString = (char *)malloc(len);if (!postString){handleError("Memory allocation failed");}// 字符串拼接snprintf(postString, len, "img1=%s&img2=%s&key=%s&secret=%s&typeId=%d&format=%s", img1, img2, key, secret, typeId, format);// 发送 POST 请求bool result = sendPostRequest("https://netocr.com/api/faceliu.do", postString, readData);// 释放动态分配的内存free(img1);free(img2);free(postString);return result;
}// 入口函数
int main(void)
{// 发送人脸数据到 OCR 后台if (sendFaceToOcr()){// 处理 OCR 后台返回的数据// ...}return 0;
}

这个版本进行了一些重构，提高了可读性和模块性，同时加入了错误处理。你可以根据需要进一步调整。

三、功能点编写编译运行实现

camera.c

#include "controlDevice.h"
#include <stdio.h>
#include <curl/curl.h>
#include <string.h>
#include <stdlib.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>char ocrReturnBuf[1024] = {'\0'}; // 全局变量，用来接收从OCR后台返回的数据// 回调函数，读取从OCR后台返回的数据(把从后台的数据拷贝给ocrReturnBuf)
size_t readData(void *ptr, size_t size, size_t nmemb, void *stream)
{size_t totalSize = size * nmemb;// 为了避免溢出，计算实际拷贝的长度size_t copySize = (totalSize < (sizeof(ocrReturnBuf) - 1)) ? totalSize : (sizeof(ocrReturnBuf) - 1);// 拷贝数据到 ocrRetBuf 中memcpy(ocrReturnBuf, ptr, copySize);// 手动添加字符串终结符ocrReturnBuf[copySize] = '\0';return totalSize;
}char *getBase64FromFile(const char *filePath)
{char cmd[256] = {'\0'};char *base64Buf = NULL;// 使用安全的方式构建命令snprintf(cmd, sizeof(cmd), "base64 %s | tr -d '\n' > tmpFile", filePath);if (system(cmd) == -1) {perror("Error executing system command");return NULL;}int fd = open("./tmpFile", O_RDWR);if (fd == -1) {perror("Error opening file");return NULL;}// 计算文件大小int fileLen = lseek(fd, 0, SEEK_END);lseek(fd, 0, SEEK_SET);// 动态分配内存base64Buf = (char *)malloc(fileLen + 1);if (base64Buf == NULL) {perror("Error allocating memory");close(fd);return NULL;}memset(base64Buf, '\0', fileLen + 1);// 读取文件内容到字符串if (read(fd, base64Buf, fileLen) == -1) {perror("Error reading file");free(base64Buf);close(fd);return NULL;}close(fd);// 删除临时文件if (remove("tmpFile") == -1) {perror("Error deleting temporary file");}return base64Buf;
}// 获取人脸数据
char *getFace()
{printf("人脸数据采集中...\n");system("sudo fswebcam -d /dev/video0 --no-banner -r 1280x720 -S 5 /home/orangepi/smart_home/test/image.jpg");while (access("./image.jpg", F_OK) != 0); // 判断是否拍照完毕printf("数据采集完毕\n");// 获取 base64 数据char *base64BufFaceRec = getBase64FromFile("./image.jpg");remove("./image.jpg");   // 采集完成删除，防止占内存return base64BufFaceRec; // 返回刚才拍照的base64
}// 根据文档，接口调用方法为post请求
void postUrl()
{CURL *curl;CURLcode res;// 根据翔云平台的接口要求  分开定义，然后字符串拼接char *img1 = getFace(); // 图片base64流char *img2 = getBase64FromFile("/home/orangepi/smart_home/test/imageComp.jpg");char *key = "JFD5c1iBh9LVqPkkZMqM8Q";char *secret = "76f444813fc945bd9543e4d7e086ad87";int typeId = 21;char *format = "xml";int len = strlen(key) + strlen(secret) + strlen(img1) + strlen(img2) + 128; // 分配空间不够会>导致栈溢出char* postString = (char*)malloc(len);memset(postString, '\0', len);//因为postString是一个指针，不能用sizeof来计算其指向的大小// 字符串拼接sprintf(postString, "img1=%s&img2=%s&key=%s&secret=%s&typeId=%d&format=%s", img1, img2, key, secret, typeId, format);// 初始化 cURLcurl = curl_easy_init();if (curl){// 指定cookie缓存文件// if (curl_easy_setopt(curl, CURLOPT_COOKIEFILE, "/tmp/cookie.txt") != CURLE_OK)// {//         fprintf(stderr, "Failed to set cookie file\n");//         return false; // 在设置失败时，直接返回// }// 指定post传输内容，get请求将URL和postString一次性发送curl_easy_setopt(curl, CURLOPT_POSTFIELDS, postString);// 指定urlcurl_easy_setopt(curl, CURLOPT_URL, "https://netocr.com/api/faceliu.do");// 回调函数读取返回值curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, readData);// 执行请求res = curl_easy_perform(curl);if (res != CURLE_OK) {fprintf(stderr, "curl_easy_perform() failed: %s\n", curl_easy_strerror(res));// 处理错误}// 释放 cURL 资源curl_easy_cleanup(curl);}// 释放动态分配的内存free(img1);free(img2);free(postString);
}struct Devices camera = {.deviceName = "camera",.justDoOnce = postUrl
};struct Devices *addCameraToDeviceLink(struct Devices *phead)
{if (phead == NULL) {return &camera;}else {camera.next = phead; // 以前的头变成.nextphead = &camera;     // 更新头return phead;}
}

controlDevice.h

#include <wiringPi.h>					//wiringPi库
#include <stdio.h>
#include <stdlib.h>// 设备结构体
struct Devices                          //设备类
{char deviceName[128];               //设备名int status;                         //状态int pinNum;							//引脚号// 函数指针，用于设备控制int (*Init)(int pinNum);			//“初始化设备”函数指针int (*open)(int pinNum);			//“打开设备”函数指针int (*close)(int pinNum);			//“关闭设备”函数指针int (*readStatus)(int pinNum);		//“读取设备状态”函数指针  为火灾报警器准备int (*changeStatus)(int status);	//“改变设备状态”函数指针void (*justDoOnce)();               // 仅执行一次的操作struct Devices *next;
};struct Devices* addBathroomLightToDeviceLink(struct Devices *phead);		//“浴室灯”加入设备链表函数声明      2
struct Devices* addBedroomLightToDeviceLink(struct Devices *phead);	        //“卧室灯”加入设备链表函数声明      8
struct Devices* addRestaurantLightToDeviceLink(struct Devices *phead);		//“餐厅灯”加入设备链表函数声明      13
struct Devices* addLivingroomLightToDeviceLink(struct Devices *phead);		//“客厅灯”加入设备链表函数声明      16
struct Devices* addSmokeAlarmToDeviceLink(struct Devices *phead);           //“烟雾报警器”加入设备链表函数声明  6
struct Devices* addBuzzerToDeviceLink(struct Devices *phead);		        //“蜂鸣器”加入设备链表函数声明      9
struct Devices *addCameraToDeviceLink(struct Devices *phead);               // “摄像头”加入设备链表
struct Devices *addLockToDeviceLink(struct Devices *phead);                 // “门锁”加入设备链表			   15

main.c

在main.c文件里的Command(struct InputCommand* CmdHandler)函数中添加

    // OCR 指令：执行人脸识别功能进行开门if (strcmp("OCR", CmdHandler->command) == 0){tmp = findDeviceByName("camera", pdeviceHead);if (tmp != NULL){tmp->justDoOnce();// 字符串检索 判断翔云后台返回的一大堆字符串中有没有“否”if (strstr(ocrReturnBuf, "否") != NULL){printf("人脸比对失败\n");}else{printf("人脸比对成功\n");tmp = findDeviceByName("lock", pdeviceHead);if (tmp != NULL){tmp->open(tmp->pinNum);printf("已开门\n");delay(3000);tmp->close(tmp->pinNum);}}}}

这里的摄像头只是当作一个设备去用，目前实现通过串口指令然后system()进行拍照。然后翔云平台进行人脸对比，未实现自动人脸检测。

所以摄像头没有另创线程。但是做视频监控可以另创线程。

这样当串口发送OCR时，实现人脸对比并开锁，所以没有用线程去做

当然，要把camera、lock设备加入设备工厂

注意：ocrReturnBuf这个因为要再不同文件调用的全局变量所以要extern

编译运行

gcc *.c -lwiringPi -lwiringPiDev -lpthread -lm -lcrypt -lrt -I /home/orangepi/curl-7.71.1/_install/include/ -L /home/orangepi/curl-7.71.1/_install/lib/ -lcurlsudo -E ./a.out

在这里插入图片描述

运行结果

在这里插入图片描述

四、mjpg实现监控识别

mjpg来实现也是一样的
通过前面智能垃圾分类章节【阿里云】图像识别 摄像模块 语音模块
在这里插入图片描述
在这里插入图片描述

五、V4L2 视频设备 Linux 内核模块的一部分

V4L2 是视频设备 Linux 内核模块的一部分，全名是 Video for Linux 2。它提供了一套标准的 API，用于控制和管理视频设备，比如摄像头、视频捕获卡等。V4L2 的设计旨在与 Linux 内核无缝集成，并提供用户空间应用程序与视频设备进行交互的标准接口。

V4L2 的主要特性和功能包括：

  1. 设备的打开和关闭： 使用 V4L2，可以打开和关闭视频设备。

  2. 格式和尺寸控制： V4L2 允许应用程序查询和设置视频设备支持的不同格式和分辨率。

  3. 帧缓冲管理： 应用程序可以通过 V4L2 分配、映射和取消映射帧缓冲。

  4. 视频捕获和输出： V4L2 允许应用程序启动视频捕获或输出操作，并控制捕获或输出的参数。

  5. 控制操作： V4L2 提供了对摄像头参数（如亮度、对比度、色彩饱和度等）的控制。

  6. 流 IO 操作： 支持单帧和多帧的 I/O 操作，用于捕获或输出视频流。

  7. 回调函数： V4L2 支持回调函数，使得应用程序可以在特定事件发生时得到通知。

V4L2 API 的使用一般包括在用户空间的应用程序中调用相应的系统调用，例如 open()、ioctl() 等，以与视频设备进行交互。在内核空间，V4L2 的实现则通过提供相应的结构体和函数指针来支持。

请注意，V4L2 的详细定义和使用方式可能会根据 Linux 内核版本的不同而有所变化，因此建议查阅相应版本的内核文档和头文件以获取准确的信息。

在 Linux 上，安装和配置 V4L2 通常涉及以下步骤：

  1. 检查内核支持： 确保你的 Linux 内核已启用 V4L2 支持。通常，大多数标准的 Linux 内核都包含了 V4L2 模块。你可以通过查看内核配置文件或使用 lsmod | grep videodev 命令来检查是否加载了 videodev 模块。

  2. 安装 V4L2 工具： 有一些工具可用于测试和配置 V4L2 设备。其中一个常用的工具是 v4l-utils。你可以使用包管理工具安装它，例如：

    sudo apt-get install v4l-utils   # 对于基于 Debian 的系统

    或

    sudo yum install v4l-utils   # 对于基于 Red Hat 的系统

  3. 配置设备权限： 确保用户具有访问视频设备的权限。你可以将用户添加到 video 组，或者通过修改设备文件的权限来实现。设备文件通常在 /dev 目录下，例如 /dev/video0。

  4. 加载 V4L2 模块： 如果你的内核未自动加载 V4L2 模块，你可以使用 modprobe 命令手动加载：

    sudo modprobe videodev

    或者，如果你使用的是特定的摄像头或设备驱动程序，可能需要加载相关的模块。

  5. 测试设备： 使用 v4l2-ctl 工具或其他 V4L2 相关工具测试你的视频设备。例如，你可以使用以下命令查看设备的基本信息：

    v4l2-ctl --list-devices

    或者使用以下命令查看摄像头的支持格式和参数：

    v4l2-ctl --list-formats-ext -d /dev/video0

这些步骤提供了一个基本的 V4L2 安装和配置的概述。具体的步骤可能会因你的系统和设备而有所不同。请查阅相关的文档和手册以获取更详细的信息。

相关文章：

  • 「公主文学」八大热点内容数据洞察（小红书）
  • 80后喜欢的经典老歌歌单总结，你最爱的是哪一首？
  • OpenCV-Python15:图像阈值处理
  • ​flutter 代码混淆
  • 《从入门到精通：AJAX基础知识解析，前端开发中利器》基础篇
  • 值得收藏：一份完整的Mysql高性能优化规范建议
  • 平面上点到直线的距离
  • Navicat 连接 GaussDB分布式的快速入门
  • 【Python】人工智能-机器学习——不调库手撕深度网络分类问题
  • 编程应用实际场景：台球厅怎么样用电脑给客人计时，台球计时收费系统操作教程
  • 接口测试-Jmeter使用
  • 模式识别II改进版Python
  • 对于初学者来说，从哪些方面开始学习 Java 编程比较好？
  • 【WPF】应用程序和已知安卓设备的局域网IP之间进行通信
  • P1009 [NOIP1998 普及组] 阶乘之和
  • Android Studio：GIT提交项目到远程仓库
  • js数组之filter
  • MySQL数据库运维之数据恢复
  • MySQL用户中的%到底包不包括localhost?
  • Node项目之评分系统（二）- 数据库设计
  • PHP 小技巧
  • socket.io+express实现聊天室的思考（三）
  • zookeeper系列（七）实战分布式命名服务
  • 从输入URL到页面加载发生了什么
  • 技术攻略】php设计模式(一)：简介及创建型模式
  • 解析带emoji和链接的聊天系统消息
  • 力扣(LeetCode)357
  • 聊聊sentinel的DegradeSlot
  • 盘点那些不知名却常用的 Git 操作
  • 如何用Ubuntu和Xen来设置Kubernetes？
  • 入门级的git使用指北
  • 探索 JS 中的模块化
  • 吐槽Javascript系列二：数组中的splice和slice方法
  • 王永庆：技术创新改变教育未来
  • 微信公众号开发小记——5.python微信红包
  • 中文输入法与React文本输入框的问题与解决方案
  • 自制字幕遮挡器
  • const的用法,特别是用在函数前面与后面的区别
  • ​Python 3 新特性：类型注解
  • ​Z时代时尚SUV新宠：起亚赛图斯值不值得年轻人买？
  • ​创新驱动，边缘计算领袖：亚马逊云科技海外服务器服务再进化
  • ​你们这样子，耽误我的工作进度怎么办？
  • ​用户画像从0到100的构建思路
  • (Demo分享)利用原生JavaScript-随机数-实现做一个烟花案例
  • (MIT博士）林达华老师－概率模型与计算机视觉”
  • （南京观海微电子）——COF介绍
  • （一）pytest自动化测试框架之生成测试报告（mac系统）
  • .bat批处理（六）：替换字符串中匹配的子串
  • .net core webapi 部署iis_一键部署VS插件：让.NET开发者更幸福
  • .NET Standard、.NET Framework 、.NET Core三者的关系与区别？
  • .Net 应用中使用dot trace进行性能诊断
  • .NET/C# 项目如何优雅地设置条件编译符号？
  • .NET中使用Redis (二)
  • @private @protected @public
  • []AT 指令 收发短信和GPRS上网 SIM508/548