java实现人脸识别,java人脸识别门禁 收藏 0

JavaCV人脸识别三部曲之三：识别和预览

• 这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos

• 作为《JavaCV人脸识别三部曲》的终篇，今天咱们要开发一个实用的功能：有人出现在摄像头中时，应用程序在预览窗口标注出此人的身份，效果如下图所示：

• 简单来说，本篇要做的事情如下：

1. 理解重点概念：confidence
2. 理解重点概念：threshold
3. 编码
4. 验证

• 今天编写的代码，主要功能如下图所示：

• confidence和threshold是OpenCV的人脸识别中非常重要的两个概念，咱们先把这两个概念搞清楚，再去编码就非常容易了
• 假设，咱们用下面六张照片训练出包含两个类别的模型：

• 用一张新的照片去训练好的模型中做识别，如下图，识别结果有两部分内容：label和confidence

• 先说lable，这个好理解，与训练时的lable一致（回顾上一篇的代码，lable如下图红框所示），前面图中lable等于2，表示被判定为郭富城：

• 按照上面的说法，lable等于2就能确定照片中的人像是郭富城吗？
• 当然不能！！！此时confidence字段就非常重要了，先看JavaCV源码中对confidence的解释，如下图红框所示，我的理解是：与lable值相关联的置信度，或者说这张脸是郭富城的可能性：

• 如果理解为可能性，那么问题来了，这是个double型的值，这个值越大，表示可能性越大还是越小？
• 上图并没有明说，但是那一句e.g. distance，让我想起了机器学习中的K-means，此时我脑海中的画面如下：

• 若真如上图所示，那么显然confidence越小，是郭富城的可能性就越大了，接下来再去找一些权威的说法：
• OpenCV的官方论坛有个帖子的说法如下图：代码中的confidence变量属于命名不当，其含义不是可信度，而是与模型中的类别的距离：（地址：https://answers.opencv.org/question/226714/confidence-value-in-lbph/）

• 再看第二个解释，如下图红框，说得很清楚了，值越小，与模型中类别的相似度越高，0表示完全匹配：

• 再看一个Stack Overflow的解释：（https://stackoverflow.com/questions/39010477/confidence-in-opencv-facerecognizer-predict-method-output）

• 至此，相信您对confidence已经足够理解了，lable等于2，confidence=30.01，意思是：被识别照片与郭富城最相似，距离为30.01，距离越小，是郭富城的可能性越大

• 在聊threshold之前，咱们先看一个场景，还是刘德华郭富城的模型，这次咱们拿喜洋洋的照片给模型识别，识别结果如下：

• 显然，模型不会告诉你照片里是谁，只会告诉你：和郭富城的距离是3000.01
• 看到这里，聪明的您可能会这么想：那我就写一段代码吧，识别结果的confidence如果太大（例如超过100），就判定用于识别的人不属于训练模型的任何一个类别
• 上述功能，OpenCV已经帮咱们想到了，那就是：threshold，翻译过来即门限，如果咱们设置了threshold等于100，那么，一旦距离超过100，OpenCV的lable返回值就是-1
• 理解了confidence和threshold，接下来可以写人脸识别的代码了，感谢咱们的充分准备，接下来是丝般顺滑的编码过程…

• 《JavaCV人脸识别三部曲》的完整源码可在GitHub下载到，地址和链接信息如下表所示(https://github.com/zq2599/blog_demos)：

• 这个git项目中有多个文件夹，本篇的源码在javacv-tutorials文件夹下，如下图红框所示：

• javacv-tutorials里面有多个子工程，《JavaCV人脸识别三部曲》系列的代码在simple-grab-push工程下：

• 开始正式编码，今天咱们不会新建工程，而是继续使用中创建的simple-grab-push工程
• 先定义一个Bean类PredictRlt.java，用来保存识别结果（lable和confidence字段）：

• 然后把人脸识别有关的服务集中在RecognizeService.java中，方便主程序使用，代码如下，有几处要注意的地方稍后提到：

• 上述代码有以下几处需要注意：

1. 构造方法中，通过faceRecognizer.setThreshold设置门限，我在实际使用中发现50比较合适，您可以根据自己的情况不断调整
2. predict方法中，用于识别的图片要用resize方法调整大小，尺寸要和训练时的尺寸一致
3. 实测发现，在一张照片中出现多个人脸时，faceRecognizer.predict可能抛出RuntimeException异常，因此这里要捕获异常，避免程序崩溃退出

• 检测有关的接口DetectService.java，如下，和中的完全一致：

• 然后就是DetectService的实现类DetectAndRecognizeService .java，功能是用摄像头的一帧图片检测人脸，再拿检测到的人脸给RecognizeService做识别，完整代码如下，有几处要注意的地方稍后提到：

• 上述代码有几处要注意：

1. 重点关注detectAndRecoginze方法，这里面先调用classifier.detectMultiScale检测出当前照片所有的人脸，然后把每一张人脸交个recognizeService进行识别
2. 识别结果的lable是个int型的，看起来不够友好，因此从kindNameMap中根据lable找出对应的名称来
3. 最终给每个头像添加矩形框，还在左上角添加识别结果，以及confidence的值
4. 处理完毕后转为Frame对象返回，这样的帧显示在预览页面，效果就是视频中每个人被框选出来，并带有身份

• 现在核心代码已经写完，需要再写一些代码来使用DetectAndRecognizeService

• 创建的simple-grab-push工程中已经准备好了父类AbstractCameraApplication，所以本篇继续使用该工程，创建子类实现那些抽象方法即可

• 编码前先回顾父类的基础结构，如下图，粗体是父类定义的各个方法，红色块都是需要子类来实现抽象方法，所以接下来，咱们以本地窗口预览为目标实现这三个红色方法即可：

• 新建文件PreviewCameraWithIdentify.java，这是AbstractCameraApplication的子类，其代码很简单，接下来按上图顺序依次说明
• 先定义CanvasFrame类型的成员变量previewCanvas，这是展示视频帧的本地窗口：

• 把前面创建的DetectService作为成员变量，后面检测的时候会用到：

• PreviewCameraWithIdentify的构造方法，接受DetectService的实例：

• 然后是初始化操作，可见是previewCanvas的实例化和参数设置，还有检测、识别的初始化操作：

• 接下来是output方法，定义了拿到每一帧视频数据后做什么事情，这里调用了detectService.convert检测人脸并保存图片，然后在本地窗口显示：

• 最后是处理视频的循环结束后，程序退出前要做的事情，先关闭本地窗口，再释放检测服务的资源：

• 由于检测有些耗时，所以两帧之间的间隔时间要低于普通预览：

• 至此，功能已开发完成，再写上main方法，代码如下，有几处要注意的地方稍后说明：

• 上述main方法中，有以下几处需要注意：

1. kindNameMap是个HashMap，里面放这每个分类编号对应的名称，我训练的模型中包含了两位群众演员的头像，给他们分别起名Man和Woman
2. modelFileUrl是人脸检测时用到的模型地址
3. recognizeModelFilePath是人脸识别时用到的模型地址，这个模型是一文中训练的模型

• 至此，人脸识别的代码已经写完，运行main方法，请几位群众演员来到摄像头前面，验证效果吧

• 程序运行起来后，请名为Man的群众演员A站在摄像头前面，如下图，识别成功：

• 接下来，请名为Woman的群众演员B过来，和群众演员A同框，如下图，同时识别成功，不过偶尔会识别错误，提示成unknown(-1)：

• 再请一个没有参与训练的小群众演员过来，与A同框，此刻的识别也是准确的，小演员被标注为unknown(-1)：

• 去看程序的控制台，发现FaceRecognizer.predict方法会抛出异常，幸好程序捕获了异常，不会把整个进程中断退出

• 至此，整个《JavaCV人脸识别三部曲》全部完成，如果您是位java程序员，正在寻找人脸识别相关的方案，希望本系列能给您一些参考
• 另外《JavaCV人脸识别三部曲》是《JavaCV的摄像头实战》系列的分支，作为主干的《JavaCV的摄像头实战》依然在持续更新中，欣宸原创会继续与您一路相伴，学习、实战、提升

• 学习路上，你不孤单，欣宸原创一路相伴…

基于Java+SpringBoot实现人脸识别搜索

结合人脸识别技术，在工厂、学校、商场、餐厅等人流密集的场所进行监控，对人流进行自动统计、识别和追踪，同时标记存在安全隐患的行为及区域，并发出告警提醒，加强信息化安全管理，降低人工监督成本。

人脸识别搜索技术作为现代计算机视觉领域的重要研究方向之一，已经在多个领域展现出巨大的应用潜力。随着信息技术的飞速发展，人脸识别搜索在安全监控、社交媒体、人机交互等领域得到了广泛关注和应用。本文旨在探讨人脸识别搜索技术的背景、原理以及其在实际应用中的意义和挑战。

人脸识别搜索技术在当代社会中具有重要的应用价值。其主要目的是通过对人脸图像进行特征提取和比对，实现对数据库中人脸信息的搜索和匹配，从而识别和辨认出特定的个体。

目的和重要性：

• 「安全与监控：」人脸识别搜索在安全领域中具有重要作用。它可以应用于安全监控系统，例如在公共场所、企业或机构中用于实时监测和识别陌生人，预防犯罪和保护公众安全。
• 「边境安全：」在边境管理和出入境检查方面，人脸识别搜索可以帮助边防部门快速准确地辨认旅客身份，提高边境安全水平，有效防止非法入境和跨国犯罪活动。
• 「寻找失踪人员：」人脸识别搜索技术在寻找失踪人员方面具有重要意义。它可以帮助警方和相关机构通过比对失踪者的人脸特征与数据库中的图像，加快找到失踪者的速度，让家属尽早团聚。
• 「个性化推荐与广告：」在商业应用中，人脸识别搜索可以用于个性化推荐和广告投放。通过识别用户的人脸，系统可以根据其个人特征和兴趣向其推荐相应的产品或服务，提升用户体验和销售转化率。个人身份验证：在数字身份验证方面，人脸识别搜索可以用于手机解锁、支付验证等场景，提供更便捷、高效且安全的身份认证方式。

图像采集与预处理是人脸识别搜索技术的关键步骤之一，它涉及到从不同来源收集图像数据并对其进行初步处理，以确保后续的人脸识别算法能够在准确性和效率方面表现出色。

实现步骤：

• 「数据采集与来源选择：」 首先需要确定数据采集的来源，这可以是摄像头捕获的实时图像、网络图像库、社交媒体平台等。选择合适的数据来源对于确保数据的多样性和真实性至关重要。
• 「数据清洗与去噪：」 从不同来源采集的图像可能存在噪声、模糊或者不一致的问题。在进行人脸识别之前，需要对图像进行清洗和去噪处理，以提高后续算法的准确性。这可能包括去除图像中的杂物、修复图像的模糊部分等。
• 「人脸检测与定位：」 在图像中准确定位人脸是识别的基础。人脸检测技术能够自动识别图像中的人脸区域，有助于提取并分析人脸特征。常用的人脸检测算法包括基于深度学习的卷积神经网络（CNN）方法。
• 「图像归一化与尺度处理：」 在进行人脸识别时，不同图像可能具有不同的尺寸、姿态和光照条件。为了确保识别的准确性，需要将图像进行归一化处理，使其具有一致的尺寸、姿态和光照条件，这有助于提取稳定的人脸特征。
• 「人脸对齐与姿态校正：」 有时候图像中的人脸可能存在不同的姿态，例如旋转、倾斜等。为了确保识别算法的效果，可以对人脸进行对齐和姿态校正，使得人脸在图像中具有统一的方向。
• 「质量评估与筛选：」 在预处理过程中，可以对图像质量进行评估，剔除低质量的图像。低质量的图像可能因为光照不足、模糊等问题而影响识别准确性。
• 「数据增强：」 为了增加模型的鲁棒性和泛化能力，可以对图像进行数据增强，包括旋转、翻转、剪裁等操作，从而生成更多样化的训练数据。

特征提取与表示是人脸识别技术中的关键步骤。在这一阶段，旨在从经过预处理的图像中抽取出具有代表性的信息，以便后续的识别算法能够更好地进行匹配和分类。

在特征提取过程中，可以采用各种方法来捕捉人脸图像中的关键特征，例如局部纹理、颜色分布、形状等。常用的特征提取方法包括局部二值模式（LBP）、主成分分析（PCA）、人工神经网络（如卷积神经网络）等。这些方法有助于将人脸图像转化为具有较低维度但仍然代表性的特征向量。

此外，特征表示也涉及到如何对提取出的特征进行编码和表示，以便于在后续的匹配和识别中能够有效地比较。常见的特征表示方法包括将特征向量进行标准化、归一化，或者将其映射到某个特定的空间。这有助于减少特征向量之间的差异，使得人脸识别算法更具有鲁棒性和稳定性。

人脸匹配算法是指将两张人脸图像进行比较，以确定它们是否属于同一个人的算法。

实际的人脸匹配算法要复杂得多，并可能涉及更高级的特征提取方法、特征表示策略和相似度计算技术。在实际应用中，常常需要使用更先进的人脸识别算法，如基于深度学习的卷积神经网络（CNN）或其他现代的人脸匹配方法，以实现更高的准确性。

公共安全和监控中，人脸识别搜索是一项关键的应用领域。人脸识别技术通过从图像或视频中识别和比对人脸特征，可以在公共场所进行实时监控，以便快速识别和追踪犯罪嫌疑人、寻找失踪人员、加强边境安全等。

• 「犯罪预防和调查：」监控摄像头配备了人脸识别技术可以帮助警方及时捕获犯罪嫌疑人，有效阻止犯罪行为，并加速侦破案件。
• 「失踪人员寻找：」公共区域配备人脸识别技术可以帮助寻找失踪人员，提高找回率，减少家庭的痛苦。
• 「边境安全：」人脸识别搜索可用于边境检查，确保边境安全，预防非法入境和的潜在威胁。
• 「警务管理：」人脸识别搜索可以用于警务管理，帮助警方优化资源配置，提高应急响应能力。

人脸识别搜索作为公共安全和监控领域的重要应用之一，具有重要的推动作用，但也需要谨慎应用，兼顾安全需求与个人隐私权的平衡。

人脸识别搜索技术可以在社交网络平台上增强用户的账号安全性，通过人脸验证等方式防止虚假账号和信息的传播。同时，该技术还可以提供便捷的照片管理功能，帮助用户自动标记和分类照片，提供更好的用户体验。

• 社交网络安全和便利性
• 隐私保护与合规性
• 反滥用和滥用防范
• 公众参与和监管

在未来发展中，应该持续关注技术的进步和应用的合理性，建立健全的法规和道德准则，确保该技术在社交网络中发挥积极的作用，并最大程度地保障公众的权益和隐私。

收集人脸图像数据，并进行预处理，例如对图像进行裁剪、大小调整等操作，以便后续的人脸识别处理。

以上代码示例是一个基本的框架，实际的数据收集与预处理过程可能更加复杂，需要根据个人需求进一步完善图像处理部分，例如使用Java图像处理库来实现更多功能。

使用深度学习或其他算法，从预处理后的人脸图像中提取人脸的特征信息。这些特征信息通常以向量的形式表示。

• 导入所需的库文件和依赖项。
• 加载图像并使用人脸检测器检测人脸位置。
• 使用人脸检测结果截取人脸图像。
• 使用人脸特征提取器提取人脸特征。

当用户提交一个人脸图像进行搜索时，先进行与步骤2相同的特征提取，然后与数据库中的人脸特征进行比对。

使用了OpenCV库和dlib相关依赖，首先加载Cascade分类器和人脸嵌入模型。然后读取待查询的图像，并通过Cascade分类器检测出图像中的人脸区域。接下来，将每个人脸区域调整为模型要求的大小，并转换为Blob对象。最后，使用预训练的人脸嵌入模型对人脸图像进行特征提取，得到特征向量。

本文作者及来源:Renderbus瑞云渲染农场https://www.renderbus.com