【CV 向】如何打造一个“数串串神器“

Posted on by hackdl

导言

最近，我看到了这样一个视频，觉得很有意思，就随手保存下来了。😁😁😁

之前吃串串火锅，老板数竹签不是称重就是用手慢慢数，但是称重似乎总是得不到正确的竹签数目，而且容易暗箱操作；而慢慢数总是要等待比较长的时间，感觉两者对处理数竹签的问题都存在比较大的缺陷。因此，一款可以数竹签的应用因此产生，一下就弥补了两种处理方式所存在的缺陷。

当我第一眼看到这个 APP，就想到一个比较经典的 CV 案例 —— 数钢管，虽然我们平时不会将钢管和竹签联系在一起，但是如果将他们两个放在一起，你会发现两者似乎有“异曲同工”之处。

接下来的部分 ，我先来讲解一下经典案例数钢管，然后再过渡到数竹签的应用。

数钢管

想致富，先修路。想要很好的解决某个问题，思路首先要打开。如何打开思路呢？那就需要大胆的想象，去将“钢管”与我们的思维联系在一起，去思考一下我们在日常生活中是如何识别钢管的。

数钢管场景分析

如何去数钢管呢？一般分为两步，①识别一个物体是钢管，②钢管数 + 1。钢管数+1 大家应该都会吧，那么主要的难点是就是如何如何识别一个物体是钢管了。那么一个人又会怎样去判断一个物体是钢管呢？

通常情况下，我们会动用我们的“五感”来完成这项操作，但由于我们这里所说的是计算机视觉的内容，所以这里就只会列举和视觉相关可能情况：

1、颜色识别：人类首先会注意到钢管的颜色。钢管通常具有金属质感，常见的颜色有银灰色、黑色等。人们通过观察钢管的颜色来初步判断是否为钢管。

2、形状识别：人类会观察钢管的形状。钢管通常是圆柱形状，具有一定的长度和直径。人们会注意到钢管的直线边缘，并尝试通过比较宽度和长度的比例来判断是否为钢管。

3、光泽度分析：人们会注意到钢管的光泽度。钢管通常具有金属光泽，反射周围环境的光线。通过观察钢管表面的反射情况，人们可以进一步确认是否为钢管。

4、……

上面是一些可能存在的情况，但由于我们的目的是钢管和计数，钢管之间会存在堆叠的状态，而不仅仅是识别单个钢管，钢管之间会有遮挡等因素，而使“银灰色、黑色、圆柱形、有金属光泽等”钢管特征并不能应用到该场景下，所以我们进一步思考，堆叠状态下的钢管是什么样子，或者说它们有什么共同特征来方便我们计数。

下面是一副简易的堆积钢管侧面的模型图（如果为了存储或运输也有可能会变成六边形），我们能够看到，钢管就变成了一个个堆叠起来的圆橙色部分可以看做是一个个钢管，而灰色部分则是钢管所包裹成的阴影。如果我们能够找到每个钢管的轮廓这个问题就简单多了。

数钢管实战

图像预处理

当我们获得图像后，一般需要对图像进行色彩空间转换、噪声去除、对比度增强、图像平滑等预处理操作，才能够更好地进行后续的图像分析任务的处理。

下面将介绍几种适用数钢管场景的 CV 算法，大家可以了解一下来优化自己的数钢管应用。

Blob Detection

Blob Detection（斑点检测）是一种计算机视觉中常用的图像分析技术，用于检测和识别图像中的斑点或区域。斑点通常是图像中的亮点或暗点，其在图像中具有一定的特征和属性，例如颜色、大小、形状等。Blob Detection的目标是找到这些斑点并提取相关信息。

Blob Detection的原理可以概括如下：

1、阈值化：首先，将图像进行灰度处理，并应用适当的阈值化方法，将图像转换为二值图像。这可以通过简单的全局阈值化、自适应阈值化等方法来实现。

2、连通区域分析：在二值图像中，通过连通区域分析来找到图像中的连通区域。连通区域是由相邻像素组成的区域，像素具有相似的特征。

3、斑点筛选：通过对连通区域的属性进行筛选，识别出符合预设条件的斑点。这些属性可以包括斑点的面积、圆度、凸性等。

4、斑点标记：对于通过筛选的斑点，可以进行标记，例如绘制边界框、绘制圆形等，以便在图像上可视化这些斑点的位置和特征。

Blob Detection算法的参数可以根据具体的应用场景和图像特征进行调整。常见的参数包括最小阈值、最大阈值、斑点面积阈值、形状过滤等。这些参数的调整可以影响斑点的检测率和准确性。下面是一段示例代码，你可以调整参数来达到更好的效果

import cv2
import numpy as np

# 读取图像
image = cv2.imread("img.png", cv2.IMREAD_GRAYSCALE)

# 预处理：二值化
_, threshold = cv2.threshold(image, 0, 255, cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU)

# 设置Blob Detector的参数
params = cv2.SimpleBlobDetector_Params()
params.minThreshold = 20  # 最小阈值
params.maxThreshold = 100  # 最大阈值
params.filterByArea = True  # 按斑点面积过滤
params.minArea = 100  # 最小斑点面积
params.filterByCircularity = False  # 不按圆度过滤
params.filterByConvexity = False  # 不按凸度过滤
params.filterByInertia = False  # 不按惯性过滤

# 创建Blob Detector
detector = cv2.SimpleBlobDetector_create(params)

# 斑点检测
keypoints = detector.detect(threshold)

# 绘制检测结果
image_with_keypoints = cv2.cvtColor(image, cv2.COLOR_GRAY2BGR)
for kp in keypoints:
    x, y = kp.pt
    size = kp.size
    cv2.circle(image_with_keypoints, (int(x), int(y)), int(size/2), (0, 0, 255), 2)

# 显示结果
cv2.imshow("Steel Pipe Detection", image_with_keypoints)
cv2.waitKey(0)
cv2.destroyAllWindows()

# 输出钢管数量
steel_pipe_count = len(keypoints)
print("Steel Pipe Count:", steel_pipe_count)

HoughCircle

Hough Circle Transform（霍夫圆变换）是一种用于在图像中检测圆的经典算法。它基于霍夫变换的原理，通过在极坐标空间中搜索圆的参数，并将其转换回图像空间，从而实现对圆的检测和提取。

Hough Circle Transform 的原理可以概括如下：

  1. 边缘检测：首先，在输入图像上应用边缘检测算法（如Canny边缘检测），以获取图像中的边缘信息。
  2. 参数空间：在霍夫圆变换中，使用三个参数来表示一个圆：圆心的x坐标、圆心的y坐标以及圆的半径r。通过设定合适的参数范围，创建一个二维的参数空间来表示所有可能的圆。
  3. 累加器数组：对于每个边缘点，根据其可能的圆心和半径，在参数空间中进行累加。即对于每个边缘点，对应的参数空间中的位置加上一个权重值。
  4. 圆检测：在累加器数组中找到具有高累加值的位置，这些位置对应于可能的圆心和半径组合。这些位置表示了图像中存在的圆。
  5. 阈值和非最大抑制：根据设定的阈值，筛选出累加值高于阈值的圆。对于相邻的圆，进行非最大抑制，保留具有最高累加值的圆，抑制其他圆。
  6. 绘制圆：根据筛选出的圆心和半径，在原始图像上绘制检测到的圆。

Hough Circle Transform 的参数包括边缘检测的参数、参数空间的分辨率、最小半径和最大半径的范围等。这些参数的设置会影响圆的检测结果，需要根据具体的应用场景和图像特征进行调整。

同样，下面给出一段代码，你可以修改代码达到更好地效果。

import cv2
import numpy as np

# 读取图像
image = cv2.imread("img.png")

# 预处理：灰度化
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)

# 边缘检测
edges = cv2.Canny(gray, 50, 150)

# 霍夫圆变换
circles = cv2.HoughCircles(edges, cv2.HOUGH_GRADIENT, dp=25, minDist=1, param1=1, param2=20, minRadius=10, maxRadius=30)

# 钢管计数
steel_pipe_count = 0

# 绘制检测到的钢管
if circles is not None:
    circles = np.round(circles[0, :]).astype(int)
    for (x, y, r) in circles:
        cv2.circle(image, (x, y), r, (0, 255, 0), 2)
        cv2.circle(image, (x, y), 2, (0, 0, 255), 3)
        steel_pipe_count += 1

# 显示结果
cv2.imshow("Steel Pipes", image)
cv2.waitKey(0)
cv2.destroyAllWindows()

# 输出钢管数量
print("Steel Pipe Count:", steel_pipe_count)

轮廓分析

轮廓分析是计算机视觉和图像处理中常用的一种技术，用于检测和描述图像中的对象形状。它基于图像的边缘信息，通过连接边缘点构成闭合的曲线，从而得到物体的轮廓。

轮廓分析的基本步骤如下：

  1. 边缘检测：首先，在输入图像上应用边缘检测算法（如Canny边缘检测）或其他边缘提取方法，以获取图像中的边缘信息。
  2. 轮廓提取：通过在边缘图像上应用轮廓提取算法（如cv2.findContours函数），寻找并提取闭合的轮廓。轮廓由一系列有序的点组成，可以表示对象的外形。
  3. 轮廓特征提取：对于每个提取的轮廓，可以计算一些特征来描述其形状、大小、方向等。常用的轮廓特征包括轮廓长度、面积、周长、外接矩形、外接圆等。
  4. 轮廓筛选和过滤：根据应用需求，可以通过一些筛选条件和过滤方法，对提取的轮廓进行进一步处理。例如，可以根据轮廓的特征进行筛选，去除过小或过大的轮廓，或者根据形状特征进行形态学处理。
  5. 轮廓绘制和可视化：可以将提取的轮廓绘制在原始图像上，以便进行可视化和结果展示。这可以通过绘制轮廓曲线、外接矩形或其他几何形状来实现。

轮廓分析在许多图像处理和计算机视觉任务中都有广泛应用，如目标检测、形状识别、图像分割等。通过对轮廓的分析和提取，可以获取图像中对象的形状信息，从而实现对图像中感兴趣区域的提取、分类、计数等操作。

下面结合本例给出一段代码，你也可以修改，查看是否能够获得更好的效果。

import cv2

# 读取图像
image = cv2.imread("img.png")

# 转换为灰度图像
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)

# 进行图像预处理
blurred = cv2.GaussianBlur(gray, (5, 5), 0)
_, threshold = cv2.threshold(blurred, 100, 255, cv2.THRESH_BINARY)

# 轮廓检测
contours, _ = cv2.findContours(threshold, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)

# 钢管计数
steel_pipe_count = 0

# 遍历轮廓
for contour in contours:
    # 进行轮廓逼近
    epsilon = 0.02 * cv2.arcLength(contour, True)
    approx = cv2.approxPolyDP(contour, epsilon, True)

    # 判断是否为钢管（通过轮廓的形状等特征）
    if len(approx) >= 4:
        (x, y, w, h) = cv2.boundingRect(approx)
        aspect_ratio = w / float(h)

        # 调整判断条件
        if 0.1  50:
            # 绘制钢管轮廓
            cv2.drawContours(image, [approx], 0, (0, 255, 0), 2)
            steel_pipe_count += 1

# 显示结果
cv2.imshow('image', threshold)
cv2.imshow("Steel Pipes", image)
cv2.waitKey(0)
cv2.destroyAllWindows()

# 输出钢管数量
print("Steel Pipe Count:", steel_pipe_count)

结合深度学习

深度学习和OpenCV是两种不同但可以相互结合的技术，它们在图像分析和处理任务中发挥着重要作用。深度学习通过神经网络模型和大规模数据训练，能够学习到图像中的复杂特征和模式，具有很强的图像识别和分类能力。

而OpenCV是一个强大的计算机视觉库，提供了丰富的图像处理和分析工具，可以实现各种传统的图像处理算法。结合深度学习和OpenCV可以发挥两者的优势，提高图像分析的准确性和效果。

在钢管识别中，可以利用集成的深度学习模型对预处理后的图像进行钢管识别。根据模型的输出结果，确定图像中存在钢管的位置信息。然后，可以使用OpenCV中的轮廓分析、形状分析等技术对钢管进行进一步处理和计数。

数竹签分析

而数串串，与数钢管有异曲同工之处，图像预处理后，两者的图像会有所不同，但由于“串串”是实心的，而钢管是空心的，这是两者区别最大的地方；需要针对串串的特点进行特定的预处理和参数调整，并对实心的串串重新训练模型，需要针对串串的特点进行特定的预处理和参数调整。

总结

在本文中，我们介绍了使用OpenCV和深度学习来解决数钢管和数串串的问题，使用OpenCV的Blob Detection和Hough Circle技术对钢管以及串串进行检测，并使用轮廓分析对钢管进行计数。然而仅仅适用 OpenCV 技术似乎是不行的，需结合深度学习才能达到更好的效果。

因为最近在期末考试，所以暂时没来得及训练这个模型，后面等暑假过来，我会写一篇博客把深度学习的部分总结一下，并制作成 APP 供大家使用😀😀😀。

服务器托管，北京服务器托管，服务器租用 http://www.fwqtg.net
机房租用，北京机房租用，IDC机房托管， http://www.fwqtg.net

相关推荐: Databend v1.2 版本发布！Data + AI

各位社区小伙伴们，Databend 于 2023 年 6 月 29 日迎来了 v1.2.0 版本的正式发布！相较于 v1.1.0 版本，开发者们一共新增了 600 次 commit，涉及 3083 个文件变更，约 17 万 行代码修改。感谢各位社区伙伴的参与，…

服务器托管，北京服务器托管，服务器租用，机房机柜带宽租用

服务器托管

咨询：董先生

电话13051898268 QQ/微信93663045！

上一篇:
下一篇: