总目录：1.1 OpenCV介绍与学习路线　｜　第四章：把知识连成项目　｜　编号：4.2

← 上一节：4.1 完整的形状检测流程　｜　下一节：4.3 视觉控制中的坐标与滤波 →

---

4.2 摄像头检测与调参

同一套算法在测试图片上很稳，放进摄像头却开始抽风，通常不是 OpenCV 在针对你。实时系统多了曝光变化、运动模糊、采集延迟、丢帧和资源管理。

一、实时程序比静态图片多了什么

静态图：输入固定，处理一次

摄像头：输入不断变化
        + 采集速度限制
        + 处理耗时
        + 窗口刷新
        + 硬件参数
        + 异常恢复

实时检测的目标不只是“某一帧识别正确”，还要结果稳定、延迟可接受、设备能长期运行。

二、把“采集”和“检测”分开

def detect(frame):
    # 预处理、轮廓、筛选
    # 返回结构化结果与调试图
    return detections, debug_images

主循环只负责：

cap = cv2.VideoCapture(0)
if not cap.isOpened():
    raise RuntimeError("无法打开摄像头")

try:
    while True:
        ok, frame = cap.read()
        if not ok:
            break

        detections, debug_images = detect(frame)
        result = draw_detections(frame, detections)

        cv2.imshow("Result", result)
        cv2.imshow("Mask", debug_images["mask"])

        if cv2.waitKey(1) & 0xFF == ord("q"):
            break
finally:
    cap.release()
    cv2.destroyAllWindows()

这样以后把视频文件换成摄像头、把窗口换成串流，都不用重写检测逻辑。

三、先固定成像，再调算法

颜色阈值一直漂时，先问：相机是不是自己在改变画面？

需要关注：

• 自动曝光；
• 自动白平衡；
• 自动增益；
• 光源频闪；
• 快门过慢造成运动模糊；
• 焦距和对焦。

设置分辨率与 FPS：

cap.set(cv2.CAP_PROP_FRAME_WIDTH, 640)
cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 480)
cap.set(cv2.CAP_PROP_FPS, 30)

print("actual width:", cap.get(cv2.CAP_PROP_FRAME_WIDTH))
print("actual height:", cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
print("reported fps:", cap.get(cv2.CAP_PROP_FPS))

摄像头可能拒绝某个组合，必须读回验证。曝光设置依赖后端，见 五、摄像头属性与曝光。

四、FPS、延迟和积帧

测处理速度：

import time

last_time = time.perf_counter()

while True:
    ok, frame = cap.read()
    if not ok:
        break

    detections, debug_images = detect(frame)

    now = time.perf_counter()
    dt = now - last_time
    last_time = now
    fps = 1.0 / dt if dt > 0 else 0.0

    cv2.putText(frame, f"FPS {fps:.1f}", (20, 30),
                cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 255, 0), 2)

这个 FPS 包含一次循环的总耗时，不等于摄像头标称 FPS。

处理比采集慢会怎样

摄像头 30 fps → 每 33 ms 来一帧
算法每帧 80 ms
        ↓
处理赶不上采集
        ↓
缓冲区可能积旧帧，画面越来越延迟

改善方向：

• 降低输入分辨率；
• 只处理 ROI；
• 减少昂贵滤波或调试拼图；
• 采集线程只保留最新帧；
• 降低摄像头帧率；
• 在目标板上实际测试，不只看电脑。

CAP_PROP_BUFFERSIZE 是否生效依赖后端，不能把它当跨平台保证。

五、调参界面与参数保存

滑动条适合探索，不适合永远留在正式程序里：

滑动条找到范围
   ↓
记录多组样本表现
   ↓
把参数写入配置
   ↓
正式程序读取配置

例如 JSON：

{
  "hsv_lower": [5, 120, 100],
  "hsv_upper": [25, 255, 255],
  "min_area": 500,
  "morph_kernel": 3
}

配置还应记录适用条件：分辨率、摄像头型号、曝光、目标距离和光源。只保存三个 HSV 数字，未来的小登看到也不知道为什么这样配。

六、分层排错顺序

1. 采集层：frame 能不能稳定读到？
2. 成像层：曝光、焦距、白平衡是否稳定？
3. 预处理：gray / hsv 是否合理？
4. 分割层：mask / binary 里目标是否完整？
5. 结构层：形态学是否把目标粘坏？
6. 轮廓层：轮廓数量、面积、层级是否合理？
7. 分类层：具体哪条规则把目标排除了？
8. 控制层：识别正确后，坐标符号和时延是否正确？

日志别只打印“识别失败”

print({
    "contours": len(contours),
    "largest_area": max(areas, default=0),
    "lower_hsv": lower.tolist(),
    "upper_hsv": upper.tolist(),
    "fps": round(fps, 1),
})

建议保存失败帧

if not detections:
    timestamp = time.strftime("%Y%m%d-%H%M%S")
    cv2.imwrite(f"debug/fail-{timestamp}.png", frame)

实际项目里应限制保存频率和磁盘空间。失败样本会成为下次改算法最值钱的数据。

---

← 上一节：4.1 完整的形状检测流程　｜　下一节：4.3 视觉控制中的坐标与滤波 →