基于视觉识别的果蔬自动采摘机器人设计 ——LW文档

摘 要

目前的果蔬采摘基本上都是依赖于人工作业而导致劳动力成本高、劳动强度大，而现有的采摘机器人的研究基本上都是停留在理论层面，而极个别物化的成果都是基于计算机，从而导致系统体积过大、功耗高和成本高。为解决以上问题，本文提出并开发了一套基于视觉识别的果蔬采摘机器人。

本文的主要设计内容包括基于视觉识别的采摘机器人系统的方案设计、各个硬件电路的设计、以及基于汇编语言、VC++三种编程语言的软件设计。本文的主要贡献为：（1）提出利用视觉识别，也叫做DSP代替计算机实现果蔬视觉的采集、识别和果实的空间三维定位，并进行了验证；（2）提出一种采摘机械手降维的方法，解决了机器人建模复杂且实现困难的问题，并结合三维滑台实现并完成了对空间中果蔬的准确抓取和采摘的功能。

试验表明，本文研发的系统能够实现对果蔬果实的准确定位和采摘，具有操作简单、体积小巧、功耗低、性价比高等优点。本系统的研发对于提高果蔬的采摘效率，减少劳动力、降低农民的劳动强度和采摘成本具有重要的实际意义，也为精准农业的发展提供了一种新的思路和方法。

关键词：果蔬采摘，视觉识别，DSP，双目立体视觉

Abstract

At present, the tomato harvest work mostly depends on the artificial operation, which causes the problems of high-cost, high labor intensity etc. But now, the research of picking robot mainly focuses on the theoretical research. Few materialized productions, which use the computer as the controller, have the characteristics of big-system volume, high power-consumption, and high cost etc. To solve the above problems, this paper designs a tomato picking robot based on the DSP.

The main design contents of this paper include the scheme design of robot picking robot based on DSP, the hardware circuit design and software design based on the assembler language, C language and VC++ language. The main contributions of this paper include two aspects: (1) a novel scheme is proposes that DSP is used to take place of the computer to complete the tomato image acquisition, image process and three-dimension localization. (2) an novel approach for reducing dimensions is proposed to reduce the picking manipulator dimensions, which solves the difficulty in robot modeling and realization method. Combing with the three-dimension slipway, the grasping and picking for tomatoes are finished in the space.

This experiment tests indicate that the designed system can realize the accurate positioning and picking for tomatoes, as well as the system has many advantages of the simple operation, compact size, low power and high cost-performance ratio. The development of this system not only has the important meanings in improving the tomato picking efficiency, reducing human labors, reducing the labor intensity of farmers and the picking cost, but also providing a new idea and method for the development of precision agriculture.

Key words：Tomato picking, Image process, DSP, Binocular stereo vision

目 录

摘 要 I

Abstract II

1 绪 论 1

1.1 研究的背景及意义 1

1.2 国外研究现状 2

1.3 国内研究现状 3

1.4主要研究内容 4

2 采摘机器人整体结构分析 5

2.1移动机构 5

2.2机械手 5

2.3视觉识别和定位系统 7

2.4采摘控制方案 7

3 采摘机器人硬件系统设计 9

3.1 系统整体方案设计 9

3.2 双目立体摄像机的选型 10

3.3 视觉识别核心芯片的选型 11

3.4 下位机控制器选型与电路设计 15

3.5 采摘机械手自由度的降维方案和驱动设计 18

3.6 滑台限位和采摘手接触检测和设计 19

4 双目视觉定位模型及摄像机参数标定 21

4.1 双目视觉定位模型 21

4.1.1 摄像机坐标系 23

4.1.2 世界坐标系 23

4.2 摄像机标定方法 24

4.2.1 标定原理 24

4.2.2 基于OPENCV的张正友标定方法 24

4.2.3 基于OPENCV的张正友标定算法程序 25

4.3 标定结果及分析 25

5 视觉采集和预识别 27

5.1 视觉采集 27

5.2 视觉裁剪和二值化识别 27

5.2.1 视觉裁剪方法说明 27

5.2.2 视觉二值化识别方法说明 28

5.3 视觉滤波识别 29

5.4 果蔬果实边缘检测与轮廓提取 31

5.5 视觉显示调试方法设计 33

5.5.1 视觉显示调试方法设计 33

5.5.2 视觉显示调试方法的代码 33

6 样机试验和总结 35

6.1 采摘机器人样机试验 35

6.1.1试00验目的： 35

6.1.2 样机试验条件： 35

6.2总结和展望 38

参考文献 40

致 谢 42

1 绪 论

1.1 研究的背景及意义

西红柿(Tomato)，又名洋柿子。其内部含有丰富的蛋白质、维生素，以及胡萝卜素等营养物质。西红柿具有减肥瘦身、消除人们的疲劳等功效。据不完全统计，全世界果蔬总产量约为5000万吨/年，而我国则占到了约700万吨/年。

果蔬采摘作业是当前果蔬生产过程中比较费时和费力的环节。目前，果蔬采摘主要依赖于人工作业，由果农直接将果蔬从植株上采摘下来。然而人工采摘作业存在成本偏高、劳动强度大、而且采摘很不及时等弊端。同时，当前我国人口老龄化严重，农业劳动人口因为“进城”而骤减。而随着自动化技术的发展，自动采摘作业逐渐代替人类进行作业，可以大大减少采摘人员的劳动强度。因此，进行果蔬采摘作业自动化的研究对于社会具有重要的现实意义。

目前主流的采后品质分类是基于视觉的分类方案。这主要是由于图像数据具有容易获取、包含信息量大的特点。这些算法一定程度上达到了比较好的效果,但是受制于视觉技术的瓶颈，其准确率仍有进步的空间。相比之下，由于声音信号的处理和获取具有难度，模仿人类手段对果实进行分类的案例很少。例如江南大学汪迪松等,曾使用击拍声判别西瓜的成熟度，研究过声振与西瓜含糖量的关系。随着技术的发展，将这些信息结合起来，与图像信息一同作为分类依据，将有可能对分类准确率进一步提高。

为提升采摘工作整体的效率，需要多台机器人一同协作进行工作。理想状态下，果园中的机器人应当能够相互交互信息和相互协作，达到互利共赢。目前在协作方面仅仅能够实现工人与机器人的相互辅助，因此需要研究人机交互设计

2019年，Vasconez针对农业领域的人机交互问题做出了综述，指出农业中的事故大多是由于碰撞或认为错误引起的，因此设计人机交互系统将有效降低事故率。虽然目前在农业中利用交互的道路仍然很长，但这些技术将在未来带来可观的生产率和经济效益。

在多机协作方面，Arguenon等,提出一种多智能体的农业机器人原型，提出了针对每个机器人的行为、交互作用以及一些用于系统测试的方案，能够一定程度上提高农业机器人协作的效率。

除此之外，关于多机协作的理论研究虽有所进展，但将其应用于农业采摘的案例较少。可见，目前机器人与人类的相互协作虽已有一些应用，但仍需大量的人工操作，效率仍不够理想，无法达到大大提升工作质量的要求，相关技术也并不够成熟。而多机协作方面，由于单个机器人的成本和性能都不够理想，多机协作相关的研究也比较有限，目前仍处于理论研究阶段。随着单个采摘机器人能力的发展和不断提升，未来对人机交互、多机协作的研究将成为热点。

1.2 国外研究现状

采摘机器人要实现精确的采摘，最重要的就是确定果实在空间三维坐标中的精确位置，而果实三维空间中的位置需要利用机器视觉来完成。机器视觉已有二三十年的发展历史，其功能及适用范围随着当今科技的快速发展而不断应用和完善。

采摘机器人是农业机器人中一种特别重要的机器人，很多发达国家现在已经在采摘机器人领域有了较大的发展。比如美国、荷兰、以色列等西方国家在此领域有较为成熟的发展。

20世纪80年代，美国麻省理工学院的D.Marr，从计算机科学的角度出发，将神经生理学、数学以及心理物理学融为一体，提出了视觉计算理论，该理论是双目视觉的前提条件，也为以后机器视觉采摘机器人的发展奠定了基础。

1994年，英国Silsoe研究院的科学家从视觉识别出发，研制出了蘑菇采摘机器人，该机器人可以通过视觉识别自动测量并判断蘑菇的大小和空间三维坐标，进而选择性的进行采摘工作。

1996年，日本冈山大学的Kondo N通过视觉识别，研发了基于视觉识别的果蔬采摘机器人。该机器人使用摄像头采集视觉，经过视觉识别后，识别出成熟的果蔬，使用采摘机械手实现对果实的准确采摘。

2000年，以色列国家的科学家研发了世界上第一台甜瓜采摘机器人。该机器人利用黑白视觉识别的方法进行甜瓜的识别和空间定位。同时，该机器人还能根据甜瓜的圆形和椭圆形等几何形状特征的特殊性来增加识别成功的概率。经过实验验证，该采摘机器人可以自主完成大部分的甜瓜识别及采摘工作。

1.3 国内研究现状

从国内采摘机器人的发展趋势和成就来看，尽管我国在采摘机器人的研究领域起步较晚，较发达国家有不少差距，而且当前大部分的工作还主要集中在实验室的仿真和试验阶段，但不少研究人员也开始也取得了一定的成果。

2004年，中国农业大学的张铁中等人通过色彩空间参照表，提出了适用于水果采摘机器人视觉系统果实目标提取的视觉分割算法。通过对比试验发现，采用该算法分别对草莓和西红柿等果实的视觉在Lab、HSV、YCbCr色彩模型下进行实验，取得了理想的效果。

2009年潍坊学院的宋键等人根据茄子生长的空间分布信息，采用了基于直方图的固定阈值法实现了对灰度视觉进行小区域分割，完成了对茄子果实的轮廓、质心等参数的判断。试验证明，该方法对茄子等作物的识别率较高，而且系统本身工作稳定，但是缺点是耗时过长。

2010年河北农业大学的司永胜等人通过对不同光照情况下拍摄的苹果视觉进行识别，利用归一化的红绿色差算法获得苹果了轮廓视觉。实验结果证明：该识别算法的准确识别率可以达到90%以上。同时，采用随机圆环法，实现了准确地提取果实的圆心和半径参数。

2014年常州大学的吕继东等人为了缩短系统对视觉识别的时间，提高苹果果实的识别率，利用动态阈值分割的方法，通过改进的去均值归一化积法实现了快速跟踪目标果实，并进行了不同阈值分割方法下果实识别的对比性试验。试验结果证明，该方法大大减少了苹果采摘机器人采摘过程识别时间，而且识别率也较之前的方法有所改善。

1.4主要研究内容

本文主要是通过利用DSP控制双目摄像机采集视觉，并经过二值化、滤波识别、索贝尔边缘识别、形心确定、特征点匹配、三维重建等步骤实现对果蔬的空间三维定位，然后将果蔬果实的空间三维坐标等参数传送至下位机，下位机进而通过控制三维滑台和采摘机械。

6 样机试验和总结

6.1 采摘机器人样机试验

6.1.1试验目的：

在完成了以上所有的步骤后，需对基于视觉识别的采摘机器人进行试验，主要的目的如下：

1． 验证所搭建的DSP硬件电路、下位机MSP430F149硬件电路等是否正常工作；

2． 验证三维滑台、采摘机械手等的设计是否合理，并对其进行驱动实验，验证其工作的可靠性和稳定性；

3． 通过DSP输出的模拟视频信号输出到显示器上，验证DSP对采集的双路视频并进行视觉识别后的效果是否满足后续的要求；

4． 在显示器上查看DSP是否能准确定位果蔬果实轮廓上的特征点以及是否能够准确的确定果蔬果实的形心坐标；

5． 利用MATLAB的矩阵功能，通过输入特定的视觉坐标系上点的坐标，根据双目立体视觉定位数学模型和公式，计算出空间三维坐标值，并与DSP计算出的空间三维坐标值作对比，验证其正确性和准确度；

6． 验证TMS320DM642和下位机MSP430F149之间能否进行正常的通讯，并且机械手能否进行对某一个果蔬果实进行准确的采摘；

7． 试验三维滑台的六个端点处碰撞传感器的灵敏度，察看当滑台运动到端点时，系统的相应运动的滑台是否进行了保护动作而停止运动；

6.1.2 样机试验条件：

在实验室进行综合了试验。考虑到在进行设计时采摘机械手张开的尺寸较为狭窄，仅为50mm所有；而且市场上较难买到直径小于50mm的果蔬果实。同时，为了实验的效率，提高实验的可重复性，我们采用直径为40mm的乒乓球模拟果蔬果实进行试验。

由于本设计在视觉识别时仅仅考虑较为理想的情况，暂时没有考虑背景的复杂度。所以在进行试验时，为了减少外界背景对采摘系统的干扰量，采摘区域的背景直接采用纯黑的底色。同时，由于实验室内灯光较暗，为了提高视觉识别的清晰度，加入灯光补偿模块。

最后由于室内气流较为稳定，本次试验并没有考虑有风导致果蔬果实随意摆动的情况。即使这样我们也提出了一种较为简单的方法来抵抗外界因为有风而导致的双目立体定位不准确的方法，即：在采摘机械手的前方位置加入挡风屏障，实现对果蔬果实局部位置的遮挡，减少外界气流对其的影响。

本次试验所用的基于视觉识别的采摘机器人实物图如图6-1中的（a）和（b）所示。

基于视觉识别的采摘机器人实物图

(a)

基于视觉识别的采摘机器人实物图

(b)

表6-1 采摘试验的结果统计

参数 环境条件 平均值

弱光 强光

果实数目 50 50 50

正确识别个数 34 48 41

正确采摘个数 32 45 38.5

识别时间 3.1 1.6 2.35

采摘时间 25 25 25

平均识别率 68% 96% 82%

由上表中的试验结果分析可知，基于视觉识别的果蔬采摘机器人的平均识别率达到了82%，当然这只是在弱光和强光下的平均识别结果，在强光下的识别率96%已经可以达到实际的应用要求；由结果知道，采摘机器人在强光下的识别率要远远大于在弱光下的识别率，分析可能的最主要原因就是弱光不利用DSP对视觉采集，而且使得DSP在后续的视觉识别时造成误差，同时延长了视觉识别的时间，从而影响后续的试验结果，因此我们提出设想，为了进一步提高采摘机器人的识别率，可以让其尽量在晚上工作，而且加入红外灯光补偿模块，这样采摘机器人周围的光照强度趋于一个强度，对于提高视觉识别的精准度具有很大的作用。

6.2总结和展望

本设计通过使用DSP代替原有的需要依赖OpenCV进行视觉识别的计算机，利用低成本、小体积的数字信号识别器实现了双目摄像机视觉采集。同时，通过对采集的视觉进行二值化识别、滤波识别、索贝尔边缘识别、特征点和形心判定、特征点匹配、三维重建等操作，最终实现了对果蔬的空间初步三维定位和采摘。

本设计完成的主要工作有：

1．进行了系统整体的硬件方案的选择和设计；

2．通过VC实现了对双目摄像机进行内部参数的获取和校正；

3．利用DSP控制双目摄像机进行双路视频采集并对采集的视觉进行了阈值分割、索贝尔边缘识别、中值滤波等操作，并通过识别后的视觉找到了形心；

4．实现了利用DSP对特征点的简单的匹配、三维重建识别，并能简单的进行三维坐标的计算和将计算结果输送至控制器；

5．实现了DSP与控制器之间的通讯，下位机能根据通讯数据实现对三维滑台和机械手的控制；

6．实现了DSP和控制器能协调工作，完成对某一区域内果蔬的采摘工作。

本系统在选型的时候就考虑到了农业工作环境的复杂性，并且尽量提高系统的稳定性能和工作效率。本设计的研发虽然已经能实现简单的三维定位工作，但由于采摘环境的复杂性、多变性以及干扰因素较多，因此本设计还具有很多不足之处，主要表现在以下几个方面：

1．由于本设计的出发点之一就是抛弃掉原有的基于工控机的OpenCV，寻找一种相对低成本的识别器实现对视觉的识别，因此，考虑到本设计的成本问题，本设计选择了较为低端的C6000系列DSP，而没有去选择成本较高的达芬奇系列的DSP+ARM双核识别器。如果在试验前期不考虑成本问题，只是为了更好的试验，可以考虑更高速度的DSP，这样系统的整体工作效率将会大大提高。另外，如果使用两块较为低端的DSP同时对视觉进行识别，之后进行信息的融合也不失为一种好的方法，这样既能提高的运行的效率有不至使开发成本过高。

2．本设计中选用的双目摄像机是一般的720×576分辨率的彩色模拟摄像机，该摄像机的CCD尺寸不精确，而且该摄像机的位置必须由用户自己安装固定，这样造成了两摄像机的光轴不平行的问题，同时，由于两摄像机的制造工艺的问题，造成左右两台摄像机的焦距及其它内部参数不一定相等，造成了误差较大。如果预算充足，可以选择购买专用的双目视觉摄像机。最后，在摄像机标定时，采用的是自制的5×7格的标定板，由于打印机等分辨率有限，使得标定板的规格精度有限，如果采用专业制作的标定板，可以提高摄像机标定的精度，进而提高采摘机器人的三维定位精度。

3．在进行双目摄像机标定时，由于使用的是基于2D模型的张正友方法标定算法，如果棋盘摆放的不平整，肯定会对标定结果造成很大的影响。而且通过算法说明手册可以发现：标定板上的平整度的影像远远大于噪声的影响。若购买精确度能达到0.01mm的专业标定板，将能更好的对摄像机的畸变能标定和校正，使系统单位定位的精度进一步提高。

4．本设计的最大的问题在于：因为DSP识别速度的限制以及个人能力和时间非常有限，在进行对果蔬果实视觉识别时，只是使用了简单的纯色背景，并没有在较为复杂的农业环境中试验。同时由于立体匹配算法较为复杂，本设计只是通过求得果蔬果实的外形轮廓的特征点信息作为匹配点，从而造成立体匹配的工作精度和适用面广度不够，因此这也是下一版机器亟待解决的问题。

参考文献

[1] 陈潭，果蔬的食疗功效[J]．烹调知识，2002．

[2] 吴剑桥,范圣哲,贡亮,苑进,周强,刘成良.果蔬采摘机器手系统设计与控制技术研究现状和发展趋势[J].智慧农业(中英文)，2020，2(04):17-40.

[3] 苏蕾，徐厚平，果蔬红素的营养保健功效[J]． 食品与药品, 2007, 07: 66-68．

[4] 冯积广，果蔬的保健功能及创新菜肴设计[J]． 四川烹饪高等专科学校学报，2012，(4)：23-24．

[5] 程力，韩葆颖． 我国果蔬产业如何应对市场新挑战[J]． 农产品加工综合刊，2013， (6)：14-15．

[6] 梁勤安，余庆辉， 冯斌等． 新疆加工果蔬机械化收获发展对策的研究[J]. 新疆农业科学，2007，02: 225-230．

[7] 姬江涛，郑治华，杜蒙蒙等．农业机器人的发展现状及趋势[J]．农机化研究，2014， 02：1-4+9．

[8] Xiangjun Zou, Haixin Zou, Jun Lu. Virtual manipulator-based binocular stereo vision positioning system and errors modelling. [J]. Mach. Vis. Appl.,2012,23: 43-63.

[9] Takahashi T, Zhang Shuhuai, Fukuchi H. Measurement of 3-D locations of fruit by binocular stereo vision for apple harvesting in an orchard[C]. CIGR 5th World Congress, Hyatt Regency Chicago, Chicago, Illinois, USA, 2002: 1-10.

[10] Van Henten E J, Hemming J, Van Tuijl B A J, et al. Anautonomous robot for harvesting cucumbers in greenhouses[J]. Autonomous Robots, 2002, 13: 241-258.

[11] Bulanon D M, Kataoka T, Okamoto H, et al. Determining the 3-D location of the apple fruit during harvest[C]//Proceeding soft Automation Technology for off-Road Equipment, Kyoto, Japan, 2004: 91-97.

[12] Tanigaki K, Fujiura T, Akase A . Cherry-harvesting robot[J]. Computers and Electronics in Agriculture, 2008, 63: 65-72.

[13] He Bei, Liu Gang. Apple maturity discrimination and position[C]//IFIP International Federation for Information Processing, 2008: 969-976.

[14] Jiménez A R, Jain A K, Ceres R. Automatic fruit recognition: A survey and new results using Range/Attenuation images[J]. Pattern Recognition, 1999, 32(10): 1719-1736.

[15] Jiménez A R, Ceres R, Pons J L. A vision system based on alaser range -finder applied to robotic fruit harvesting[J].Machine Vision and Applications, 2000, 11: 321-329.

[16] Lee K H, Ehsani R. Comparison of two 2D laser scanners for sensing object distances, shapes, and surface patterns[J]. Computers and Electronics in Agriculture, 2008, 60: 250-262.

[17] Anoop Kulkarni, R K Shevgaonkar, S C Sahasrabudhe. EDGE DETECTION USING SCALE SPACE KNOWLEDGE[A]. IEEE Beijing Section Northern Jiaotong University.Proceedings of 1993 IEEE Region 10 Conference on “Computer,Communication,Control and Power Engineering”(TENCON'93/Beijing) Volume 2 of 5[C]. IEEE Beijing Section、Northern Jiaotong University:,1993:5.

[18] 姚国正，汪云九．D.Marr及其视觉计算理论[J]．国外自动化，1984, 06： 55-57．

[19] D. Marr, T. Poggio, Ellen C. Hildreth,W. Eric L. Grimson.A computational theory of human stereo vision[J]. Science, 1991, 263-295.

[20] NOBLER, REEDJN, MILESS, etal. Influence of mushroom strains and population density on the performance of a robotic harvester[J]. J Agric Engng Res, 1997, 68: 215-222.

[21] REEDJN, MILESSJ, BUTLERJ, etal. Automatic mushroom harvester development[J]. J Agric Engng Re s, 2001, 78(1): 15-23.

[22] Kondo N, Ting K C. Robotics for plant production[J]. Artificial Intel ligence Review, 1998, 12: 227-243.

[23] 黄实批. 基于模糊控制算法的采摘机器人执行系统优化[J]. 农机化研究, 2023, 45(2):5.

[24] 任培华. 基于机器视觉的智能仓储运输机器人设计与研究[J]. 智慧农业导刊, 2023, 3(2):4.

[25] 徐晨. 基于计算机视觉的割草机器人作业控制研究[J]. 农机化研究, 2022(044-012).

[26] 洪靖茹. 基于工业机器人与机器视觉的芯片分拣系统设计[J]. 电脑知识与技术：学术交流, 2022(002):018.

[27] 刘相佐, 陈广大, 丁赟,等. 基于机器视觉的双足机器人寻迹系统设计[J]. 2021.

[27] 邹继欣. 基于DSP的机器视觉在农产品果实识别中的应用[D]. 东北农业大学, 2016.

[28] 陈银银. 基于激光视觉焊缝跟踪技术的机器人焊接智能产线设计[J]. 科技创新与应用, 2023, 13(1):4.

[29] 王亮. 基于深度相机的苹果采摘机器人的目标检测和路径规划算法研究[D]. 江苏大学, 2019.

[30] 孙丹. 基于机器视觉的农业机器人自主作业设计[J]. 南方农机, 2023, 54(6):3.

[31] 倪江楠, 郭君扬. 基于PID控制和ADAMS的快速移动采摘机器人设计[J]. 农机化研究, 2023, 45(2):4.

[32] 林希宁, 杨旭, 杨照坤．基于视觉识别的模块化工业机器人工作站的研制[J]. 科学技术创新, 2023(3):4.

[33] 薛家兴, 刘晓琳, 薛彦杰． 一种基于视觉识别的机器人随动挂件系统[J]. 制造技术与机床, 2023(3):5.

[34] 徐振中, 周洁, 孙立辉. 基于机器视觉的CoreXY结构写字机器人设计[J]. 自动化与仪器仪表, 2023(1):5.

[35] 冯治广, 董佳佳, 王茂英. 基于Softmax的采摘机器人目标识别技术研究[J]. 农机化研究, 2023, 45(2):5.

[36] 徐龙. 基于物联网的工业机器人步态自动控制系统设计[J]. 信息记录材料, 2023, 24(1):4.

[37] 朱名强, 韦娟, 刘春群,等. 基于机器视觉的工业机器人工作站的设计[J]. 机械工程与自动化, 2023(1):3.

[38] 王洋洋, 李国利, 张曌. 基于RobotStudio的塑料瓶分拣机器人设计[J]. 机电技术, 2023(1):4.