Applications of low-cost computer vision for agricultural implement feedback and control

Applications of computer vision in agriculture have significant potential for improving the precision and efficiency of several field operations, such as weed control. Cultivation is commonly employed for non-chemical weed control by organic farmers or as a supplementary control method for herbicide-resistant weeds. Cultivation requires precise hitch steering systems in order to compensate for the independent motion of the implement. Conventional systems utilize mechanical guiding rods for row detection, but guiding rods are contact sensors and perform poorly during the earliest stages of crop growth when cultivation is often critical. Modern systems based on real-time kinematic global navigation satellite systems (RTK-GNSS) have been developed which are highly accurate but require a secondary receiver on the implement and are often prohibitively expensive for small-scale operations. Therefore, a low-cost computer vision system was developed as a non-contact sensor to supplement guiding rods for early-season, inter-row cultivation. The computer vision system was interfaced with a Sukup Auto-Guide electro-hydraulic hitch steering system. Two cameras were mounted to the cultivator tool-bar in-line with crop rows to obtain semi-orthogonal video streams of the plants passing beneath the implement. Python and OpenCV were used to develop an algorithm for detecting the offset of the crop rows and to adjust the hydraulic steering accordingly via PID control. The computer vision system was compared against guiding rods at travel speeds of 6, 8, 10, and 12 km/h in corn and soybean fields under varying ambient light conditions and differing crop stages. The computer vision system significantly outperformed the guiding rods when crop plants were less than 15 cm and there was no significant difference in performance between the two sensing techniques when the crops were larger.In addition to row detection, the same computer vision system was used for robust, real-time implement visual tracking. Implement-mounted cameras have the potential to provide machinery feedback, i.e. travel speed and direction, during field operations where accurate tracking data may be used for adjusting operational parameters, such as the responsiveness of a hydraulic steering system. Several feature-descriptor algorithms were evaluated using six different surfaces (gravel, asphalt, turf grass, seedlings, corn residue, and pasture) at travel speeds between 1 and 5 m/s. When comparing visual tracking with RTK-GNSS, ORB with CLAHE pre-processing (CLORB) and 1NN cross-checking was the most robust with respect to real-time applications. For 95% of measurements, CLORB achieved errors under 0.23 m/s. Of the feature-descriptors which achieved acceptable accuracy, only CLORB was capable of operating in real-time (25 Hz), whereas USURF, SURF and SIFT were only capable of 15 Hz or less.Les applications de la vision par ordinateur ont le potentiel d'améliorer plusieurs opérations dans le domaine de l'agriculture, tel que le contrôle des mauvaises herbes. Une de ces méthodes consiste à gérer ces plantes indésirables en les cultivant ; une méthode utilisée par les agriculteurs biologiques et leur contre-parti conventionnel le font quand ils font face à des mauvaises herbes résistantes aux herbicides. Cette méthode demande le contrôle précis de la direction de l'attelage pour compenser pour le mouvement indépendant de celui-ci. Les systèmes conventionnels vont utiliser des tiges pour détecter les rangées mécaniquement. Par contre, ces tiges ont tendance à mal performer durant les phases de croissance initiales des plantes – un moment critique dans lequel les mauvaises herbes doivent être désherbées. Les systèmes plus modernes qui utilisent la navigation globale par système satellite kinematic à temps réel, fonctionne avec exactitude, mais demandent un receveur secondaire placé sur l'outillage, attaché à l'attelage. Le coût de ce dernier rend cette technologie inaccessible aux opérations à plus petites échelles. Un système de vision par ordinateur (aussi appeler vision numérique), sans contact et à bas prix, a été créée à cette effet. Elle a comme but de désherber entres les rangées, tôt dans la saison, là où les tiges fonctionnent moins. Cette vision numérique est connectée à un système de pilotage électrohydraulique Sukup Auto-Guide. Deux caméras ont été placées sur la barre à outils de l'équipement de désherbage afin d'obtenir un image semi-orthogonal des plants qui passent dessous. Le langage programmatique Python et OpenCV ont été utilisés afin de développer un algorithme pour la détection de la compensation des rangées et ensuite, ajuster le système pilotage par PID. Ce système de vision numérique a été mis au défi contre les tiges à des vitesses de 6, 8, 10, et 12 km/h dans des champs de maïs et de soya, sous des conditions de lumières ambiantes variées et à différentes étapes de la pousse. Le système de vision numérique surpasse la performance des tiges dans tous les cas où les plantes étaient moins de 15cm. Dépassées cela, il n'y avait pas de différences significatives entre les deux technologies. En plus du système de détection des rangées, ce même système de vision numérique a servi pour le suivi de plusieurs paramètres tels que la direction et la vitesse durant les opérations. Ces données peuvent servir à des ajustements tel que la vitesse de réaction du système de pilotage hydraulique. Plusieurs algorithmes d'analyse des traits particuliers ont été évalués sur un total de six surfaces différentes (gravier, asphalte, gazon, semis, résidus de maïs, et pâturage) à une vitesse entre 1 et 5 m/s. En comparant le suivi avec RTK-GNSS, ORB avec CLAHE, prétraitement (CLORB) et une vérification croisée par 1NN, était la solution la plus robuste par rapport aux applications à temps réel. Pour 95% des mesures, CLORB a performé avec une précision de 0.23 m/s. Tous les systèmes numériques atteignent une précision similaire, mais CLORB a été testé en temps réel (25 Hz), tandis que USURF, SURF et SIFT étaient seulement efficaces sous moins de 15 Hz