Development and Field Testing of LiDAR Applications in Agricultural Mobile Vehicles: Safety, In-Row Tree Evaluation and Crop Assessment

A LiDAR sensor is a non-contact optical device that measures the distance to an object in a scanning field using the TOF technique. It has a high operation range, being able to perform accurate measurements under hostile environmental conditions such as fog, dust, or smoke. Thus, LiDAR seems to be a reliable sensor that allows a transversal application to various agricultural needs, such as: estimation of the volumes of a crop, assessment during its development, its location, as well as to reduce the risks arising from the mobility of agricultural vehicles, especially if we consider the role that robotics and automation can play. The personal challenge of the author and therefore the main motivation for the development of this thesis is to demonstrate the successful transversal use of a LiDAR sensor. Thereby, and considering the above exposed the thesis objectives could be stated as: 1. Implementation of the LiDAR to ensure safe movement of an autonomous tractor unit and within a multi-agent environment. 2. Evaluate different options in order to reduce the manpower demand suffered by the researcher when performing tree characterization through the use of a LiDAR. 3. Compare, under same conditions, the performance of a LiDAR sensor in contrast to other optical sensors for tree characterization. 4. Conduct an accurate and temporal crop characterization by the use of a LiDAR. Each of the agricultural LiDAR applications carried out was grouped into separate chapters, in which the experiments performed and the methodologies developed for each one of them are explained. Finally, this document offers a general discussion and conclusions of all the works performed for the four LiDAR applications in the frame of this Ph.D. thesis (three peer reviewed journals (two published, and one in progress), three international and national congresses, and one international workshop). LiDAR as part of a safety system: The safety system was designed following the current safety standards. The generic safety system developed, which can be applied to any multi-agent fleet, was integrated at each autonomous vehicle of the European RHEA project for detecting the obstacles in the driving lane. The safety system was formed by several subsystems (Obstacle Detector, Safety Controller and Mission Manager) hierarchically interconnected for the obstacle detection at an Individual Unit Level as well as for avoiding possible collisions at a Fleet Level. The field validation of these subsystems has required considering specific aspects. Regarding the obstacle detection subsystem by the LiDAR: (1) the adaptation of the dynamic protection field to the operating conditions, (2) the effect of vibrations and (3) the sensitivity to dust. Also, the braking distance is evaluated in relation to the vehicle controller subsystem. As a result, the LiDAR integrated in the safety system was able to avoid any collision (with other machines, objects or people) during a final demo (in three fields) held on May 21, 2014, at the facilities of the CSIC-ICA (Arganda del Rey, Madrid). The success rate was 100% of 18 risk situations with 0 false positives. Simulated LiDAR: LiDAR data used during this study were obtained through the use of a tree and LiDAR simulator software "SimLiDAR", which allowed the development of processed data without the necessity of any field trial, reducing the high demand for labor when it comes to validate the use of LiDAR for the tree characterization during the field tests. By the development of a proposed methodology it was possible to estimate the one-side tree canopy area and volume, creating spraying applications maps, where the properties of the spray system have been considered. Results showed a high correlation value (R2=0.85) between the estimated area and the number of leaves of the tree, given by the simulator software. LiDAR for tree characterization vs. other optical sensors: Regarding real tree characterization, different comparisons were performed between the LiDAR and other optical sensors. Initially, it was shown that LiDAR has a greater utility within agricultural applications compared with the Kinect depth camera. Later, LiDAR was evaluated with a light curtain sensor by mounting them on a mobile platform to detect, localize and classify trees. Through these tests and subsequent data processing, each sensor was individually evaluated to characterize their reliability as well as their advantages and disadvantages for the proposed task. Test results indicated that 95.7% and 99.48% of the trees were successfully detected with the LIDAR and light curtain sensors, respectively. LiDAR correctly classified, between alive or dead tree states at a 93.75% success rate compared to 94.16% for the light curtain sensor. These results can help system designers to select the most reliable sensor for the accurate detection and localization of each tree in a nursery, which might allow labor-intensive tasks, such as weeding, to be automated without damaging crops. LiDAR for 3-D crop reconstruction: A new georeferenced 3-D reconstruction of maize plant structure was developed. With this objective, a total station, an IMU and several 2-D LiDARs with different orientations were mounted on an autonomous vehicle. By the multistep methodology presented, based on the application of the ICP algorithm for point cloud fusion, it was possible to perform the georeferenced point clouds’ overlapping. The merging algorithm showed that the aerial points (corresponding mainly to plant parts) were reduced to 1.5 - 9% of the total registered data. The remaining were redundant or ground points. Through the inclusion of different LiDAR point of views of the scene, a more realistic representation of the surrounding is obtained by the incorporation of new useful information but also of noise. The use of georeferenced 3-D maize plant reconstruction at different growth stages, combined with the total station accuracy could be highly useful when performing precision agriculture at crop plant level. RESUMEN El sensor óptico LiDAR permite determinar la distancia a un objeto mediante el empleo de la técnica de medición TOF. Este sensor tiene un alto rango de alcance, siendo capaz de realizar mediciones precisas en condiciones ambientales hostiles como bajo niebla, polvo o humo. Por ello, y gracias a su fiabilidad, es posible realizar una aplicación transversal del sensor LiDAR a diversas necesidades agrícolas, tales como: la estimación del volumen de un cultivo, su evaluación durante el desarrollo, su localización, así como para reducir los riesgos derivados de la movilidad de vehículos agrícolas, sobre todo si tenemos en cuenta el papel que la robótica y la automatización pueden jugar. La principal motivación del autor para el desarrollo de esta tesis radica en demostrar dicha aplicación trasversal. Por ello, y teniendo en cuenta lo expuesto, los objetivos de la tesis son: 1. Implementación del LiDAR para garantizar una movilidad segura de un vehículo agrícola autónomo dentro de un entorno multi-agente. 2. Evaluar la posibilidad de reducir la demanda de mano de obra requerida cuando se realiza una caracterización arbórea a través del uso del LiDAR. 3. Comparar, bajo las mismas condiciones, el funcionamiento de un sensor LIDAR con otros sensores ópticos con el objetivo de realizar una caracterización arbórea. 4. Llevar a cabo una caracterización precisa y temporal del cultivo. Cada una de las aplicaciones agrícolas llevadas a cabo por el LiDAR fue agrupada en capítulos independientes, en donde se explican los experimentos realizados y las metodologías desarrolladas para cada uno de ellos. Al final del documento se presentan las discusiones y conclusiones, de modo conjunto, obtenidas dentro del marco de esta Tesis (tres publicaciones SCI: dos publicadas, y una en curso; tres congresos internacionales y nacionales; y un taller internacional). LiDAR como parte de un sistema de seguridad: El sistema de seguridad fue diseñado siguiendo las normativas de seguridad vigente. El sistema de seguridad genérico desarrollado, el cual puede ser empleado en cualquier flota mutli-agente, fue integrado en cada uno de los vehículos autónomos del proyecto europeo RHEA para detectar los posibles obstáculos dentro de su espacio de circulación. El sistema de seguridad estaba formado por varios subsistemas (detector de obstáculos; controlador del vehículo y administrador de la misión) interconectados jerárquicamente para la detección de obstáculos a nivel individual, así como la prevención de posibles colisiones entre los vehículos a nivel de flota. La validación de estos subsistemas requirió la consideración de algunos aspectos específicos. En lo que respecta al subsistema de detección de obstáculos mediante LiDAR se consideró: (1) la adaptación dinámica del campo de protección a las condiciones del funcionamiento, (2) el efecto de las vibraciones y (3) la sensibilidad al polvo. Además fue evaluada la distancia de frenado en relación con el subsistema del controlador de vehículo. Como resultado, el LiDAR integrado en el sistema de seguridad fue capaz de evitar cualquier colisión durante la demostración final del proyecto europeo, celebrada el 21 de mayo de 2014, en las instalaciones del CSIC-ICA (Arganda del Rey, Madrid). En ella, un 100% de las 18 situaciones de riesgo fueron detectadas y prevenidas por el LiDAR, no obteniéndose ningún falso positivo. LiDAR simulado: Los datos del LiDAR utilizados durante este estudio se obtuvieron mediante el empleo de un software de simulación de árboles y LiDAR "SimLiDAR", lo que permitió la obtención y procesado de los datos sin la necesidad de realizar ningún ensayo en campo, reduciéndose así la alta demanda de mano de obra a la hora de validar el uso del LiDAR para la caracterización arbórea durante los ensayos en campo. Mediante el desarrollo de la metodología propuesta fue posible estimar el área y el volumen del dosel de los árboles simulados a través de la creación de mapas de aplicación, donde las propiedades del sistema de pulverización fueron consideradas. Los resultados mostraron una alta correlación (R2 = 0.85) entre el área estimada y el número de hojas del árbol obtenida por el software de simulación. LiDAR para la caracterización arbórea frente a otros sensores ópticos: Para realizar una caracterización real de los árboles, se comparó el sensor LiDAR con diversos sensores ópticos. Inicialmente, se demostró una mayor utilidad del LiDAR en comparación con la cámara de profundidad “Kinect” en aplicaciones agrícolas. A continuación se llevó a cabo una comparación del LiDAR con un sensor fotoeléctrico con el propósito de detectar, localizar y clasificar arboles de un año de vida en vivero. De este modo, la fiabilidad de cada sensor se evaluó individualmente, así como sus ventajas y desventajas. Los resultados del ensayo mostraron que un 95,7% y un 99,48% de los árboles fueron satisfactoriamente detectados con el sensor LIDAR y con la cortina de luces, respectivamente. Un 93.75% de los arboles fueron clasificados correctamente por el LiDAR entre vivos y muertos, frente al 94.16% obtenido con la cortina de luces. Los resultados mostrados son de gran utilidad con el fin de seleccionar el sensor más fiable que garantice una precisa detección y localización de cada árbol del vivero, lo que podría permitir la automatización, sin dañar el cultivo, de tareas laboriosas como es el caso de las labores de escarda. LiDAR para la reconstrucción de los cultivos 3-D: Se ha desarrollado una nueva metodología para la reconstrucción tridimensional georreferenciada de plantas de maíz. Con este propósito, una estación total, una IMU y varios sensores LiDAR con diferentes orientaciones fueron montados sobre un vehículo autónomo. Mediante la metodología de múltiples fases creada, basada en la aplicación del algoritmo ICP para la fusión de las nubes de puntos, fue posible llevar a cabo una superposición georreferenciada de las nubes de puntos. El algoritmo empleado para la superposición de puntos mostró que los puntos aéreos (correspondientes principalmente a la planta) se redujeron al 1.5 - 9% del total de los datos registrados, siendo los restantes puntos redundantes o correspondientes al terreno. A través de la incorporación de diferentes puntos de vista del LiDAR, se obtuvo una representación más realista del entorno, incluyéndose nueva información útil, pero también ruido. La combinación de una reconstrucción tridimensional georreferenciada de la planta de maíz a lo largo de sus diferentes etapas de crecimiento, junto con la precisión aportada a través del empleo de una estación total resulta de gran utilidad cuando se quiere llevar a cabo una agricultura de precisión a nivel de planta