A simulation methodology for evaluating ad hoc communication protocols

El objetivo principal de esta tesis es la mejora de la simulación de protocolos de comunicación en MANETs y VANETs. La simulación es la forma más común para realizar pruebas en este tipo de redes. Muchos trabajos han sido propuestos en este campo. Sin embargo, un conjunto de malas prácticas han sido detectadas como consecuencia de que los investigadores no prestan la suficiente atención en la evaluación de los protocolos de comunicación. Las mejoras propuestas se centran en un conjunto de buenas prácticas que nos permiten obtener resultados de simulación fiables y homogéneos. La idea de esta metodología es evaluar protocolos de comunicación, nuevos y antiguos, bajo las mismas condiciones. Además de esto, podemos evitar la aparición de resultados inesperados los cuales pueden llevar a conclusiones equivocadas. Además, con esta metodología se reducen los tiempos de computación y es posible reproducir los resultados de simulación en diferentes entornos. La metodología se centra en el uso de periodos de medida, la selección de nodos fuentes y destino basada en dos métricas distintas: la disponibilidad del camino y la distancia en cuanto a saltos se refiere entre dos nodos. Otros aspectos de la metodología que ha sido propuesta son, fijar el número de simulaciones para tener una muestra lo suficientemente amplia y que el tiempo consumido para ello sea el menor posible. Así como, seleccionar el modelo de movilidad y métricas de funcionamiento apropiadas. Para evaluar las características de la metodología se han comparado tres bien conocidos protocolos de encaminamiento, AODV, LAR y DYMO en escenarios urbanos y de desastres. Usando dicha metodología, los resultados son mejorados en términos de media (alrededor del 50%) y también los intervalos de confianza son reducidos. Otro aspecto importante que resuelve esta técnica son los tiempos consumidos para obtener los resultados de simulación. Estos son reducidos a la mitad comparado con no usar la metodología. Asimismo, también se propone una modificación de la metodología para la evaluación de los algoritmos de broadcasting. En este caso, los nodos fuentes se seleccionan a partir de diferentes características topológicas: el número de nodos alcanzables y la distancia con esos nodos en términos de saltos desde el nodo fuente. Además, se hace uso de periodos de medida y el número de simulaciones también es fijado para que el tiempo consumido sea el menor posible pero que la muestra obtenida sea representativa. Una vez validada la metodología de trabajo, varios algoritmos de broadcast probabilísticos han sido evaluados. Para testar este marco de trabajo, usamos NS-2 como simulador de red para evaluar los diferentes protocolos de comunicación haciendo uso o no de la metodología propuesta, y C4R y Bonnmotion como generadores de modelo de movilidad. Por último, los resultados de simulación son representados en sus correspondientes gráficas para finalmente ser analizados y confirmar la validez del trabajo propuesto.The main objective of this thesis is to improve the MANET and VANET simulation communication protocols. Simulation is the most common way to test new approaches in this kind of networks. Many works have been proposed in last years in this field. However, a set of bad practices have been detected due to the fact that researchers do not pay attention to how the communication protocols are evaluated. The proposed improvements are focused on a set of good practices in order to obtain reliable and homogeneous simulation results. The idea of this methodology is to evaluate communication protocols, both new and old ones, under the same conditions. Additionally, we can avoid the appearance of unexpected results, which can lead researchers to wrong conclusions about the performance of communication protocols. Furthermore, with this methodology we also reduce the computing time and improve the reproducibility of the communication protocols in different environments. The proposed methodology is focused on using measurement period, selecting source and destination nodes based on two different metrics: the duration of the available path and the distance in terms of number of hops between them. Other aspects of this methodology are, fix the number of simulation to obtain a representative sample in the minimum period of time, select the appropriate mobility model, the performance metrics to carry out the study and the analysis for a good performance evaluation. To evaluate the proposed methodology features, three well-know reactive routing protocols, AODV, LAR and DYMO are compared in urban and disaster scenarios using and not using the proposed framework. By applying the proposed methodology, the simulation results are better in terms of mean (about 50%) and also the confident intervals are reduced. Another important aspect that solves the proposed framework is the time necessary to obtain those results, which is reduced by the half compared to not using the proposed framework. A methodology variation of the proposed methodology can also be applied to the evaluation of broadcasting algorithms in disaster scenarios. With this idea, we select source nodes based on different topological characteristics: the number of reachable nodes and the distance with those nodes in terms of number of hops from the source node. In addition, we also use measurement periods and fix the number of simulations to reduce the computing time. After validating the methodology, we evaluate different probabilistic broadcasting algorithms. The proposed framework is evaluated using NS-2 as network simulator to test the behavior of the different communication protocols, routing and broadcasting, using and not the proposed framework and to identify the advantages in terms of computing time and simulation results. C4R and Bonnmotion are also used as mobility model generators to model an urban and a disaster scenario respectively