SALA: A Skew-avoiding and Locality-aware Algorithm for MapReduce-based Join

MapReduce是由Google提出的并行计算框架，具备高可扩展性、高可用性和良好的容错性，现已广泛应用于处理大规模数据。连接操作是大数据分析中的一个常见运算，随着数据规模的进一步增大，如何有效处理基于MapReduce的连接操作成为学术界与工业界的一个研究热点。 然而，传统的基于MapReduce的连接算法在处理倾斜数据时效率不高，主要存在两个问题：（1）传统算法采用的哈希分区模式在划分数据时容易发生分区倾斜，从而导致负载不均，最终延长了整个连接操作的完成时间；（2）连接操作在Map阶段产生了大量中间结果，传统算法没有考虑数据局部性，因此需要消耗较多时间在网络中传输中间结果。传统的基于M...MapReduce proposed by Google is a parallel programming model and now widely used in processing large-scale data with its high scalability, availability and fault-tolerance. With the further increase in the size of the data, how to deal with the join operation which is a common operation in data analysis based on MapReduce has become the hotspot both in academia and industry area. However, traditi...学位：工程硕士院系专业：信息科学与技术学院_工程硕士(计算机技术)学号：2302013115317