A study on node repair and data reconstruction for distributed storage systems

Bu tezde, verinin hata toleranslı bir şekilde depolanmasını sağlamak için kullanılan kaynaklardan başta bant genişliği ve toplam işlem süresi olmak üzere çeşitli kaynakların maliyetinin düşürülmesini sağlayacak çözümler önerilmiştir. Bu tez kapsamındaki çalışmalar beş bölüme ayrılmıştır. Bunlardan ilki MDS silinti kodlama kullanan dağıtık depolama sistemlerinde düğüm tamirinin ve verinin geri çatılmasının başlatımı ve veri güncellemesi işlemlerinde kullanılan süre ve bant genişliği maliyetini düşürmeyi hedefleyen topoloji farkındalıklı bir çalışmadır. İkinci çalışmada ise yeni bir melez kodlama şeması olan Homomorfik Minimum Bant Genişliği Tamir (HMBR) kodları geliştirilmiştir. HMBR kodlama şeması düğüm tamiri ve verinin geri çatılması işlemlerinde sırasıyla bant genişliği ve işlem süresi maliyetlerini iyileştiren iki farklı yöntem sağlamaktadır. Ayrıca önerilen kodlama şeması düğüm tamiri için bütünlük kontrolü mekanizmasına sahiptir. Üçüncü çalışmada da yeni bir melez kodlama şeması olan Homomorfik Minimum Depolama Tamir (HMSR) kodları geliştirilmiştir. HMSR kodları düğüm başına minimum depolama maliyeti gerektirirken bir yandan da sırasıyla bant genişliği ve işlem süresi maliyetlerini azaltan iki farklı düğüm tamiri yöntemi sağlamaktadır. Dördüncü çalışmada ise farklı düğümlerin farklı kodları kullanabildiği kümeleme tabanlı dağıtık bir depolama sistemi tasarlanmıştır. Son çalışmada ise silinti kodlama kullanan dağıtık depolama sistemlerinde veri geri çatma işlemi gerçekleştirilirken ağda bir tıkanma oluştuğunda, TCP soketlerinin yönetilmesi yoluyla bu işlemin toplam süresini düşüren bir algoritma önerilmiştir.In this thesis, solutions for reducing the cost of the sources -mainly bandwidth and total processing time- used to store data in fault tolerant way are proposed. The work in this thesis is divided into five parts. The first of these is a topology aware solution proposed for reducing time and bandwidth used for data update and the initiation of node repair and data reconstruction processes in distributed storage systems using MDS erasure codes. The second one is a new hybrid coding scheme: Homomorphic Minimum Bandwidth Repairing (HMBR) codes. HMBR codes provide two different node repair methods as well as two different data reconstruction methods for reducing bandwidth usage and the processing time. In addition, this new coding scheme presents an integrity checking mechanism for repaired node's content. In the third part of our work, another hybrid coding scheme called Homomorphic Minimum Storage Repairing Codes (HMSR) which minimizes storage cost on the nodes is designed. Moreover, these codes present two different node repair methods reducing either bandwith usage or elapsed time in node repair. In the fourth part of the thesis, the cluster based storage system is proposed in which different nodes can use different coding schemes. As the last part of our work, an algorithm is proposed for reducing the time elapsed in data reconstruction process of distributed storage systems using erasure codes in case of network congestion