Data compression electricity demand in Smart Metering

A compressão dos dados de consumo residencial de energia elétrica registrados torna-se extremadamente necessária em Smart Metering, a fim de resolver o problema de grandes volumes de dados gerados pelos medidores. A principal contribuição desta tese é a proposta de um esquema de representação teórica da informação registrada na forma mais compacta, sugerindo uma forma de atingir o limite fundamental de compressão estabelecido pela entropia da fonte sobre qualquer técnica de compressão disponibilizada no medidor. A proposta consiste na transformação de codificação dos dados, baseado no processamento por segmentação: no tempo em taxas de registros de 1/900 Hz a 1 Hz, e nos valores de consumo residencial de energia elétrica. Este último subdividido em uma compressão por amplitude mudando sua granularidade e compressão dos dados digitais para representar o consumo com o menor número de bits possíveis usando: PCM-Huffman, DPCM-Huffman e codificação de entropia supondo diferentes ordens de distribuição da fonte. O esquema é aplicado sobre dados modelados por cadeias de Markov não homogêneas para as atividades dos membros da casa que influenciam no consumo elétrico e dados reais disponibilizados publicamente. A avaliação do esquema é feita analisando o compromisso da compressão entre as altas taxas de registro, distorção resultante da digitalização dos dados, e exploração da correlação entre amostras consecutivas. Vários exemplos numéricos são apresentados ilustrando a eficiência dos limites de compressão. Os resultados revelam que os melhores esquemas de compressão de dados são encontrados explorando a correlação entre as amostras.Data compression of recorded residential electricity consumption becomes extremely necessary on Smart Metering, in order to solve the problem of large volumes of data generated by meters. The main contribution of this thesis is to propose a scheme of theoretical representation of recorded information in the most compact form, which suggests a way to reach the fundamental limit of compression set by the entropy of the source, of any compression technique available in the meter. The proposal consists in the transformation of data encoding, based on the processing by segmentation: in time by registration rate from 1/900 Hz to 1 Hz, and in the values of residential electricity consumption. The latter is subdivided into compression: by amplitude changing their regularity, and digital data compression to represent consumption as few bits as possible. It is using PCM-Huffman, DPCM-Huffman and entropy encoding by assuming different orders of the source. The scheme is applied to modeled data by inhomogeneous Markov chains to create the activities of household members that influence electricity consumption, and real data publicly available. The assessment scheme is made by analyzing the trade off of compression between high registration rates, the distortion resulting from the digitization of data, and analyzing the correlation of consecutive samples. Several examples are presented to illustrate the efficiency of the compression limits. The analysis reveals that better data compression schemes can be found by exploring the correlation among the samples