Avaliação de efetividade da inteligência artificial em tribunais brasileiros

Tese (doutorado) — Universidade de Brasília, Faculdade de Economia, Administração e Contabilidade e Gestão Pública, Programa de Pós-Graduação em Administração, 2022.Esta tese teve como objetivo geral avaliar a efetividade da Inteligência Artificial em tribunais brasileiros sob a luz de um framework constituído por 5 dimensões: ambiente, confiabilidade, autonomia, técnica e resultados. A importância do tema decorre de lacunas teóricas e empíricas das recentes aplicações de Inteligência Artificial no Poder Judiciário. Os objetivos específicos deste estudo foram desenvolvidos nos capítulos 2 a 4, estruturados na forma de três artigos individuais e interdependentes, precedidos da introdução geral apresentada no Capítulo 1 e sucedidos pelo Capítulo 5, no qual são tratadas as conclusões gerais e recomendações da pesquisa. O Capítulo 2 por meio de uma revisão de estudos teóricoempíricos, pesquisa documental, dados oficiais e notícias divulgadas nos portais dos tribunais brasileiros resultou no mapeamento dos projetos de IA em desenvolvimento no judiciário. O Capítulo 3 apresentou uma atualização do mapeamento dos projetos de IA nos tribunais brasileiros bem como um panorama da IA no setor jurídico privado brasileiro, também foram elencados possíveis impactos da IA na justiça e nas carreiras jurídicas. No Capítulo 4 avaliouse a efetividade da IA em tribunais brasileiros sob a luz de um framework composto das dimensões: ambiente, confiabilidade, autonomia, técnica e resultados. Realizou-se um estudo empírico junto a 16 tribunais e aplicou-se em um primeiro momento análise lexical por meio do software Iramuteq, em seguida utilizou-se de um índice de efetividade (iEfe). Conclui-se quanto a análise lexical que não houve correlação das falas dos entrevistados, agrupando-se em quadrantes divergentes. Quanto a avaliação da efetividade por meio do índice de efetividade (iEfe), somente 3 tribunais obtiveram nota C, ou seja, um sistema de IA “efetivo”, enquanto outros 10 tribunais obtiveram uma nota D, referente a “pouca efetividade” e; 3 tribunais apresentaram resultados com nota E de “não efetividade”. Propõe-se como agenda de pesquisa, a aplicação do framework e do índice de efetividade (iEfe) em tribunais de outros países com vistas a estudos comparativos e para a devida validação das variáveis e dimensões apresentadas no modelo. Destacam-se como principais contribuições desta tese o mapeamento dos projetos de IA em desenvolvimento nos tribunais brasileiros, a proposição inédita de um framework de avaliação de efetividade bem como um índice de efetividade (iEfe) da IA em tribunais, com vistas a uma gestão efetiva e profissional.This thesis had as general objective to evaluate the effectiveness of Artificial Intelligence in Brazilian courts in the light of a framework consisting of 5 dimensions: environment, reliability, autonomy, technique and results. The importance of the topic stems from theoretical and empirical gaps in recent applications of Artificial Intelligence in the Judiciary. The specific objectives of this study were developed in Chapters 2 to 4, structured in the form of three individual and interdependent articles, preceded by the general introduction presented in Chapter 1 and followed by Chapter 5, in which the general conclusions and recommendations of the research are addressed. Chapter 2, through a review of theoreticalempirical studies, documentary research, official data and news published on Brazilian court portals resulted in the mapping of AI projects under development in the judiciary. Chapter 3 presented an update of the mapping of AI projects in Brazilian courts as well as an overview of AI in the Brazilian private legal sector, possible impacts of AI on justice and legal careers were also listed. In Chapter 4, the effectiveness of AI in Brazilian courts was evaluated in the light of a framework composed of the dimensions: environment, autonomy, reliability, technique and results. An empirical study was carried out with 16 courts and at first lexical analysis was applied using the Iramuteq software, then an effectiveness index (iEfe) was used. In terms of lexical analysis, it was concluded that there was no correlation between the interviewees' speeches, grouping them into divergent quadrants. As for the evaluation of effectiveness through the effectiveness index (iEfe), only 3 courts obtained a grade C, that is, an “effective” AI system, while another 10 courts obtained a grade D, referring to “low effectiveness” and; 3 courts presented results with an E grade of “non-effectiveness”. It is proposed as a research agenda, the application of the framework and the effectiveness index (iEfe) in courts of other countries with a view to comparative studies and for the proper validation of the variables and dimensions presented in the model. The main contributions of this thesis are the mapping of AI projects under development in Brazilian courts, the unprecedented proposition of an effectiveness assessment framework as well as an AI effectiveness index (iEfe) in courts, with a view to effective management. and professional