How to Shift Bias: Lessons from the Baldwin Effect

An inductive learning algorithm takes a set of data as input and generates a hypothesis as output. A set of data is typically consistent with an infinite number of hypotheses; therefore, there must be factors other than the data that determine the output of the learning algorithm. In machine learning, these other factors are called the bias of the learner. Classical learning algorithms have a fixed bias, implicit in their design. Recently developed learning algorithms dynamically adjust their bias as they search for a hypothesis. Algorithms that shift bias in this manner are not as well understood as classical algorithms. In this paper, we show that the Baldwin effect has implications for the design and analysis of bias shifting algorithms. The Baldwin effect was proposed in 1896, to explain how phenomena that might appear to require Lamarckian evolution (inheritance of acquired characteristics) can arise from purely Darwinian evolution. Hinton and Nowlan presented a computational model of the Baldwin effect in 1987. We explore a variation on their model, which we constructed explicitly to illustrate the lessons that the Baldwin effect has for research in bias shifting algorithms. The main lesson is that it appears that a good strategy for shift of bias in a learning algorithm is to begin with a weak bias and gradually shift to a strong bias.L'algorithme d'apprentissage inductif utilise un ensemble de donn\ue9es comme entr\ue9e et formule une hypoth\ue8se comme r\ue9sultat. Un ensemble de donn\ue9es est g\ue9n\ue9ralement constitu\ue9 d'un nombre infini d'hypoth\ue8ses; par cons\ue9quent, des facteurs autres que les donn\ue9es doivent d\ue9terminer l'algorithme d'apprentissage r\ue9sultant. Dans l'apprentissage automatique, ces autres facteurs sont appel\ue9s biais de l'apprenant. Les algorithmes d'apprentissage classiques ont un biais fixe qui est virtuellement contenu dans leur conception. Des algorithmes d'apprentissage mis au point r\ue9cemment r\ue8glent leur biais de fa\ue7on dynamique tout en cherchant \ue0 formuler une hypoth\ue8se. Les algorithmes qui corrigent le biais de cette mani\ue8re ne sont pas compris aussi bien que les algorithmes classiques. Dans le pr\ue9sent document, nous d\ue9montrons que l'effet Baldwin a une incidence sur la conception et l'analyse des algorithmes \ue0 correction de biais. L'effet Baldwin a \ue9t\ue9 propos\ue9 en 1896 dans le but d'expliquer comment des ph\ue9nom\ue8nes qui pourraient sembler accuser une \ue9volution lamarckiste (h\ue9r\ue9dit\ue9 des caract\ue8res acquis) peuvent d\ue9couler d'une \ue9volution purement darwinienne. Hinton et Nowlan ont pr\ue9sent\ue9 un mod\ue8le de calcul de l'effet Baldwin en 1987. Nous \ue9tudions une variante de leur mod\ue8le, que nous avons construit explicitement de mani\ue8re \ue0 illustrer les le\ue7ons tir\ue9es de l'effet Baldwin pour la recherche dans le domaine des algorithmes \ue0 correction de biais. La principale le\ue7on qui en est tir\ue9e est qu'il semble qu'une bonne strat\ue9gie de correction de biais dans un algorithme d'apprentissage consiste \ue0 d\ue9buter avec un biais faible et \ue0 le corriger en l'amenant graduellement \ue0 un biais fort.NRC publication: Ye