Oublier ce qu'on sait, pour mieux apprendre ce qu'on ne sait pas

12 Pages·2015·0.29 MB·English

22èmeTraitementAutomatiquedesLanguesNaturelles,Caen,2015
Oublier ce qu’on sait, pour mieux apprendre ce qu’on ne sait pas :
une étude sur les contraintes de type dans les modèles CRF
NicolasPécheux1,2 AlexandreAllauzen1,2 ThomasLavergne1,2
GuillaumeWisniewski1,2 FrançoisYvon2
(1)UniversitéParis-Sud,91403OrsayCEDEX
(2)LIMSI-CNRS,91403OrsayCEDEX
{prenom.nom}@limsi.fr
Résumé.
Quandondisposedeconnaissancesapriorisurlessortiespossiblesd’unproblèmed’étiquetage,ilsemble
souhaitable d’inclure cette information lors de l’apprentissage pour simplifier la tâche de modélisation et accélérer les
traitements.Pourtant,mêmelorsquecescontraintessontcorrectesetutilesaudécodage,leurutilisationlorsdel’appren-
tissagepeutdégradersévèrementlesperformances.Danscetarticle,nousétudionsceparadoxeetmontronsquelemanque
decontrasteinduitparlesconnaissancesentraîneuneformedesous-apprentissagequ’ilestcependantpossibledelimiter.
Abstract.
Ignorewhatyouknowtobetterlearnwhatyoudon’t:acasestudyontypeconstraintsforCRFs
Wheninformationaboutthepossibleoutputsofasequencelabelingtaskisavailable,itmayseemappropriatetoinclude
thisknowledgeintothesystem,soastofacilitateandspeed-uplearningandinference.However,weshowinthispaper
that using such constraints at training time is likely to drastically reduce performance, even when they are both correct
andusefulatdecoding.Inthispaper,westudythisparadoxandshowthatthelackofcontrastinducedbyconstraintsleads
toaformofunder-fitting,thatitishoweverpossibletopartiallyovercome.
Mots-clés :
ÉtiquetageMorpho-Syntaxique;ApprentissageStatistique;ChampsMarkoviensAléatoires.
Keywords:
Part-of-SpeechTagging;StatisticalMachineLearning;ConditionalRandomFields.
1 Introduction
DenombreuxproblèmesdeTraitementAutomatiquedesLangues(TAL)peuventêtreformaliséscommedesproblèmes
d’étiquetagedeséquences,bénéficiantdecefaitdeméthodesetderésultatsétablisenapprentissageautomatique.Ilserait
souhaitablepourcertainesapplicationsdepouvoirintroduiredescontraintessurlesétiquetagespossibles,demanièreim-
pliciteouexpliciteafind’introduiredesconnaissanceslinguistiquesouderéduireletempsdecalculpourdesproblèmes
de grande dimension. Par exemple, dans une tâche de segmentation utilisant un encodage BIO1 des étiquettes, on peut
vouloirimposerqu’uneétiquette‘O’neprécèdejamaisuneétiquette‘I’.Lescontrainteslinguistiquespeuventintroduire
desconnaissancesprovenantderèglessyntaxiquesoudedictionnaires,commec’estlecasdanscertainestâchesd’ana-
lysemorpho-syntaxique(Lietal.,2012).Demanièrepluspragmatique,l’analysemorpho-syntaxiquepourleslanguesà
morphologiericheimpliquedeprédireuneétiquetteparmidesensemblescomprenantdescentaines,voiredesmilliers,
d’étiquettes:lesproblèmesdedésambiguïsationassociéssontdoncàlafoisplusdifficilesetcomputationnellementplus
coûteux,aupointderendreinopéranteslesméthodesstandard(Mülleretal.,2013).
Cette étude s’intéresse donc à l’introduction de contraintes lors de l’apprentissage d’un étiqueteur morpho-syntaxique.
Pourcela,noussupposonsdisposerd’undictionnaireassociantàchaquemotunsous-ensembledesétiquettespossibles.
Cedictionnairepeutrefléteruneconnaissancelinguistiquepréalable,parexempleêtreextraitautomatiquementdeWIKI-
TIONNAIREouencoreêtredéduitdesdonnéesd’apprentissage.Sousl’hypothèsequecedictionnaireestcorrect,ilsemble
natureldevouloirprendrecetteinformationencompte,afind’unepart,d’accélérerl’apprentissageetl’inférence,d’autre
part,d’améliorerlaqualitédesprédictions.Enréduisantl’ensembledesétiquettespouvantêtrepréditesetdonclataille
1. Pourdébut(B);intérieur(I);etendehors(O).
N.PÉCHEUX,A.ALLAUZEN,T.LAVERGNE,G.WISNIEWSKI,F.YVON
VERB DET NOUN ADP NOUN NOUN
Making a Market for Scientific Research
Un marché pour la recherche scientifique
ADJ NOUN ADP DET NOUN NOUN
DET VERB NOUN NOUN VERB ADJ
NOUN PRON
PRON
FIGURE1:Instanced’apprentissageobtenuepartransfertcross-lingueàpartird’unephrasesource(haut)versunephrase
cible(bas).Lesétiquettesautoriséesparundictionnairesontreprésentéesenrouge.Lesétiquettesdelaphrasesource(en
vert)sontprojetéesàtraverslesliensd’alignementdemanièreàdésambiguïserlesétiquettescibles.Cesdernièresconsti-
tuentlaréférence(ennoir),éventuellementambiguë,pourleproblèmed’analysemorpho-syntaxique.Àl’apprentissage,
commeaudécodage,onpeutconsidérer,pourconstruirel’espacederecherche,queles12étiquettessontpossibles(cas
nonreprésenté)oubienqueseulescellesquisontproposéesparledictionnairedetype(encadréesenrouge)sontlicites.
desespacesderechercheassociés,lescontraintesdevraientpermettreenuncertainsensdesimplifierlatâchedumodèle.
Eneffet,cedernierpeutalorsconcentrersonapprentissagesurladiscriminationentredeshypothèsesréalistes,ennombre
réduit,plutôtquedeconsidérerdesconfigurationsquinepeuventpasseproduire.
Danscetarticle,nousmontronsquecetteintuitionn’estpastoujourscorrecteetqu’ajouterunetelleinformation,même
lorsqu’elleestpertinenteetexacte,peutconduireàunedégradationdelacapacitédegénéralisationdusystème,comme
l’illustre le résultat paradoxal décrit à la section 2. La contribution de ce travail est d’apporter des explications à ce
comportement inattendu, afin de pouvoir y remédier. Cette étude se concentre sur les modèles log-linéaires qui sont
présentés à la section 3. En analysant théoriquement l’effet de l’inclusion des contraintes dans le modèle (section 4), il
est possible de mettre en lumière les relations complexes qui existent entre les contraintes, la régularisation et le sous-
apprentissage. Les résultats expérimentaux présentés à la section 5 montrent, en effet, que l’introduction de contraintes
peutentraîneruneformedesous-apprentissagedecertainescaractéristiques,qu’ilestpossibled’éviter.Enparticulier,il
sembleimportantdelimiter,lorsdel’apprentissage,l’impactdescontraintesafindegarderuneformedecontraste.
2 Un résultat paradoxal
Le point de départ de cette étude est une tentative de reproduire les résultats de Täckström et al. (2013). Ces derniers
s’intéressent à une tâche d’analyse morpho-syntaxique pour des langues cibles peu dotées, pour lesquelles deux types
de ressources sont disponibles : d’une part un dictionnaire (WIKTIONNAIRE) permettant de connaître, pour un mot,
l’ensemble de ses catégories morpho-syntaxiques possibles; d’autre part, un corpus parallèle aligné mot-à-mot et dont
la partie source a été étiquetée automatiquement. En combinant ces deux ressources, comme illustré à la figure 1, il est
possibled’apprendreunanalyseurmorpho-syntaxique,mêmelorsquel’onnedisposepasdedonnéesciblesannotées.
Dans cette approche, le dictionnaire joue un rôle central : d’une part, en validant les étiquettes projetées au travers des
liens d’alignement pour créer la référence; d’autre part, en restreignant l’espace de recherche de l’analyseur morpho-
syntaxique : lors de l’apprentissage et du décodage, la liste des étiquettes possibles pour chaque mot peut alors être
réduiteàunensembled’alternatives(lesétiquettesautoriséesparledictionnaire)bienplusrestreintquel’ensembledes
étiquettesdéfiniesdansleschémad’annotation.
Letableau1rassemblelestauxd’erreurobtenusparnotreré-implémentationdumeilleurmodèledécritdansTäckström
etal.(2013).Encomparantlapremièreetladeuxièmeligne,ons’aperçoitqu’ilestintéressantd’ajouterdemanièreexpli-
citelescontraintesdedictionnairelorsdudécodage:ceciobligelemodèleàchoisir,lorsdudécodage,l’unedesétiquettes
possiblesetpermetainsid’évitercertaineserreurs.Ilestdoncutile,dumoinsdanscecas,d’utiliserl’informationsurles
étiquettespossiblesd’unmot.Enrevanche,demanièresurprenante,latroisièmelignedecetableaumontrequ’introduire
cescontrainteslorsdel’apprentissagedégradesévèrementlesperformances.
Noussommesdonc,enapparence,faceàundoubleparadoxe:(a)incluredescontraintespourtantinformativespénalise
lemodèle;(b)reproduiredesconditionssimilairesàl’entraînementetautestn’estpaslameilleureconfiguration.Dans
cetarticle,nousproposonsd’expliquerceparadoxeaussibiend’unpointdevuethéorique(§4)qu’expérimental(§5).
22ème TRAITEMENTAUTOMATIQUEDESLANGUESNATURELLES,CAEN,2015
appr. test cs de el es fi fr id it sv
(cid:55) (cid:55) 17.3 13.3 16.8 14.7 19.2 14.1 14.8 13.3 12.5
(cid:55) (cid:88) 16.7 11.8 16.3 12.4 17.4 13.7 14.6 12.7 12.0
(cid:88) (cid:88) 21.2 15.8 17.6 15.5 27.4 23.1 27.9 15.1 14.7
TABLE 1: Une série de résultats surprenants : taux d’erreur (en %) pour neuf langues, obtenus par un modèle CRF
partiellement observé sur une tâche d’analyse morpho-syntaxique par transfert cross-lingue à partir de l’anglais, selon
que l’on utilise les contraintes de type pour définir l’espace de recherche à l’apprentissage (appr.) et/ou au test (test).
L’intégration de contraintes à l’apprentissage dégrade systématiquement les performances. Les contraintes de type sont
obtenuesenprenantl’uniond’undictionnairedéduitdesalignementsetd’undictionnaireextraitduWIKTIONNAIRE(voir
lasection5.2pourplusdedétailssurlesconditionsexpérimentalesetleslanguesconsidérées).
3 Cadre classique : modèles et espaces de recherche
Cettesectionintroduituncadregénéralquipermettrademieuxcomprendrelerôledesdifférentsespacesderecherches
manipulésdansnotreproblèmed’apprentissagestructuré;laquestiondescontraintesseraensuiteabordéeau§4.
3.1 Espacesderechercheetderéférence
Dans un problème d’apprentissage générique, on dispose de l’ensemble X des entrées possibles, ainsi que celui Y des
sortiespossibles.Unemanièreclassiquedeformulerunproblèmed’apprentissagepourleTAL(Smith,2011,p.23)est
deconsidérerquepourchaqueentréex∈X,l’ensembledessortiespossiblesestrestreintàunsous-ensembleY(x)⊆Y.
CetespaceY(x)estappelél’espacederecherche.
Exemple 3.1. Dans le cas de l’analyse morpho-syntaxique, notons V le vocabulaire et T l’ensemble des étiquettes
morpho-syntaxiques possibles pour la tâche considérée. On a alors X = (cid:83) Vn et Y = (cid:83) Tn. On considère
n∈N∗ n∈N∗
usuellement, pour un x ∈ X donné, uniquement les séquences d’étiquettes de même longueur que x, c’est-à-dire que
∀x∈X,Y(x)=T|x|.
Danslecadredel’apprentissagesupervisé,ondisposed’unensemblededonnéesd’apprentissageD = {(x ,y )}
i i i=1..N
supposées i.i.d sous une certaine distribution inconnue D, où y ∈ Y(x) est la sortie de référence pour l’entrée x . De
i i
manièreplusgénérale,onpeutconsidérerquepourchaqueexemplex ondisposed’unsous-ensembleYr(x )⊂Y(x ),
i i i
que l’on appelle espace de référence. Tous les éléments de Yr(x ) peuvent être complètement corrects, — ainsi, en
i
traductionautomatique,plusieurstraductionsd’unemêmephrasepeuventêtreégalementbonnes—;oubienseulement
partiellement corrects comme dans le cadre de l’apprentissage partiellement supervisé, dans lequel on dispose d’une
connaissanceincomplètedelavéritableréférence.
3.2 Modèlelog-linéaire
Danscetravail,ons’intéresseauxmodèlesconditionnelslog-linéairesqui,connaissantlesentréesx∈X,définissentune
distributiondeprobabilitésurlessortiesy∈Y(x)possiblescomme:
1
p (y|x)= exp(θTφ(x,y)) (1)
θ Z (x)
θ
où φ(x,y) ∈ Rd est un vecteur de d caractéristiques, θ ∈ R¯d un vecteur de paramètres et Z (x) est le terme de
θ
normalisation.Lalog-vraisemblancedesparamètresθs’écritalors:
N
(cid:88)
(cid:96) (θ,D)= logp (Yr(x )|x ),avec (2)
r θ i i
i=1
(cid:88)
p (Yr(x)|x)= p (y|x). (3)
θ θ
y∈Yr(x)
N.PÉCHEUX,A.ALLAUZEN,T.LAVERGNE,G.WISNIEWSKI,F.YVON
Remarquonsquelorsquepourchaquex ∈ X,|Yr(x)| = 1,onretrouvelecadreclassiquedel’apprentissagesupervisé.
Leprincipedemaximumdevraisemblanceconsisteàchoisir:
1
θ∗ =argmax (cid:96) (θ,D)−λ (cid:107)θ(cid:107) − λ (cid:107)θ(cid:107)2, (4)
r 1 1 2 2 2
θ
où l’on introduit souvent une régularisation L (pondérée ici par λ ) et/ou une régularisation L (pondérée par λ ).
1 1 2 2
L’approchedumaximumdevraisemblanceconduitàaugmenterlamassedeprobabilitédel’espacederéférenceYr(x)
au sein de l’espace de recherche Y(x) (équation (3)). Dans le cas d’un CRF linéaire du premier ordre (Lafferty et al.,
2001),lescaractéristiquessedécomposentsurlespairesd’étiquettesvoisinesselon:
|x|
(cid:88)
φ(x,y)= φ(y ,y ,x). (5)
i i−1
i=1
Lacomplexitédel’apprentissageetdudécodaged’unCRFsontquadratiquesenlatailledujeud’étiquettesàl’ordre1
et croissent exponentiellement avec l’ordre. Cette complexité justifie qu’on se limite en général à des jeux d’étiquettes
restreints(typiquementquelquesdizaines)etàdesmodèlesd’ordrefaible(1ou2).
4 Contraintes
Étantdonnéslecadredel’apprentissagestructuréetlesmodèleslog-linéairesdécritsàlasection3,nousallonsmaintenant
introduireformellementlanotiondecontrainte.
4.1 Fonctiondecontrainteetespacesrestreints
Nousmodélisonslescontraintesparlanotiondefonctiondecontrainte:c:x∈X →Yc(x)⊆Y(x).Cesfonctionssont
déterministesetnefontpaspartiedumodèle.
Exemple 4.1. Dans le cas de l’analyse morpho-syntaxique, soit t : V → 2T un dictionnaire associant à chaque mot
un ensemble d’étiquettes, on considère la fonction «contrainte dictionnairique» suivante, que l’on note abusivement
égalementt:
t:x=(x ,...,x )∈X →Yt(x)=t(x )×t(x )×···×t(x )
1 |x| 1 2 |x|
quin’autorisequelesséquencesd’étiquettesrespectant,pourchaquemot,lescontraintesdonnéesparledictionnaire.
4.2 Modèlelog-linéaireaveccontraintes
Onpeutmaintenantétendrelesnotationsdelasection3enprenantencomptedescontraintessurl’espacederecherche,
donnéesparunefonctiondecontraintec:
1
∀x∈X,y∈Yc(x),pc(y|x)= exp(θTφ(x,y)), (6)
θ Zc(x)
θ
oùletermedenormalisationdevient:
(cid:88)
Zc(x)= exp(θTφ(x,y)). (7)
θ
y∈Yc(x)
Les contraintes influencent uniquement le calcul de la fonction de partition dans le modèle exponentiel : tout se passe
commesilessortiesimpossiblesselonlescontraintesavaientuneprobabiliténulle.
Àl’apprentissage,ennotantalafonctiondecontrainteutilisée,l’équation(2)s’écrit:
N
(cid:88)
(cid:96)a(θ,D)= logpa(Yr(x )|x ). (8)
r θ i i
i=1
22ème TRAITEMENTAUTOMATIQUEDESLANGUESNATURELLES,CAEN,2015
Tout comme à l’apprentissage, si l’on a accès à une fonction de contrainte de bonne qualité, il peut être avantageux
d’exploitercelle-cipourréduirelescandidatspossibleslorsdudécodage,etainsidediminuerlesrisquesd’erreurtouten
augmentantlavitessed’inférence.Ennotantdcettefonctiondecontrainte,celarevientàconsidérerlarèglededécision:
y∗ =f(x)=argmax pd(y|x). (9)
θ
y∈Yd(x)
Intuitivement,ilsemblepréférabled’utiliserlemêmeespacederecherchelorsdel’apprentissageetdudécodage,maisil
estimportantdebienvoirqueriennel’impose.Nousavonsd’ailleursvuàlasection2unexempleoùilétaitpréférable
de ne pas considérer la même fonction de contrainte lors de l’apprentissage et lors du décodage (deuxième ligne du
tableau 1). Remarquons que l’on pourrait même envisager de mettre des contraintes plus strictes à l’apprentissage que
lors du décodage2. La question principale soulevée par cette étude est de se demander comment choisir optimalement
Ya(x)pourl’apprentissageetYd(x)lorsdudécodage.
4.3 Contraintescommecaractéristiques
Il est intéressant de noter qu’il est possible de représenter explicitement les contraintes, jusqu’ici externes au modèle,
comme des caractéristiques particulières associées à des poids qui en dissuadent la violation. Soit c une fonction de
contrainteetsupposonsqu’ilexisteunensembledecaractéristiquesI ⊂2d permettantd’encoderexactementlecomplé-
mentairedel’espacederecherchedonnéparl’applicationdescontraintes:
∀x∈X,y∈Y(x) y(cid:54)∈Yc(x)⇔∃k ∈I,φ (x,y)(cid:54)=0.
k
Ilsuffitalorsdefixerlepoidsdetoutescescaractéristiquesà−∞pourobtenirunmodèlesanscontrainteséquivalent.Par
exemple,danslecasdescontraintesdetype,onpeutconsidérerl’ensembledescaractéristiques(mot, étiquette)
qui ne figurent pas dansle dictionnaire3. On note que pour parvenir à cette représentation équivalente, il est nécessaire
d’associer à ces caractéristiques un poids de −∞, une valeur qu’il n’est pas possible d’atteindre dans la configuration
sans contraintes du fait de la régularisation. L’utilisation explicite de contraintes revient donc, dans ce cas, à ignorer la
régularisationpourunecertaineclassedecaractéristiques,cequipeutdoncconduireàdusurapprentisage.
5 Expériences
Nous considérons dans cette section expérimentale deux tâches d’analyse morpho-syntaxique. En premier lieu, nous
étudionsendétaill’analysemorpho-syntaxiquedel’allemandenconsidérantdifférentsjeuxdecaractéristiquesetd’éti-
quettespossibles,etenutilisantdescontraintesextraitesdedifférentesmanièresducorpusd’entraînement(section5.1).
Cettepremièretâchenouspermetd’étudierlesphénomènesdemanièrepréciseetcontrôlée.Ensecondlieu,nousnous
intéressons à l’analyse morpho-syntaxique par transfert cross-lingue, dans laquelle les contraintes de type apparaissent
naturellement. Dans cette seconde tâche, nous mesurons l’importance que peut prendre l’intégration des contraintes, si
l’onsouhaiteobtenirdesperformancessatisfaisantes.
5.1 Analysemorpho-syntaxiquesupervisée
5.1.1 Conditionsexpérimentales
Corpus et tâches On s’intéresse dans cette section à la tâche d’analyse morpho-syntaxique de l’allemand à partir de
donnéesannotées.NousutilisonslecorpusarboréTIGER(Brantsetal.,2004)aveclemêmepartitionnementqueFraser
et al. (2013), contenant 50472 phrases, soit 888238 mots étiquetés avec leur catégorie morpho-syntaxique. Les éti-
quettes pour cette tâche sont structurées en différents champs : la catégorie syntaxique (CS) pouvant prendre 54 va-
leurspossible,ainsiquedestraitsmorphologiques(CM):cas,nombre,genre,personne,temps,mode,pouvantprendre
respectivement 4, 2, 3, 3, 2, 3 valeurs4. Ainsi, le mot legendären peut être étiqueté cs=ADJ,cas=gen,num=sg,
gen=masc,pers=(cid:55),tmp=(cid:55),mode=(cid:55).Surles1373étiquettespossibles,619sontobservéessurlecorpusd’appren-
tissage.Nousétudionslestâchesconsistantàprédirel’étiquettesyntaxique(CS)etl’étiquettecomplète(CS+CM).
2. Maiscommeonpeuts’yattendre,nousavonsobservéalorsdetrèsmauvaisesperformances,allantjusqu’à90%d’erreurs.
3. Cescaractéristiquesfonttypiquementpartiedesmodèles,cequimontrequecesdernierssontcapabled’encoderimplicitementlescontraintes.
4. Ainsiquelesvaleurs«nonapplicable»et«ambigu»quel’ontraiteicicommedescatégoriesàpartentière.
N.PÉCHEUX,A.ALLAUZEN,T.LAVERGNE,G.WISNIEWSKI,F.YVON
contraintes MaxEnt CRFd’ordre1
type appr. test global MDV MHV amb global MDV MHV amb
(cid:55) (cid:55) (cid:55) 10.7 6.6 49.8 10.9 2.9 2.2 9.4 3.0
(cid:55) (cid:88) 10.7 6.6 49.8 10.9 2.9 2.3 8.8 3.0
corpus
(cid:88) (cid:88) 15.5 6.6 100.0 11.0 8.2 2.6 61.4 3.5
(cid:55) (cid:88) 10.7 6.6 49.8 10.9 2.4 1.7 9.0 2.8
corr.
(cid:88) (cid:88) 15.4 6.5 100.0 11.0 7.7 2.1 61.6 3.4
(cid:55) (cid:88) 6.1 6.6 1.0 10.9 1.6 1.7 0.4 2.8
oracle
(cid:88) (cid:88) 6.0 6.5 1.1 11.0 1.6 1.7 0.4 2.9
TABLE 2: Taux d’erreur (%) pour les modèles MaxEnt et CRF entraînés de façon supervisée pour la tâche d’analyse
morpho-syntaxiquesurlecorpusTIGER,enfonctiondedifférentescontraintesconsidéréesàl’apprentissage(appr.)et/ou
au test (test) : aucunes ((cid:55)); contraintes de type extraites du corpus d’apprentissage (corpus); corrigées en utilisant le
corpusdetest(corr.);etcomplétées(oracle).Letauxd’erreurestdonnéenprenantencomptetouslesmots(global);les
motsdanslevocabulaire(MDV);lesmotshorsvocabulaire(MHV);etlesmotsambigus(amb).
Modèle Nous utilisons un CRF linéaire avec différents jeux de caractéristiques qui sont décrits par la suite. L’équa-
tion (4) est optimisée en utilisant 30 itérations de l’algorithme de propagation résiliente (Riedmiller & Braun, 1993).
Nous utilisons une régularisation L et L dont les hyperparamètres sont choisis par grid search, pour chaque expé-
1 2
rience,dans{0,0.1,1}2 demanièreàmaximiserlesperformancessurlecorpusdedéveloppement.Différentschoixdes
contraintes de type impliquent un nombre très variable de caractéristiques et choisir la régularisation adaptée à chaque
configurationestimportantpournepasinterpréteràtortdesdifférencesderésultatsquiseraientduesàunerégularisation
inappropriée.
Contraintes de type Nous envisageons trois manières différentes d’obtenir des contraintes de type à partir du corpus
annoté:«corpus»,«corrigées»et«oracle».Lescontraintesdecorpussontobtenuesenconsidérant,pourchaquemot-
type,l’ensembledesétiquettesauxquellesilestassociédanslecorpusd’apprentissage.Parexemple«amüsiert»apour
seuleétiquetteADJdanslecorpus.Cetteméthodedélivrecependantundictionnaireincomplet(lesmotshorsduvocabu-
laireducorpusd’apprentissagenesontpascouverts)etincorrect(certainsmotsambigusontpun’êtreobservésqu’avec
une seule étiquette sur les données d’apprentissage). En effet, «amüsiert» apparaît également avec l’étiquette VERB
en test. Afin d’étudier l’impact de ces deux problèmes sur les phénomènes étudiés, nous considérons deux conditions
oracles,ausensoùnousutilisonspourlesdéfinirlesdonnéesdedéveloppementetdetest.Lapremièreconsisteàcorriger
le dictionnaire ainsi extrait : pour chaque mot dans le vocabulaire d’apprentissage, on s’assure que toutes les étiquettes
observéesendéveloppementetentestsontbienincluses;sicen’estpaslecas,onlesajoute(contraintes«corrigées»).
Onassociedoncà«amüsiert»lesétiquettesADJetVERB.Dansladeuxième,onextraitlescontraintessurl’ensemble
des données (de développement et de test) et non sur les seules données d’apprentissage (contraintes «oracle»). Cela
revientégalementàconsidérerlescontraintescorrigéesauxquellesonaégalementajoutélescontraintesdetypepourles
motshorsduvocabulaired’apprentissage.
Évaluation Les performances sont évaluées en utilisant le taux d’erreur standard (rapport du nombre d’occurrences
incorrectes sur le nombre total d’occurrences) (global). Afin d’affiner davantage nos analyses, nous donnons aussi les
tauxd’erreurpourlesmotsconnus(MDV)etpourlesmotsinconnus(MHV),etauseindecesderniers,lestauxpourles
motsambigus(c’est-à-direobservésdanslecorpusd’apprentissageavecaumoinsdeuxétiquettesdifférentes)(amb).
5.1.2 ModèleMaxEntsimple
Nous commençons par un modèle log-linéaire très simple (MaxEnt) comprenant deux patrons de caractéristiques, le
premier pouvant tester les associations (mot, étiquette) pour le mot et l’étiquette courante et le second testant
l’étiquettecouranteseule(étiquette).Notonsque,danscemodèle,iln’yapasdedépendanceentreétiquettes.
LesrésultatsobtenusparlemodèleMaxEntsontdétaillésdansletableau2.Si,conformémentàl’intuition(onprédittou-
joursl’étiquettelaplusfréquenteassociéeàunmot),ajouterlescontraintesdetypeautestnechangerienauxrésultats,on
22ème TRAITEMENTAUTOMATIQUEDESLANGUESNATURELLES,CAEN,2015
peuts’étonnerdel’impactnégatifobtenulorsquecelles-cisontincluseslorsdel’apprentissage.Uneanalyseplusprécise
des résultats montre que cette baisse de performances est entièrement due aux mots inconnus : lorsque les contraintes
oracles (qui incluent les étiquettes de tous les mots du corpus de test) sont considérées, les mots hors-vocabulaire sont
systématiquementbienreconnusetlesperformancesavecetsanscontraintesaudécodagesontéquivalentes.
Cette expérience suggère que le principal problème lié à l’introduction des contraintes de type à l’apprentissage est de
désambiguïser abusivement de trop nombreuses occurrences. En effet, une grande majorité des mots-formes du corpus
d’apprentissageneprésententpasd’ambiguïtéetsontdonccomplètementdésambiguïsésparlescontraintesdetype.Pour
cesexemples,onapa(Yr(x)|x) = 1etl’occurrencenecontribueplusaugradientniàl’optimisationdel’équation(4),
θ
cequiimpliquequ’aucunparamètren’estmisàjour.Danslecasprésent,celaentraîneenparticulierquelesparamètres
relatifsauxaprioridescatégoriesnesontpluscalculésquesurlesmotsambigus.Or,lesmotsinconnussontsouventplus
prochesdesmotsrares,eux-mêmesleplussouventnon-ambigus.Ainsi,l’étiquetteassociéeàlacaractéristiqueayantle
plusfortpoidsenl’absencedecontraintesàl’apprentissageest NOUN,correspondantà50%desmotsinconnus,alors
quel’étiquetteayantleplusgrandapriorienappliquantlescontrainteslorsdel’apprentissagedevientAPPRART5,qui
necorrespondàaucunmotinconnu.Onretrouvelefaitquelefiltrerdesétiquetteséquivautàrelâcherlarégularisaionsur
certaintes caractéristiques, ce qui peut conduire à sous-apprendre d’autres caractéristiques utiles, ici les caractéristiques
relativesauxaprioridesétiquettes.
5.1.3 PrédictiondelacatégoriesyntaxiqueavecunCRF
OnconsidèremaintenantunmodèleCRFd’ordre1comportantunjeudecaractéristiquesstandard.Pourlesmotscourant,
précédentetsuivant,onconsidère:lemotenminuscule,sespréfixesjusqu’àunetaillede5,sessuffixesjusqu’àunetaille
de2,s’ilestenmajuscule,s’ilcontientuntraitd’union,s’ilnecontientquedesnombres,s’ilcontientunchiffre,saforme
obtenueenidentifiantmajuscules,minusculesetsymboles,avecetsansrépétitions(parexemplepour‘États-Unis’ona
‘Xxxxx.Xxxx” et ‘Xx.Xx). On considère également les associations desmots courant et précédent, desmots courant et
suivant. Toutes ces caractéristiques sont considérées conjointement avec chaque étiquette possible, ce à quoi on ajoute
l’étiquettecouranteseuleetlesbigrammesassociantl’étiquettecouranteetlesétiquettessuivanteetprécédente.
Lesrésultatsobtenusparcemodèlesontdansletableau2etsontauniveaudel’étatdel’art(Mülleretal.,2013).Comme
pour le modèle MaxEnt, les mots hors-vocabulaire constituent une part importante des erreurs. À nouveau, l’ajout des
contraintes de type apprises sur le corpus d’apprentissage n’améliore pas les performances. En effet, comme illustré à
lasection4.3,lescaractéristiques(mot, étiquette)permettentd’apprendrelesmêmescontraintesdemanièreen-
dogène au modèle : on voit ici que cela est fait sans erreur. On observe, cependant, que corriger les contraintes issues
de l’apprentissage permetd’obtenir des gains substantiels(réduction des erreurs de 2.9% à 2.4%). Cependant, que l’on
corrigeounonlescontraintes,lesutiliserlorsdel’apprentissagemultiplieletauxd’erreurparunfacteurd’environtrois.
Lerésultatparadoxalobservéàlasection2n’estdoncpasspécifiqueaucadredutransfertcross-lingueoudel’apprentis-
sagepartiellementsupervisé.Iciencore,ladégradationobservéepourlesMHVexpliqueunegrandepartiedelabaisse
des performances. On observetoutefois égalementune dégradationpour lesmots ambigusprésents dansle vocabulaire
d’apprentissage.Contrairementàl’intuitioninitiale,réduirelescandidatspossiblespourpermettreaumodèleden’avoir
àdiscriminerquelesétiquettesplausiblesn’apporte,danscetteexpériencedumoins,aucunavantage.Demanièreinté-
ressante,lephénomènedisparaîtdanslacondition«oracle».Commelemodèleestlemêmepourcescontraintesetpour
les contraintes corrigées (puisque la seule différence est la prise en charge des MHV au test), on en conclut que savoir
désambiguïsercorrectementlesmotsinconnuspermetégalementdemieuxprédiredesmotsvoisinsconnusmaisambigus.
Deux hypothèses, mutuellement non-exclusives, peuvent expliquer ces résultats. La première, déjà évoquée à la sec-
tion5.1.2,metl’accentsurlesmotscomplètementdésambiguïsésparlescontraintesdetypeàl’apprentissage.Eneffet,
ces mots sont alors ignorés, alors que leurs statistiques et surtout les caractéristiques qu’ils partagent avec d’autres oc-
currencespourraientêtreutilesàd’autresendroits.Unesecondehypothèseestquel’introductiondecontraintesrendles
conditionsd’apprentissageetdetestsdifférentes,puisqu’àl’apprentissagetouslesmotssontconnus,cequin’estpaslecas
autest.Cetteincohérenceentrel’apprentissageettestpourraitégalementcontribueràladégradationdesperformances.
Pourtestercesdeuxhypothèses,nousavonseffectuédeuxexpériencesdecontrôle.Lapremièreessaiederésoudrelese-
condproblèmeenintroduisantdesmotsinconnuslorsdel’apprentissage.Lesmotsrares(c’est-à-diredefréquencefaible)
ontsouventuncomportementsyntaxiqueprochedesmotsinconnus(Jurafsky&Martin,2000,chap.6).Nousproposons
doncdenepasutiliserlescontraintesdetypepourcesmotsraresetdeleurassigner,uniquementpourl’apprentissage,
l’ensembledesétiquettespossibles.Dansnosexpériences,nousconsidéronsqu’unmotestraresisafréquenced’appa-
5. Prépositionavecarticle.
N.PÉCHEUX,A.ALLAUZEN,T.LAVERGNE,G.WISNIEWSKI,F.YVON
CS CS+CM
contraintes
global MHV amb global MHV amb
(cid:55) 2.9 8.8 3.0 ? ? ?
hapax10 3.0 9.3 3.1 ? ? ?
hapax5 3.0 9.4 3.1 ? ? ?
hapax1 3.2 11.2 3.1 14.4 37.2 14.0
min10 3.2 10.9 3.1 16.6 45.7 14.9
min4 3.3 12.8 3.0 17.5 53.4 15.2
min2 3.6 15.6 3.1 18.1 58.6 15.3
corpus 8.2 61.4 3.5 19.9 74.7 15.8
TABLE 3: Taux d’erreur (en %) d’un CRF supervisé pour la tâche d’analyse morpho-syntaxique sur le corpus TIGER
avec le jeu d’étiquettes syntaxiques seules (CS) ou syntaxiques et morpho-syntaxiques (CS + CM), en considérant à
l’apprentissage les contraintes de type : uniquement pour les mots de fréquence supérieur à 10 (hapax10), 5 (hapax5),
1 (hapax1); en s’assurant que toute position comprend un minimum d’étiquettes (min10, min4, min2); ou pour tous
(corpus). Lors du test on utilise systématiquement les contraintes corpus. Pour la tâche d’analyse morpho-syntaxique
complète,iln’est,danscertainscas,paspossibledefairel’expérienceenuntempsraisonnable.
ritionestinférieureàun(hapax1),àcinq(hapax5)ouàdix(hapax10).Letableau3montrequecetteheuristiquepermet
partiellement de résoudre le problème observé. Pour le modèle simple (MaxEnt), cette heuristique suffit à ramener le
modèleaveccontraintesdetypeàl’apprentissageaumêmeniveauquelemodèlesanscontrainte.PourlesmodèlesCRF,
plusrichesencaractéristiques,ladégradationestfaibledanslecasdesconditionshapax5ethapax10.Onobserveencore
unefoisquel’améliorationdesperformancesrésulteprincipalementd’unmeilleurtraitementdesmotsinconnus.
Le problème de l’approche précédente est que pour les mots rares, toutes les étiquettes sont considérées, ce qui reste
problématiquedansdestâchesoùcetensembleesttrèsgrand.Commeladifficultésemblesurtoutprovenirdesmotscom-
plètementdésambiguïsésàl’apprentissage,dansunedeuxièmeexpérience,nousajoutonspourchaquemotcomplètement
désambiguïséuncertainnombred’étiquettesaléatoiresdemanièreàs’assurerqu’ilyaaumoinsicompétiteurs(min-i)
autotal(encomptantl’étiquettederéférence)àchaqueposition.Lesrésultatsprésentésdansletableau3montrentque
les performances obtenues sont bien meilleures que lorsque l’on applique les contraintes de base, et légèrement moins
bonnesquelorsquel’onautorisetouteslesétiquettespourlesmotsrares.Ilestenfinpossibleden’ajouterdesétiquettes
aléatoiresquepourlesmotsrares(etdésambiguïsésparlescontraintes),maisils’avèrequeceladétériorelégèrementles
résultats.Ilsembledoncquelenombredeconcurrentsjoueégalementunrôleimportantpourlesperformances.
5.1.4 Analysemorpho-syntaxiquepourlejeud’étiquettecomplet
Nous considérons ensuite la tâche de prédiction de l’étiquette morpho-syntaxique complète. Les étiquettes morpho-
syntaxiques sont structurées, au sens où les catégories morphologiques possibles dépendent de la catégorie syntaxique.
Uneapprochepossibleestdoncdedécouplerleproblèmeenapprenantd’abordlesétiquettessyntaxiques,puisenutili-
santcelles-cipourfiltrerlestraitsmorphologiques(Mülleretal.,2013).Danscetravail,nousnousintéressonstoutefois
uniquementàlaprédictiondel’étiquettemorpho-syntaxiquecomplète.
Pourcettetâche,lenombretotald’étiquettesrendprohibitivel’utilisationdumodèleCRFprécédent,enl’état,etdiverses
heuristiques doivent être envisagées pour réduire l’espace de recherche. Il est, de plus, nécessaire de limiter le nombre
d’étiquettescandidatespourlesmotsinconnus.Unepremièreapprocheconsisteàselimiteràl’ensembledesétiquettes
observées(619aulieude1373),oubienencoreauxétiquettesdites«ouvertes»6,cequilimitelesétiquettespossiblesà
435,ouenfin,selonl’approcheretenuedanscetarticle,deneprendreencomptequecellesquisontobservéesavecdes
mots rares (de fréquence 1), ce qui ramène ce nombre à 204. Nous considérons les mêmes caractéristiques que pour le
modèledelasection5.1.3,àceciprèsquechaquefoisquel’onconsidéraitunecaractéristiqueportantsuruneétiquette
(catégoriesyntaxique),nousconsidéronsmaintenantàlafoisl’étiquettecomplète,lacatégoriesyntaxiqueetlescombi-
naisons impliquant la catégorie syntaxique et chacune des catégories morphologiques. On aura donc, par exemple, une
6. Estiméesenpartitionnantlesdonnéesd’apprentissageetenimposantquelafréquenceàlaquelleuneétiquetteestvueavecunnouveaumotsoit
supérieureàunseuil(e.g.10−4).
22ème TRAITEMENTAUTOMATIQUEDESLANGUESNATURELLES,CAEN,2015
caractéristiquetestantàlafoislacatégoriesyntaxiqueetlecasdesétiquettescouranteetprécédente.Ànotreconnaissance,
seulsMülleretal.(2013)etSilfverbergetal.(2014)ontégalementutilisédescaractéristiquesinternesauxétiquettes.
Enutilisantlescontraintesdetype,ilestpossibled’entraînerunmodèleCRFstandardsansavoirbesoind’utiliserd’autre
heuristiquesimplificatrice(contrairement,parexemple,àMülleretal.(2013)).Lesrésultatsobtenus,dansletableau3,
montrentquel’onretrouvelemêmecomportementquepourlatâched’analysesyntaxiquesimple.Garantirunminimum
decompétiteursàchaquepositionpermetunboncompromisentrevitessed’apprentissageetperformancesengénérali-
sation.Ceciestinsuffisantcependantpourobtenirlesmêmesperformancesqu’enomettantlescontraintespourlesmots
rares(hapax1),résultatalorsétatdel’artpourunmodèled’ordre1(Mülleretal.,2013),maisunpeuplusdedixfoisplus
lentàentraîner.Onpeutimagineraugmenterencorelesperformancesauprixd’unentraînementpluslong.Demeilleures
techniquesquipermettraient delimiterlesdégradationsdûesà l’introductiondecontraintesdetype, toutenconservant
leurbénéficecomputationnel,restentàtrouver.
5.2 Analysemorpho-syntaxiqueambiguë
Latâched’analysemorpho-syntaxiquedelasection5.1nousapermisd’étudierleproblèmedansuncadrebiencontrôlé.
Danscecadre,lescontraintesdetype,mêmelorsqu’ellesnesontutiliséesqu’audécodage,nepermettentjamaisd’amé-
liorer les performances. Il s’avère en fait que le modèle est capable de les apprendre presque parfaitement, et leur seul
intérêt provient du gain important en vitesse qu’elles permettent. Ces contraintes étant exclusivement extraites du cor-
pusd’apprentissagelui-même,ellesn’apportenttoutefoisaucuneinformationnouvelle,etpeuventdoncêtreresponsables
du surapprentissage observé. Nous considérons ici un autre exemple, dans lequel les contraintes de type apparaissent
de manière naturelle, sont extraites indépendamment du corpus d’apprentissage et se révèlent utiles pour améliorer les
performances.
On considère la tâche d’analyse morpho-syntaxique faiblement supervisée, introduite à la section 2 et décrite en détail
dans(Täckströmetal.,2013).NousreproduisonslaconfigurationdeWisniewskietal.(2014)enutilisantleursressources
ainsi que le code fourni7. Pour chaque langue, Wisniewski et al. (2014) utilisent deux sources de contraintes de type :
d’une part un dictionnaire automatiquement extrait de WIKTIONNAIRE et d’autre part des contraintes extraites du cor-
pusd’apprentissage,annotéindirectementàpartirdel’anglaisàtraversdesliensd’alignement.Lescontraintesextraites
des bitextes jouent un rôle analogue aux contraintes extraites des corpus de la section 5.1, alors que les contraintes is-
sues du WIKTIONNAIRE reflètent une connaissance linguistique externe que l’on souhaiterait exploiter. En plus d’être
utiliséespourapprendrelaréférenceambiguë,c’est-à-direpourconstruireYr(x),lescontraintesdetypecpeuventres-
treindrel’espacederechercheYc(x)àl’apprentissageetaudécodage,configurationretenueparTäckströmetal.(2013)
etWisniewskietal.(2014).Lestableaux1et4montrentpourtantquecommepourl’apprentissagesupervisé,inclureles
contraintesàl’apprentissagenuitauxperformances,avecdanscertainscasunedifférencedrastique,parexemplepourle
finnois(fi)oul’indonésien(id)pourlesquelsletauxd’erreurestquasimentdoublé.Enomettantlescontraintesdetype
lorsdel’apprentissage,cesimplechangementpermetd’obtenirungainmoyende6.0%surleslanguesconsidéréespar
rapportaumodèle8état-de-l’artdeTäckströmetal.(2013),cequimontrel’importancedeprendreencompteleproblème.
La section 5.1 permet de comprendre en quoi les contraintes de type posent problème lors de l’apprentissage. En effet,
pourtouteslespositionssansliend’alignement,lesétiquettesderéférencesontlesmêmesquelesétiquettespossibles:
Yr(x) = Ya(x) et donc pa(Yr(x)|x) = 1 (voir l’équation (8)). Le modèle n’apprend donc rien pour cette position.
θ
Danslafigure1,parexemple,lepremiermot‘Un’estassociéàquatreétiquettesréférencespossibles,quisontaussiles
étiquettespossibleslorsquelescontraintesdetypesontappliquéesàl’apprentissage.Cetteobservationesttoujoursvraie
silescontraintesdetypepermettentdedésambiguïsercomplètementunmot.Utiliserlescontraintesdetyperevientdonc
àignorerunegrandepartiedesexemples.Unesolutionpossibleestalorsd’utiliseràl’apprentissagelescontraintesdetype
uniquementsilesétiquettesainsirestreintessontstrictementplusnombreusesquelesétiquettesderéférence.Parexemple,
danslafigure1,pourlapremièreposition,‘Un’possèdequatreétiquettesréférencespossibles;onutilisedoncl’ensemble
desdouzeétiquettespossiblespourdéfinirl’espacederecherche.Enrevanche,pourladeuxièmeposition,‘marché’,seule
7. http://perso.limsi.fr/wisniews/ambiguous
8. Enréalité,àcaused’uneerreurd’implémentation,lesrésultatspubliésdansTäckströmetal.(2013)correspondentaucasoùl’onappliqueaucune
contraintedetypepourréduirel’espacederecherche(premièreslignesdechaqueblockdansletableau4).Lesrésultatscorrigésontétépubliésparla
suitedansunerratadisponibleicihttp://www.dipanjandas.com/files/erratum.pdf.Bienquelesauteursconsidèrentquelesrésultats
desdeuxconfigurationssontsemblables,leursrésultatsmontrentpourtantclairementunedifférencedel’ordrede2%enmoyennepourlecasdes
contraintesbitexteseulesetdel’union,maispasdanslecasdescontraintesissuesdeWIKTIONNAIREseules.Nousobservonsdansnosexpériences
unedifférencepourcederniercaségalement,quenousattribuonsàlamanièredontsontextraitslesdictionnairesparWisniewskietal.(2014)qui
utilisenttouteslesinformationsdeformedeWIKTIONNAIRE,etdoncobtiennentdescontraintesdetypepluspuissantes(etdoncplusdangereusesà
l’apprentissage).
N.PÉCHEUX,A.ALLAUZEN,T.LAVERGNE,G.WISNIEWSKI,F.YVON
contraintes appr. test cs de el es fi fr id it sv
(cid:55) (cid:55) 17.3 13.6 17.0 14.8 19.2 14.3 14.8 13.5 12.4
bitexte
(cid:55) (cid:88) 17.3 12.3 17.5 14.4 18.1 14.9 15.0 13.3 12.8
⊕ (cid:88) 17.2 12.4 18.3 14.7 18.8 18.6 16.0 13.4 13.3
(cid:88) (cid:88) 23.3 17.2 23.8 19.9 34.3 24.9 30.2 15.2 19.4
(cid:55) (cid:55) 7.8 9.5 8.3 11.4 12.6 9.8 11.2 9.5 9.7
wiki
(cid:55) (cid:88) 7.3 8.2 9.8 9.4 10.9 9.7 11.2 9.8 9.3
⊕ (cid:88) 7.3 9.0 14.5 9.8 11.4 9.6 12.2 12.4 9.6
(cid:88) (cid:88) 8.8 10.7 16.9 10.3 12.1 10.9 13.9 13.4 10.1
(cid:55) (cid:55) 8.3 9.7 8.4 11.2 12.7 10.0 11.1 9.4 9.5
wiki∩bitexte
(cid:55) (cid:88) 8.0 8.4 9.9 9.2 10.5 10.3 11.3 9.8 9.6
⊕ (cid:88) 8.0 8.8 12.6 9.3 11.4 11.9 11.9 10.8 9.7
(cid:88) (cid:88) 12.8 13.2 14.0 12.0 22.4 14.7 20.5 14.7 14.6
TABLE4: Tauxd’erreur(%)obtenusparunmodèleCRFpartiellementobservésurlatâched’analysemorpho-syntaxique
partransfertcross-lingue,selonquel’onutilise:aucunecontrainte((cid:55));lescontraintesdetypeuniquementlorsqu’elles
sontdifférentesdescontraintesderéférence⊕;oulescontraintesdetypepourtouslesmots((cid:88))pourdéfinirl’espacede
rechercheàl’apprentissage(appr.)et/ouautest(test).Lescontraintesdetypesontobtenuesencombinantundictionnaire
tirédesbitextes(bitexte)etundictionnaireissuedWIKTIONNAIRE(wiki)(voirletableau1pourlecasdel’union).
l’étiquette NOUN est référence, on peut donc utiliser les contraintes de type et laisser le modèle apprendre à préférer
NOUNàVERBuniquement.
Cette stratégie, indiquée par le symbole ⊕ dans le tableau 4, ne permet en fait pas d’améliorer les performances. Au
contraire,ellelesdégradepourplusieurslangues.Ilsembledoncqu’au-delàdufaitquelescontraintesdetypepermettent
d’accélérerconsidérablementlavitessed’apprentissage(d’unfacteur15environ),ellenepermettentpasdesimplifierla
tâchedumodèle,etmême,aucontraire,dégradentànouveaulesrésultats.
Remarquonsenfinquel’impactnégatifdescontrainteslorsdel’apprentissageneconcernepasseulementlesCRF:nous
observonslemêmecomportementpourlemodèleàbased’historique,HBALde(Wisniewskietal.,2014),dontlamise
àjourestsemblableàcelled’unperceptron,entraînédanslesmêmesconditions.
6 État de l’art
L’utilisationdecontraintesdetypepourl’analysemorpho-syntaxiqueasurtoutétéproposédanslecontextedel’appren-
tissage non-supervisé (Mérialdo, 1994), que ces contraintes soient extraites de corpus (Goldberg et al., 2008; Ravi &
Knight,2009;Naseemetal.,2009)ouissuesderessourcesexternescommeWIKTIONNAIRE(Lietal.,2012).
Dans le cadre de l’apprentissage supervisé, filtrer les candidats possibles lors du décodage pour accélérer la vitesse de
l’analysemorpho-syntaxiqueestunepratiquestandard(Ratnaparkhi,1996;Moore,2014).Hajic(2000)considèrediffé-
rentesmanièresd’obtenirdesdictionnairesdetypepourl’analysemorpho-syntaxique,similairesànosconditions«cor-
pus»,«complétées»et«oracle»,etconstatequel’utilisationdecettedernièrepermetd’obtenirdavantagedegainsque
n’enprocureunaccroissementdesdonnéesd’apprentissage.Plusrécemment,Moore(2014)proposeuneformedelissage
inspiréedulissageKneyser-Neyutilisépourlesmodèlesdelangues(Chen&Goodman,1998),quipermetd’augmenter
le rappel des contraintes extraites du corpus, et donc se rapprocher de ce que nous avons appelé les contraintes «corri-
gées».Ànotreconnaissance,seulsSmithetal.(2005),Waszczuk(2012)etÖstling(2013)fontétatd’utilisationexplicite
descontrainteslorsdel’apprentissagesupervisé.Östling(2013)utiliseuneconditionquiseraitsemblableàcequenous
aurionsappeléhapax3.
Smithetal.(2005);Waszczuk(2012)séparentl’analysemorpho-syntaxique,pourunjeud’étiquettescomplexe,endeux
étapes:uneétapedeproposition,pourlaquelleonutiliseunmoduleexterneproposantuncertainnombred’étiquettes—
cequirevientàconstruiredescontraintesdetype;etuneétapededésambiguïsation,consistantàprédireencontextela
bonneétiquetteparmilespropositions—cequirevientàeffectuerl’apprentissageenincluantlescontraintesdetypeà