###
# Introduction

Le corpus DEFT se compose de cas cliniques rédigés en français
provenant du corpus CAS [1]. Les cas cliniques proposés sont liés à
différentes spécialités médicales (cardiologie, urologie, oncologie,
obstétrique, pneumologie, gastro-entérologie, etc.). Ils ont été
publiés dans différents pays francophones (France, Belgique, Suisse,
Canada, pays africains, pays tropicaux, etc.).

Un sous-corpus composés de 717 fichiers a été constitué pour les
éditions 2019, 2020 et 2021 de la campagne d'évaluation DEFT (Défi
Fouille de Texte). Ces fichiers ont été annotés manuellement (double
annotation suivie d'un consensus).

- les 717 fichiers ont tous été annotés et utilisés lors de l'édition
  DEFT 2019 [2] ;

- un sous-ensemble de 167 fichiers a été annoté pour DEFT 2020 [3],
  répartis entre corpus d'entraînement (100 fichiers) et corpus de
  test (67 fichiers) ;

- ce sous-ensemble de 167 fichiers a été réutilisé pour DEFT 2021 [4]
  pour le corpus d'entraînement, complété par 108 fichiers provenant
  du corpus 2019 (et qui ont été annotés à la fois avec les
  informations de 2020 et de 2021) pour le corpus de test.

En conséquence, les 717 fichiers du corpus DEFT sont tous annotés avec
les informations de l'édition DEFT 2019 (age, genre, issue, origine).
Parmi eux, 275 fichiers (soit 38,4% du corpus) ont été enrichis
d'informations fines pour les éditions :
- 2020 (anatomie, date, dose, duree, examen, frequence, mode, moment,
pathologie, sosy, substance, traitement, valeur)
- et 2021 (annotation de 23 axes du chapitre C du MeSH)
Les 275 fichiers avec annotations complètes correspondent à ceux
utilisés en 2021 (voir distribution-corpus.txt pour la liste exacte).


Références :

[1] Grabar N, Claveau V, Dalloux C (2018). CAS: French Corpus with
Clinical Cases. In: Proc of LOUHI. Bruxelles, Belgique

[2] Grabar N, Grouin C, Hamon T, Claveau V (2019). Recherche et
extraction d'information dans des cas cliniques. Présentation de la
campagne d'évaluation DEFT 2019. In: Actes DEFT 2019. Toulouse,
France. http://talnarchives.atala.org/ateliers/2019/DEFT/1.pdf ;
https://deft.limsi.fr/2019/

[3] Cardon R, Grabar N, Grouin C, Hamon T (2020). Présentation de la
campagne d'évaluation DEFT 2020 : similarité textuelle en domaine
ouvert et extraction d'information précise dans des cas cliniques. In:
Actes DEFT 2020. Nancy,
France. http://talnarchives.atala.org/ateliers/2020/DEFT/221.pdf ;
https://deft.limsi.fr/2020/

[4] Grouin C, Grabar N, Illouz G (2021). Classification de cas
cliniques et évaluation automatique de réponses d’étudiants :
présentation de la campagne DEFT 2021. In: Actes DEFT 2021. Lille,
France. http://talnarchives.atala.org/ateliers/2021/DEFT/77.pdf ;
https://deft.lisn.upsaclay.fr/2021/


###
# DEFT 2019

L'édition 2019 portait sur l'identification d'informations
démographiques et cliniques parmi quatre types :

- l'âge de la personne dont le cas est décrit, au moment du dernier
  élément clinique rapporté dans le cas clinique, normalisé sous la
  forme d'un entier (soit 0 pour un nourrisson de moins d'un an, 1
  pour un enfant de moins de deux ans, y compris un an et demi, 20
  pour un patient d'une vingtaine d'années, etc.).

- le genre de la personne dont le cas est décrit, parmi deux valeurs
  normalisées : féminin, masculin (il n'existe aucun cas de dysgénésie
  ou d'hermaphrodisme dans le corpus).

- l'origine (motif de la consultation ou de l'hospitalisation) pour le
  dernier événement clinique ayant motivé la consultation. Cette
  catégorie intègre généralement les pathologies, signes et symptômes
  (par exemple, "une tuméfaction lombaire droite, fébrile avec
  frissons" ou "un contexte d'asthénie et d'altération de l'état
  général"), plus rarement les circonstances d'un accident ("une chute
  de 12 mètres, par défénestration, avec réception ventrale", "un AVP
  moto" ou "pense avoir été violée"). Le suivi clinique se trouve dans
  la continuité d'événements précédents. Il ne constitue pas un motif
  de consultation.

- l'issue parmi cinq valeurs possibles : (1) guérison (le problème
  clinique décrit dans le cas a été traité et la personne est guérie),
  (2) amélioration (l'état clinique est amélioré sans qu'on ne puisse
  conclure à une guérison), (3) stable (soit l'état clinique reste
  stationnaire, soit il est impossible de déterminer entre
  amélioration et détérioration), (4) détérioration (l'état clinique
  se dégrade), ou (5) décès (lorsque le décès concerne directement le
  cas clinique décrit).

Les annotations réalisées par les deux annotateurs humains ont servi à
établir la référence. Parmi les quatre catégories d'information
utilisées pour DEFT 2019, seule la catégorie "origine" impliquait de
fournir la portion du texte correspondante. Sur les trois autres
catégories (âge, genre, issue), nous attendions une version
normalisée.

Evaluation
----------
Les scripts d'évaluation de l'édition DEFT 2019 sont dans l'archive
scripts-eval-deft2019.tar.gz dans le répertoire evaluations/. Le
format attendu des prédictions est un fichier tabulaire composé de
cinq colonnes : (i) nom du fichier, (ii) âge sous la forme d'un
entier, (iii) genre féminin/masculin, (iv) issue parmi les cinq
classes possibles, et (v) la portion de texte justifiant l'origine de
la consultation.

$ python3 eval_DeFT19_T3.py -i hypothese-t3.tsv -r ref-test-deft2019.tsv


###
# DEFT 2020

L'édition 2020 est une tâche d'extraction d'informations fines autour
d'une dizaine de catégories. Si treize catégories ont été annotées,
seules dix ont été utilisées pour la campagne d'évaluation. Les
annotations sur les treize catégories ont cependant été distribuées
aux participants et figurent dans cette archive.

Quatre domaines sont couverts :
- autour des patients : (1) anatomie
- pratique clinique : (2) examen, (3) pathologie, (4) signe ou
  symptôme
- traitements médicamenteux et chirurgicaux : (5) substance, (6) dose,
  (7) durée, (8) fréquence, (9) mode d'administration, (10) traitement
  (chirurgical ou médical), (11) valeur
- temporalité : (12) date, (13) moment

Le guide d'annotation utilisé est consultable : https://deft.limsi.fr/2020/guide-deft.html

Pour certains types, des attributs ont été utilisés, fournissant des
informations complémentaires, qui n'ont pas été utilisées pour la
campagne DEFT 2020.

Evaluation
----------
Les fichiers utilisés pour l'évaluation sont ceux au format BRAT. Le
script d'évaluation fourni avec BRAT, et modifié depuis, permettant de
calculer les valeurs de rappel, précision et F-mesure a été utilisé
pour l'évaluation de la campagne DEFT 2020.

Deux pistes ont été proposées :
- l'une consistant à fusionner les classes "pathologies" et "sosy"
- l'autre conservant cette distinction
Pour préparer la référence et les hypothèses pour chacune de ces deux
pistes, un script est nécessaire pour fusionner et ne conserver que
les classes d'intérêt utilisées dans DEFT 2020 (premier argument, le
répartoire BRAT contenant toutes les annotations, deuxième argument,
le répertoire contenant la nouvelle référence, troisième argument, le
numéro de piste). A faire une seule fois pour constituer la référence
(les deux répertoires de référence ainsi constitués sont dans
l'archive evaluations/ref-3.1.2-deft2020.tar.gz), à faire autant de
fois que d'hypothèses à tester.

$ perl separeAnnotations-deft2020.pl goldStandard/ ref-3.1/ 1
$ perl separeAnnotations-deft2020.pl goldStandard/ ref-3.2/ 2

$ perl separeAnnotations-deft2020.pl repertoire-predictions/ tmp-3.1/ 1
$ perl separeAnnotations-deft2020.pl repertoire-predictions/ tmp-3.2/ 2
$ java -cp BRATEval-0.0.2-SNAPSHOT.jar au.com.nicta.csp.brateval.CompareEntities tmp-3.1/ ref-3.1/ true | tail -5
$ java -cp BRATEval-0.0.2-SNAPSHOT.jar au.com.nicta.csp.brateval.CompareEntities tmp-3.2/ ref-3.2/ true | tail -12
$ rm tmp-3.1/*ann tmp-3.2/*ann


###
# DEFT 2021

L'édition 2021 est une tâche d'identification du profil clinique du
patient d'après les maladies, signes ou symptômes mentionnés dans les
cas cliniques. Ces mentions ont été annotées autour des principaux
axes du chapitre C du MeSH (https://mesh.inserm.fr/). S'il existe 26
axes dans ce chapitre, seuls 23 axes ont été identifiés parmi les
maladies, signes ou symptômes mentionnés dans le corpus :
- C01 Infections bactériennes et mycoses
- C02 Maladies virales
- C03 Maladies parasitaires
- C04 Tumeurs
- C05 Maladies ostéomusculaires
- C06 Maladies de l'appareil digestif
- C07 Maladies du système stomatognathique
- C08 Maladies de l'appareil respiratoire
- C09 Maladies oto-rhino-laryngologiques
- C10 Maladies du système nerveux
- C11 Maladies de l'oeil
- C12 Maladies urogénitales de l'homme
- C13 Maladies de l'appareil urogénital féminin et complications de la grossesse
- C14 Maladies cardiovasculaires
- C15 Hémopathies et maladies lymphatiques
- C16 Malformations et maladies congénitales, héréditaires et néonatales
- C17 Maladies de la peau et du tissu conjonctif
- C18 Maladies métaboliques et nutritionnelles
- C19 Maladies endocriniennes
- C20 Maladies du système immunitaire
- C23 États, signes et symptômes pathologiques
- C25 Troubles dus à des produits chimiques
- C26 Plaies et blessures

Une même mention peut renvoyer à un ou plusieurs axes (par exemple,
"myélome" renvoient aux axes C04 Tumeurs, C15 Hémopathies et maladies
lymphatiques, et C20 Maladies du système immunitaire).

Evaluation
----------
Le corpus se composent à la fois des annotations de chaque mention au
format BRAT, et d'un fichier de référence (ref-train-deft2021.txt et
ref-test-deft2021.txt) listant les axes de chaque mention (dans le
répertoire evaluations/). Les participants devaient produire des
fichiers de ce type et ce sont ces derniers fichiers qui ont servi
pour l'évaluation des soumissions des participants :

$ perl evaluation-cas-clinique_DEFT2021.pl ref-test-deft2021.txt soumission-participant.txt



###
# Statistiques

DEFT 2019
=========

- 717 fichiers

- 2838 portions annotées parmi 4 types (age, genre, issue, origine),
  dont 1405 portions associées avec des valeurs d'attribut
    708 age
    728 genre
    680 issue
    722 origine

- distribution des valeurs de l'attribut "genre" :
    317 féminin
    410 masculin

- distribution des valeurs de l'attribut "issue" :
    256 amélioration
    117 décès
     23 détérioration
    227 guérison
     55 stable


DEFT 2020
=========

- 167 fichiers (issus des 717 fichiers précédents)

- 13493 portions annotées parmi 13 types dont la distribution est la
  suivante :
   2729 anatomie
    144 date
    444 dose
    242 duree
   2035 examen
    271 frequence
    332 mode
    616 moment
    535 pathologie
   3110 sosy
   1337 substance
    678 traitement
   1020 valeur

- cinq attributs associés à certains types d'information :
    559 assertion
     36 changement
     50 etat
    331 norme
     80 prise

- distribution des valeurs de l'attribut "assertion" :
    448 absent
      3 conditionnel
     41 hypothétique
     25 non-associé
     39 possible
      3 présent

- distribution des valeurs de l'attribut "changement" :
     11 augmentation
     25 diminution

- distribution des valeurs de l'attribut "etat" :
      8 familial
     42 passé

- distribution des valeurs de l'attribut "norme" :
     38 bas
     72 haut
    221 normal

- distribution des valeurs de l'attribut "prise" :
     73 arrêt
      7 reprise


DEFT 2021
=========

- 275 fichiers (les 167 fichiers précédents + 108 fichiers)

- 26990 portions annotées parmi 46 types (4 informations
  démographiques DEFT 2019, 19 informations fines DEFT 2020, et 23
  chapitres du MeSH DEFT 2021) dont la distribution est la suivante :

  --informations démographiques (DEFT 2019)--
    271 age
    276 genre
    175 issue
    169 origine

  --informations fines (DEFT 2020)--
   4780 anatomie
    250 date
    107 dispositif
    562 dose
    375 duree
   3355 examen
     21 fonction
    383 frequence
    484 mode
    970 moment
     20 organisme
    764 pathologie
      5 poids
   5240 sosy
   2009 substance
      3 taille
      9 temperature
   1311 traitement
   1743 valeur

  --chapitres du MeSH (DEFT 2021)--
     63 blessures
    163 cardiovasculaires
    122 chimiques
    132 digestif
     65 endocriniennes
   1033 etatsosy
    270 femme
     55 genetique
    118 hemopathies
    334 homme
     52 immunitaire
     99 infections
    217 nerveux
     82 nutritionnelles
     41 oeil
     14 ORL
     89 osteomusculaires
     12 parasitaires
    114 peau
     95 respiratoire
     18 stomatognathique
    497 tumeur
     23 virales
