Challenges & Shared-Tasks

Participation au Sixth i2b2/VA Shared-Task and Workshop Challenges in Natural Language Processing for Clinical Data: Event, Timex and Temporal Relations Challenge (2012) organisé par I2B2 (Informatics for integrating Biology and the Bedside - a National Center for biomedical Computing). Membres de l'équipe : Thierry Hamon (LIM&BIO), Natalia Grabar (STL-Lille3), Cyril Grouin, Sophie Rosset, Xavier Tannier et Pierre Zweigenbaum (LIMSI-Orsay). Résultats: Tâche 1 - Event : 9e sur 14, Timex : 10e sur 14 Tâche 2 - End to End (Event&Timex et Tlink) : 5e sur 7.
Voir https://www.i2b2.org/NLP/TemporalRelations/Main.php
Participation au Défi Fouille de Texte} (DEFT) 2012 organisé par le LIMSI-CNRS (Orsay) et l'EBSI (Université de Montréal).

L'objectif était d'identifier les mots clés associés à des articles scientifiques issus des Sciences Humaines et Sociales. La première tâche fournissait la liste des mots clés pour l'ensemble de la collection d'articles. Aucune information n'était fournie dans la deuxième tâche. Les données d'entraînement était disponibles pendant environ 2 mois. La phase de test durait trois jours. Je suis arrivé quatrième sur les deux tâches (parmi 10 participants) avec des F-mesures de 0,3985 et 0,1921. Voir http://deft.limsi.fr/2012/
Participation au Fourth i2b2/VA Shared-Task and Workshop Challenges in Natural Language Processing for Clinical Data: Medical Concept, Assertions, Relations Extraction Challenge (2010) organisé par I2B2 (Informatics for integrating Biology and the Bedside - a National Center for biomedical Computing). Membres de l'équipe : Thierry Hamon (LIM&BIO), Natalia Grabar (SPIM INSERM, HEGP), Amandine Périnet (LIM&BIO), Jérome Nobécourt (LIM&BIO).
Voir http://www.i2b2.org/NLP/Relations/Main.php
Participation au Third i2b2 Shared-Task and Workshop Challenges in Natural Language Processing for Clinical Data: Medication Extraction Challenge (2009) organisé par I2B2 (Informatics for integrating Biology and the Bedside - a National Center for biomedical Computing). Membres de l'équipe : Thierry Hamon (LIM&BIO), Natalia Grabar (SPIM INSERM, HEGP).
L'objectif était d'extraire les médicaments prescrits au patient ainsi que des informations associées (fréquence, dosage, mode d'administration, durée, motif), de dossiers patients rédigés en texte libre. Les données de développement étaient mises à disposition pour trois mois (les documents n'étaient pas annotés), et la phase de test durait moins de 3 jours. Nous sommes arrivés 7^ème sur 20 participants avec une macro F mesure de 0,7801.
Voir http://www.i2b2.org/NLP/Medication/Main.php
Participation au Second i2b2 Shared-Task and Workshop Challenges in Natural Language Processing for Clinical Data Obesity Challenge (A Shared-Task on Obesity): Who's obese and what co-morbidities do they (definitely/likely) have? (2008) organisé par I2B2 (Informatics for integrating Biology and the Bedside - a National Center for biomedical Computing). Membres de l'équipe : Natalia Grabar (SPIM INSERM, HEGP) et Thierry Dart (HEGP)
L'objectif était de catégoriser des dossiers patients suivant 16 pathologies (Obésité et 15 co-morbidités notamment Asthme, Hypertension, etc.) en effectuant des déductions sur les informations contenues dans le texte (tâche dite "intuitive"), les patients pouvant avoir plusieurs pathologies. Les données d'entraînement étaient mises à disposition pour trois mois, et la phase de test durait moins de 3 jours. Nous sommes arrivés 16^ème sur 28 participants avec une macro F mesure de 0,6104 (la mesure variant entre 0,3442 et 0,6745, la moyenne étant de 0,60).
Voir http://www.i2b2.org/NLP/Obesity/