Analyser du texte

Plan de la séance

Pourquoi « analyser du texte » ?
Des exemples de méthodes et d’outils
Présentation de Voyant Tools

1. Pourquoi « analyser du textes » ?

1.1 Data Mining

découverte de connaissance
structuration des documents

Si l’on remonte aux origines des humanités numériques, et au projet de Roberto Busa, on se rend compte que l’arrivée des méthodes computationnelles est très tardive par rapport à l’histoire de l’analyse de texte. Fayyad, Shapiro et Smyth, dans un article de 1996 intitulé « Knowledge Discovery in Databases » précise l’apparition de l’engouement pour ce type de méthode et le situe dans les années 1980. Comme nous l’avons vu précédemment, c’est à peu près à cette époque que les textes sont encodés selon des régles particulières : SGML, TEI, HTML, etc. L’engouement pour l’analyse textuelle (distant reading ou méthodes quantitatives) vient donc aussi de la capacité de pouvoir travailler sur des textes structurés dans lesquels il est plus facile de naviguer comme nous l’avons vu la semaine dernière.

1.2 Rappel sur les caractéristiques de l’écriture numérique

calculable

Parmi les caractéristiques de l’écriture numérique, celle qui va nous intéresser aujourd’hui est la calculabilité. C’est également ce qui intéressait Busa à l’époque. Sans entrer dans les détails de la controverse sur qu’est-ce qui est une écriture numérique ou non (on peut par exemple reprendre la position tenue par Rockwell et Sinclair dans ce débat de sémiologues) on peut considérer que même si tout n’est pas écriture numérique dans un espace numérique, il y a beaucoup de texte.

Et ce texte, il faut pouvoir le manipuler. Ce n’est plus simplement du texte que l’on peut lire et que l’on peut interpréter graphiquement mais c’est un texte pour lequel chaque signe a un pendant sous forme de bytes. Un byte est composé de 8-bits, et chaque bit est lui-même composé d’un 0 ou d’un 1. Cette combinaison binaire de symboles est à la base de tous les textes que nous écrivons. Cette vision numérique du texte retire toute sémantique au texte : la manipulation des symboles requiert de retirer toute signification au texte puisque c’est la machine qui va effectuer les opérations.

Rockwell et Sinclair nous rappellent que pour effectuer de telles actions, le texte ne peut pas être formaté dans un format binaire (comme ceux issus des logiciels de traitement de texte) mais qu’il vaut mieux utiliser des formats de texte brut (comme les formats de balisage !).

1.3 Pourquoi employer de telles méthodes ?

2. Des exemples et des outils

2.1 Deux types d’analyse de texte

Analyse de texte basée sur le nombre de mots
Analyse de texte basée sur le traitement du langage naturel (NLP Natural language processing)

2.2 Prétraitement du texte

Définir le corpus et l’encoder dans un format de texte brut
Filtrer le corpus (est-ce qu’on retire certains éléments comme les balises HTML si c’est un corpus issu du Web, etc.)
Est-ce uq’il y a besoin d’uniformiser le corpus en bas de casse ?
Découper le corpus en différentes unités (phrases, mots, etc.)
Lemmatiser ou Raciniser le corpus

2.3 Traitement du texte

Nombre de mots
Modélisation des sujets
Analyse de sentiments
Regroupement hiérarchique
TF-IDF

3. Présentation de Voyant Tools

Capture d’écran de Voyant Tools

fonction(s) : extraction, calcul de la fréquence, production de statistiques, etc.
usage(s) : outil d’analyse de texte
création : 2003, Stéfan Sinclair et Geoffrey Rockwell
mise à jour : développements réguliers
changement(s) induit(s) : disposer d’outils d’analyse de texte accessibles