Extraire, trier et filtrer des données

La commande grep est essentielle. De toutes celles présentées dans ce chapitre, il s'agit probablement de la plus couramment utilisée.

Son rôle est de rechercher un mot dans un fichier et d'afficher les lignes dans lesquelles ce mot a été trouvé. L'avantage de cette commande est qu'elle peut être utilisée très simplement ou de manière plus complexe (mais plus précise) selon les besoins, en faisant appel aux expressions régulières.



Nous allons commencer par utiliser grep de manière très simple, puis nous verrons ensuite comment faire des recherches plus poussées avec les expressions régulières.

Utiliser grep simplement

La commande grep peut s'utiliser de nombreuses façons différentes. Pour le moment, nous allons suivre le schéma ci-dessous :

Code : Console

Le premier paramètre est le texte à rechercher, le second est le nom du fichier dans lequel ce texte doit être recherché.

Essayons par exemple de rechercher le mot "alias" dans notre fichier de configuration .bashrc. Rendez-vous dans votre répertoire personnel (en tapant cd), et lancez la commande suivante :

Code : Console

Cette commande demande à rechercher le mot "alias" dans le fichier .bashrc et affiche toutes les lignes dans lesquelles le mot a été trouvé.

Résultat :

Code : Console

Pas mal n'est-ce pas ? Comme vous pouvez le voir, grep est plus un outil de filtre qu'un outil de recherche. Son objectif est de vous afficher uniquement les lignes qui contiennent le mot que vous avez demandé.

Notez qu'il n'est pas nécessaire de mettre des guillemets autour du mot recherché, sauf si vous recherchez une suite de plusieurs mots séparés par des espaces comme ceci :

Code : Console

-i : ne pas tenir compte de la casse (majuscules / minuscules)

Par défaut, grep tient compte de la casse : il fait la distinction entre les majuscules et les minuscules. Ainsi, si vous recherchez "alias" et qu'une ligne contient "Alias", grep ne la renverra pas.

Pour que grep renvoie toutes les lignes qui contiennent "alias", peu importe les majuscules et les minuscules, utilisez l'option -i :

Code : Console

On notera que la première ligne renvoyée (ici surlignée) n'était pas présente tout à l'heure car le mot "Alias" contenait une majuscule. Avec l'option -i, on peut maintenant la voir.

-n : connaître les numéros des lignes

Vous pouvez afficher les numéros des lignes retournées avec -n :

Code : Console

-v : inverser la recherche : ignorer un mot

Si, au contraire, vous voulez connaître toutes les lignes qui ne contiennent pas un mot donné, utilisez -v :

Code : Console

Cette fois, on récupère toutes les lignes du fichier .bashrc qui ne contiennent pas le mot "alias".

-r : rechercher dans tous les fichiers et sous-dossiers

Si vous ne savez pas dans quel fichier se trouve le texte que vous recherchez, vous pouvez sortir l'artillerie lourde : l'option -r (récursive). Cette fois, il faudra indiquer en dernier paramètre le nom du répertoire dans lequel la recherche doit être faite (et non pas le nom d'un fichier).

Code : Console

... recherchera la chaîne "Site du Zéro" dans tous les fichiers du répertoire "code", y compris dans les sous-dossiers.



Code : Console

Cette fois, le nom du fichier dans lequel la chaîne a été trouvée s'affiche au début de la ligne.

Utiliser grep avec des expressions régulières

Pour faire des recherches plus poussées, pour ne pas dire des recherches très poussées, vous devez faire appel aux expressions régulières. C'est un ensemble de symboles qui va vous permettre de dire à l'ordinateur très précisément ce que vous recherchez.

Je vous propose dans un premier temps de jeter un oeil à ce tableau des principaux caractères spéciaux qu'on utilise dans les expressions régulières :

Caractère spécial	Signification
.	Caractère quelconque
^	Début de ligne
$	Fin de ligne
[]	Un des caractères entre les crochets
?	L'élément précédent est optionnel (peut être présent 0 ou 1 fois)
*	L'élément précédent peut être présent 0, 1 ou plusieurs fois
+	L'élément précédent doit être présent 1 ou plusieurs fois
|	Ou
()	Groupement d'expressions

Normal. Pour bien faire, il faudrait un ou deux chapitres entiers sur les expressions régulières. Là je n'ai pas vraiment la place de faire un "mini-cours" sur les expressions régulières, aussi je vous propose de jeter un oeil à ces quelques lignes pour apprendre par l'exemple.

Tout d'abord, il faut savoir qu'on doit utiliser l'option -E pour faire comprendre à grep que l'on utilise une expression régulière.

Code : Console




C'est une expression régulière très simple. Elle demande à rechercher le mot Alias (avec un A majuscule). Si le mot est présent dans une ligne, la ligne est renvoyée.

Bon jusque là rien de nouveau, ça marchait comme ça avant qu'on utilise les expressions régulières. Essayons de pimenter cela en faisant précéder "Alias" d'un accent circonflexe qui signifie que "le mot doit être placé au début de la ligne" :

Code : Console

Résultat : grep ne renvoie rien. En effet, la ligne de tout à l'heure commençait par un # et non pas par Alias.

En revanche on a un résultat si on fait :

Code : Console

Cette fois la ligne commençait bien par "alias". De même, on aurait pu utiliser un $ à la fin pour demander à ce que la ligne se termine par alias.

Quelques autres exemples que vous pouvez tester :

Code : Console

... renvoie toutes les lignes qui contiennent "alias" ou "Alias".

Code : Console

... renvoie toutes les lignes qui contiennent un nombre compris entre 0 et 4.

Code : Console

... renvoie toutes les lignes qui contiennent un caractère alphabétique compris entre a et z ou entre A et Z.


Je vous ai fait là une introduction très rapide, il y aurait beaucoup à dire. Si vous voulez en savoir plus sur les expressions régulières, direction le cours PHP où j'ai rédigé des explications plus complètes. Il faudra un peu s'adapter parce que ces explications sont faites pour les programmeurs PHP, mais vous devriez y trouver suffisamment d'exemples et d'explications pour en apprendre davantage.

La commande sort se révèle bien utile lorsqu'on a besoin de trier le contenu d'un fichier.

Pour nos exemples, je vous propose de créer un nouveau fichier (avec nano par exemple) appelé "noms.txt" et d'y placer le texte suivant :

Code : Autre

Ensuite, exécutez la commande sort sur ce fichier :

Code : Console

Le contenu du fichier est trié alphabétiquement et le résultat est affiché dans la console.
Vous noterez que sort ne fait pas attention à la casse (majuscules / minuscules).

-o : écrire le résultat dans un fichier

Le fichier en lui-même n'a pas été modifié lorsque nous avons lancé la commande. Seul le résultat était affiché dans la console.

Vous pouvez faire en sorte que le fichier soit modifié en précisant un nom de fichier avec l'option -o :

Code : Console

... écrira la liste de noms triés dans noms_tries.txt.

-r : trier en ordre inverse

L'option -r permet d'inverser le tri :

Code : Console

-R : trier aléatoirement

Cette option permet de trier aléatoirement les lignes d'un fichier. C'est assez marrant et ça peut se révéler utile dans certains cas :

Code : Console

-n : trier des nombres

Le tri de nombres est un peu particulier. En effet, la commande sort ne reconnaît pas si les caractères sont des nombres et trie par défaut alphabétiquement. Par conséquent, le "mot" 129 précèdera 42, alors que ce devrait être l'inverse !

Prenons un exemple. Créez un nouveau fichier "nombres.txt" et placez-y le contenu suivant :

Code : Autre

Triez-les comme vous avez appris à le faire :

Code : Console

Alphabétiquement, ces nombres sont bien triés. Tout ce qui commence par 1 est en premier, puis vient ce qui commence par 2, et ainsi de suite.
Bien sûr, quand on veut trier des nombres, c'est n'importe quoi.

C'est là que l'option -n intervient. Elle permet de trier en considérant le texte comme des nombres. Cette fois, le nombre 42 sera bien placé avant 129 !

Code : Console

Magique.

La commande wc signifie "Word Count". C'est donc a priori un compteur de mots, mais en fait on lui trouve plusieurs autres utilités : compter le nombre de lignes (très fréquent) et compter le nombre de caractères.

Comme les précédentes, la commande wc travaille sur un fichier.

Sans paramètres, les résultats renvoyés par wc sont un peu obscurs. Voyez plutôt :

Code : Console

Ces 3 nombres signifient, dans l'ordre :

1. Le nombre de lignes
2. Le nombres de mots
3. Le nombre d'octets

Il fallait le savoir !

-l : compter le nombre de lignes

Pour avoir uniquement le nombre de lignes, utilisez -l :

Code : Console

-w : compter le nombre de mots

Combien de mots différents y a-t-il dans le fichier ?

Code : Console

-c : compter le nombre d'octets

Combien d'octets compte le fichier ?

Code : Console

-m : compter le nombre de caractères

Ah, voilà une information qui ne nous a pas été donnée lorsque nous avons lancé la commande wc sans paramètres.

L'option -m renvoie le nombre de caractères :

Code : Console

Comme vous pouvez le voir, le nombre de caractères est différent du nombre d'octets.

Parfois, certains fichiers contiennent des lignes en double et on aimerait pouvoir les détecter ou les supprimer. La commande uniq est toute indiquée pour cela.

Nous devons travailler sur un fichier trié. En effet, la commande uniq ne repère que les lignes successives qui sont identiques.
Je vous propose de créer un fichier doublons.txt contenant les noms suivants :

Code : Autre

Il y a des noms en double (et même en triple) dans ce fichier. Appliquons un petit coup de uniq là-dessus pour voir ce qu'il en reste :

Code : Console

La liste de noms sans les doublons s'affiche alors dans la console !

Vous pouvez demander à ce que le résultat sans doublons soit écrit dans un autre fichier plutôt qu'affiché dans la console :

Code : Console

La liste sans doublons sera écrite dans sans_doublons.txt.

-c : compter le nombre d'occurences

Avec -c, la commande uniq vous affiche le nombre de fois que la ligne est présente dans le fichier :

Code : Console

On sait ainsi qu'il y a 3 fois François, 1 fois Jean, 2 fois Marcel, etc.

-d : afficher uniquement les lignes présentes en double

L'option -d demande à afficher uniquement les lignes présentes en double :

Code : Console

Comme seuls François et Marcel avaient des doublons, on les voit ici s'afficher dans la console.

Vous avez déjà coupé du texte dans un éditeur de texte, non ?
La commande cut vous propose de faire cela au sein d'un fichier, afin de conserver uniquement une partie de chaque ligne.

Couper selon le nombre de caractères

Par exemple, si vous souhaitez conserver uniquement les caractères 2 à 5 de chaque ligne du fichier, vous taperez :

Code : Console



Pour conserver du 1er au 3ème caractère :

Code : Console

Comme vous pouvez le voir, si on ne met pas de chiffre au début, cut comprend que vous voulez parler du premier caractère.

De même, pour conserver du 3ème au dernier caractère :

Code : Console

Là encore, pas besoin de donner le numéro du dernier caractère (ce serait un peu ennuyant de compter à chaque fois, avouez ), la commande cut comprend comme une grande qu'elle doit couper jusqu'à la fin.

Couper selon un délimiteur

Faisons maintenant quelque chose de bien plus intéressant. Plutôt que de s'amuser à compter le nombre de caractères, on va travailler avec ce qu'on appelle un délimiteur.

Prenons un cas pratique : les fichiers CSV. Vous en avez peut-être déjà vu : ils sont générés par des tableurs tels que Excel et Openoffice.org pour faciliter l'échange et le traitement de données.

Imaginons que vous ayez une (petite) classe et que vous rendiez les notes du dernier contrôle. Vous avez fait un joli tableur et vous avez enregistré le document au format CSV. Le fichier sur lequel nous allons nous baser sera le suivant :

Code : Autre

Comme le nom CSV l'indique, les virgules servent à séparer les colonnes. Ces colonnes contiennent, dans l'ordre :

• Le prénom
• La note
• Un commentaire

C'est un exemple tout à fait fictif bien entendu.

Créez un nouveau fichier avec le texte que je viens de vous donner, que vous appellerez par exemple "notes.csv".

Imaginons que nous souhaitons extraire de ce fichier la liste des prénoms. Comment nous y prendrions-nous ?
On ne peut pas utiliser la technique qu'on vient d'apprendre car les prénoms ne font pas tous la même longueur. Nous allons donc nous servir du fait que nous savons que la virgule sépare les différents champs dans ce fichier.

Vous allez avoir besoin d'utiliser 2 paramètres :

• -d : indique quel est le délimiteur dans le fichier
• -f : indique le numéro du ou des champs à couper

Dans notre cas, le délimiteur qui sépare les champs est la virgule.
Le numéro du champ à couper est 1 (c'est le premier).

Testez donc ceci :

Code : Console

C'est pas beau ça ?

Après le -d, nous avons indiqué quel était le délimiteur (à savoir la virgule ",").
Après le -f, nous avons indiqué le numéro du champ à conserver (le premier).

Si nous voulons juste les commentaires :

Code : Console

Pour avoir les champs n°1 et n°3 (le prénom et le commentaire) :

Code : Console



Vous êtes bien obligés d'admettre que, quand on sait bien s'en servir, la console de Linux peut vous permettre d'effectuer des opérations vraiment puissantes que vous ne pensiez même pas pouvoir faire aussi simplement jusqu'à présent.

1
2
3
4
5
6
7

Paris
Washington
Paris
Singapour
Tokyo
Paris
Singapour

1
2
3
4

kEvIn/88.157.132.29/14571/France
sigmaskill/38.51.111.10/2187/Portugal
massou/33.147.203.7/263/Brésil
annah/110.27.4.209/171/Autriche