Récupérer et nettoyer des données sur le Web

# On importe les librairies dont on a besoin pour travailler
# Ainsi on peut utiliser les fonctions disponibles dans ces librairies
# sans avoir à les redévelopper

import os
import requests
from bs4 import BeautifulSoup

# Pour ne pas à avoir à réécrire tout le temps notre url on peut créer une variable dans laquelle l'affecter
url = "https://generationcovid.fr/vos-temoignages/"

# Plutôt que d'avoir une requête très longue, on peut aussi fragmenter
# la récuperation du contenu en plusieurs étapes
# D'abord la requete :
reponse_de_la_requete = requests.get(url)

# Pour vérifier l'information que nous retourne cette fonction, utiliser la fonction print().
print(reponse_de_la_requete)

# La réponse nous informe normalement un succès de la requête.

# Pour voir la réponse HTML nous allons utiliser BeautifulSoup

soup = BeautifulSoup(reponse_de_la_requete.content, "html.parser")

# Comme tout à l'heure, nous allons utiliser la fonction print() pour afficher le résultat dans la console Python.

print(soup)

# On crée une variable à laquelle on affecte toutes les contributions
# la fonction find_all de BeautifulSoup permet de récupérer toutes les occurences mentionnées
# en paramètres.

contributions_elements = soup.find_all("div", class_="testimonial-inner")

# Nous avons pris l'habitude de vérifier les informations que nous retournent les fonctions avec print().

print(contributions_elements)

# Là on voit bien que nous avons récupéré tous les éléments mais ils sont tous les uns à la suite des autres.
# Ce n'est pas très pratique si l'on souhaite travailler contribution par contribution
# Nous allons utiliser une boucle for pour mettre un peu d'ordre dans tout ce texte

for contribution_element in contributions_elements:
    content_element = contribution_element.find("div", class_="testimonial-content").text.strip()
    date_element = contribution_element.find("div", class_="testimonial-date").text.strip()
    print(date_element)
    print(content_element)
    # On ajoute le résultat à une variable, attention il faut déclarer la variable au préalable !
    # Pour cela, on ajoute site_content = [] en haut du fichier
    # pour indiquer que site_content contient une liste vide à laquelle append() va ajouter des éléments
    site_content.append([date_element, content_element])

# On refait un print pour voir le résultat obtenu dans notre variable (même si les print() intermédiaires nous
# donne déjà une bonne idée du résultat)

print(site_content)

# On obtient une liste qui contient des listes composées de deux chaines de caractères : une date et un texte

# Une des manières possible est d'utiliser une boucle while
# pour passer sur toutes les pages du site web.

# Pour appliquer cette boucle while il nous faut regarder quel élément pourrait nous permettre de créer une condition.
# Pour rappel la boucle while fonctionne sur le principe de la réalisation d'une condition : 
# tant que cette condition est valide, exécuter les instructions suivantes.

# Cette boucle doit nous permettre de modificer l'url passée à la requête get(url)
# pour récupérer le contenu sur toutes les pages du site web.
# L'URL des pages est formée comme suit : https://generationcovid.fr/vos-temoignages/page/2/
# Le paramètre qu iva changer à chaque page est le numéro de la page.
# Le nombre maximal de page est 72
# On peut donc faire une boucle avec un compteur qui va jusqu'à 73
# Tant que le compteur est différent de 73, exécuter les instructions.

# En haut du fichier, on crée d'abord une variable pour amorcer notre compteur

numero_page = 1

# Puis on englobe tout ce qu'on a fait jusqu'à présent dans une boucle while

while numero_page != 73:
    #tout le code
    reponse_requete = requests.get(url)
    #soup....
    #for ...

    # Maintenant on incrémente le compteur pour modifier l'url données à la get()
    # On rappelle la variable url et on lui affecte une nouvelle valeur
    # Le dernier élément entre accolades prendra la valeur affectée à la variable numero_page
    url = f"https://generationcovid.fr/vos-temoignages/page/{numero_page}/"
    # On affiche la valeur d'url dans la console
    print(url)
    # On incrémente le compteur pour qu'au prochain passage de la boucle on puisse à nouveau changer de page
    numero_page = numero_page + 1

# Il y a plusieurs options pour écrire dans des fichiers CSV.
# Celle que nous allons utiliser consiste à importer la librairie CSV
# En en-tête de fichier, avec les autres librairies, on ajoute : import csv

import csv

# Pour créer notre csv nous avons déjà tout le contenu à disposition, 
# mais nous avons également besoin de des en-têtes de colonne pour décrire les données qui s'y trouvent.
# Pour cela, nous allons créer une variable en-dessous des imports de librairies, avec celle de l'url et le compteur.
# On va créer une liste contenant deux chaines de caractères qui correspondent au titre de nos colonnes.

entetesCsv = ["date", "content"]

# Sous la boucle while, nous allons pouvoir exporter les résultats dans un fichier CSV
# On ouvre un csv avec la fonction open() qui prend deux paramètres : le nom du document
# et le mode dans lequel nous sommes, "w" pour write.
# Ensuite on lui passe en écriture les en-têtes puis les contributions

with open("generation-covid.csv", "w") as f :
    write = csv.writer(f)
    write.writerow(entetesCsv)
    write.writerows(site_content)