URL1 = "https://raw.githubusercontent.com/samayo/country-json/master/src/country-by-population.json"

import json

import requests

# il faut être un peu patient, surtout si votre réseau est un peu lent

response = requests.get(URL1)

# dans ce genre de cas dir() est utile
# sauf que c'est un peu trop bavard
# dir(response)

# du coup ça vaut le coup de filter un peu

[symbol for symbol in dir(response) if not symbol.startswith('_')]

# si tout s'est bien passé ici on doit avoir 200
# (pour être précis: entre 200 et 299)
# c'est un des codes de retours de HTTP
# si c'est par exemple 404 ça signifie que cette URL n'existe plus

response.status_code

# si on était curieux on pourrait aussi faire

response.headers

# pour voir par exemple la taille de notre donnée

response.headers['Content-Length']

# mais bon, bien sûr ce qu'on veut surtout c'est le contenu
# c'est une chaine, regardons les 100 premiers caractères

print(type(response.text))
print(response.text[:100], '...')

def get_url_as_json(url):
    """
    Fetch a URL and decode its result as JSON
    """

    with requests.get(url) as response:
        return json.loads(response.text)

python_friendly = get_url_as_json(URL1)

# on obtient quoi comme type ?
type(python_friendly)

python_friendly[:3]

python_friendly[-3:]

len(python_friendly)

# et ici par exemple je pourrais décider que c'est plus pratique
# sous la forme d'un dictionnaire name -> population

population = {d['country']: d['population'] for d in python_friendly}

# de sorte que je peux faire simplement
population['France']

# pareil, on clique sur 'Raw' pour obtenir le lien vers la donnée 'crue'

URL2 = "https://raw.githubusercontent.com/datasets/population/main/data/population.csv"

# il faut être un peu patient car c'est bcp + gros que tout à l'heure

response = requests.get(URL2)
response.headers['Content-Length']

# il semble donc qu'on ait affaire à un csv classique
# qu'on peut décortiquer avec object csv.reader
# https://docs.python.org/3/library/csv.html

import csv

# pour utiliser csv.reader, il nous faut un objet de type fichier (file-like object)
# et c'est là que StringIO est super pratique

from io import StringIO

with (StringIO(response.text)) as file_like:
    reader = csv.reader(file_like, delimiter=',')
    # on regarde juste les 3 premiers enregistrements
    for i, row in enumerate(reader, 1):
        print(i, row)
        if i >= 3:
            break

import pandas as pd

# en vrai on fait comme ça: être patient .. à nouveau

df = pd.read_csv(URL2)

# on regarde un peu ce qu'il y a dedans

df.head(3)

# on peut aussi regarder la fin avec df.tail(3)

# conversion en date

df['time'] = pd.to_datetime(df.Year, format="%Y")

df.head(3)

# on nettoie / renomme

del df['Year']

df = df.rename(columns = {
    'Country Name': 'country',
    'Country Code': 'code',
    'Value': 'population',
})

df.head(2)

# on choisit un index un peu plus parlant

df = df.set_index('time')

df.head(2)

# on se définit arbitrairement une période qui nous intéresse

begin = pd.to_datetime('1980', format='%Y')
end = pd.to_datetime('2010', format='%Y')

# on filtre ce qui nous intéresse

df_france = df[(df.country == 'France') & (df.index >= begin) & (df.index <= end)]
df_france.head

# on peut maintenant dessiner

df_france[['population']].plot();