Skip to content

Instantly share code, notes, and snippets.

View ThomasG77's full-sized avatar

Thomas Gratier ThomasG77

View GitHub Profile
@ThomasG77
ThomasG77 / README.md
Created September 24, 2022 00:19
Miniconda with gdal install
@ThomasG77
ThomasG77 / communes-mairies-altitude-cp-insee.json
Created August 28, 2024 14:37
Generate altitude for French mairies for COG 2024
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
@ThomasG77
ThomasG77 / index.html
Last active July 28, 2024 10:55 — forked from Andrew-Reid/index.html
Leaflet and Popup with D3
<!DOCTYPE html>
<html>
<head>
<title>Leaflet with D3 popups</title>
<meta charset="utf-8" />
<meta name="viewport" content="width=device-width, initial-scale=1.0">
<script src="https://cdnjs.cloudflare.com/ajax/libs/d3/4.13.0/d3.min.js"></script>
<link rel="stylesheet" href="https://unpkg.com/leaflet@1.3.1/dist/leaflet.css" integrity="sha512-Rksm5RenBEKSKFjgI3a41vrjkw4EVPlJ3+OiI65vTjIdo9brlAacEuKOiQ5OFh7cOI1bkDwLqdLw3Zg0cRJAAQ==" crossorigin=""/>
<script src="https://unpkg.com/leaflet@1.3.1/dist/leaflet.js" integrity="sha512-/Nsx9X4HebavoBvEBuyp3I7od5tA0UzAxs+j83KgC8PU0kgB4XiK4Lfe4y4cgBtaRJQEIFCW+oC506aPT2L1zw==" crossorigin=""></script>
@ThomasG77
ThomasG77 / README.md
Last active July 25, 2024 15:07
Athletes fr JO 2024

Récupération des données de l'API des athlètes français JO 2024 derrière https://data.equipedefrance.com

Le plus intéressant, ce sont les athlètes qui sont exposés. Il manque quelques coordonnées géographiques (correspondant au lieu de naissance, 29 lors de mes tests). Nous avons dû les déduire en passant les slugs des athlètes car les lieux de naissance sont renseignés dans les pages HTML du type https://www.equipedefrance.com/athlete/guylaine-marchand bien que la géolocalisation du lieu de naissance soit absente.

Il y a eu quelques cas où:

  • pas de lieu de naissance dans le fiche HTML
  • on a modifié le nom de la région après le lieu de naissance car le géocodeur ne retournait pas l'attendu
  • on a récupéré le lieu de naissance "ailleurs" car quelques fiches HTML étaient innaccessibles (erreurs 500) ou sans le lieu de naissance
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
@ThomasG77
ThomasG77 / README.md
Last active July 9, 2024 11:50
Generation diagramme image pour Photoshop
@ThomasG77
ThomasG77 / README.md
Last active July 6, 2024 19:38
Bureaux de vote des circonscriptions de l'étranger

Récupération des bureaux de vote des circonscriptions de l'étranger

wget https://www.resultats-elections.interieur.gouv.fr/telechargements/LG2024/territoires/territoires.xml
echo '"code_com","lib_com","code_circ","lib_circ"' >| circo_etrangers_zz.csv
xq -r -c '."Election"."EnsembleGeo"."Regions"."Region"[] | select(."CodReg" == "00") | ."Departements"."Departement"[] | select(."CodDpt" == "ZZ") | ."Circonscriptions"."Circonscription"[] | ."CodCirElec" as $codeCir | ."LibCirElec" as $libCirElec | ."Communes"."Commune"[] | [."CodCom", ."LibCom", $codeCir, $libCirElec] | @csv' territoires.xml >> circo_etrangers_zz.csv

CSV et SHP géocodés avec QGIS en utilisant le plugin MMQGIS. Voir le shp dans le zip, le GeoJSON dans dans le dépôt

@ThomasG77
ThomasG77 / README.md
Last active June 29, 2024 17:29
Recipe to get JSON using pagination using command line tools e.g curl, jq, bc, cat
@ThomasG77
ThomasG77 / README.md
Last active June 13, 2024 08:29
EPCIs from DROM moved to area of metropolitan French area

Générer une version de données où les EPCI des DROM sont regroupés à proximité du territoire métropolitain

Cette demande fait suite à une demande pour avoir un résultat similaire à "Contours des communes de France simplifié, avec régions et département d'outre-mer rapprochés" https://www.data.gouv.fr/fr/datasets/contours-des-communes-de-france-simplifie-avec-regions-et-departement-doutre-mer-rapproches/

Nous avions vu passer le billet de blog d'Eric Mauvière à ce sujet https://www.icem7.fr/cartographie/un-fond-de-carte-france-par-commune-optimise-pour-le-web-et-lanalyse-statistique/

Méthodologie adoptée

Il passait par les codes départements pour déterminer quelles entités devaient être translatés/redimensionnées sur la métropole. Nous avons fait le choix de partir des rectangles englobants ("bounding box") pour pouvoir assigner les mêmes codes et réutiliser une partie de la recette du billet de blog. Ce fonctionnement présente en outre l'avantage d'être générique à toutes les unités administratives i

@ThomasG77
ThomasG77 / list_postgresql_instance_tables.sh
Created March 26, 2023 14:20
List schema and tables from all databases in PostgreSQL cluster
psql -t --csv -d postgres -c "WITH get_database_names AS (
SELECT d.datname as dbname
FROM pg_catalog.pg_database d
WHERE d.datname <> 'template0'
ORDER BY 1
)
SELECT * FROM get_database_names;" >| databases.txt
echo "schemaname,tablename,dbname" >| all_tables.txt
for i in $(cat databases.txt);