00sindaciTutorialFast.ipynb

sezioniInfo.csv

zDw.sh

#!/bin/bash

# Requisiti #
# - avere un sistema in cui è possibile eseguire uno script bash;
# - l'utility XMLStarlet http://xmlstar.sourceforge.net/download.php
# - l'utility csvkit http://csvkit.readthedocs.io/

# attivo la modalità di debug
set -x

# cancello file csv e xml pre esistenti nella cartella in cui lancio lo script
rm -R *.csv

# scarico tutti i dati delle 18 liste
for i in {1..18}; do curl -s "http://comunali2017.comune.palermo.it/SEZ_3_82053_L$i.xml" > "$i".xml;done

# scarico l'anagrafica di ogni candidato di ogni lista
for i in {1..18}; do xmlstarlet sel -t -m "//C0/C1" -v "@NUMERO" -o "," -v "@NOME" -o "," -v "../@NUMERO" -o "," -v "../@NOME" -n "$i".xml > anagraficaLista_"$i".txt; sed -i '1s/^/numeroCandidato,nomeCandidato,numeroLista,nomeLista\n/' anagraficaLista_"$i".txt & done

# scarico i voti di ogni candidato di ogni lista per ogni sezione
for i in {1..18}; do xmlstarlet sel -t -m "//SV/V0/V1" -v "@NUMERO" -o "," -v "@VOTIVALIDI_C1" -o ","  -v "../@NUMERO" -o "," -v "../../@NUMERO" -n "$i".xml > listaSezioni_"$i".txt ; sed  -i '1s/^/numeroCandidato,voti,numeroLista,sezione\n/' listaSezioni_"$i".txt & done

# faccio il join tra i dati per sezione e l'anagrafica dei candidati
# l'output è un file di dettaglio in formato CSV per ogni lista
for i in {1..18}; do csvsql --query "select * from  listaSezioni_$i LEFT JOIN anagraficaLista_$i ON listaSezioni_$i.numeroCandidato=anagraficaLista_$i.numeroCandidato" listaSezioni_"$i".txt anagraficaLista_"$i".txt > lista_"$i".csv; done

# faccio il merge di tutti i CSV e produco un unico file
# con tutti i voti per candidato per sezione di ogni lista
csvstack *.csv | csvcut -c 1,2,3,4,6,8 > liste.csv

# cancello file che non mi sono più utili
rm -R *.txt
rm -R *.xml