importerV2.sh

gistfile1.txt

FileOrig=$1
FileDest=$2

if [ -z $FileOrig -o -z $FileDest ]; then 
 echo "$0 FileOriginal FileDestion"
 exit
fi
FileOrigNew=$FileOrig\.new
cp $FileOrig $FileOrigNew

echo normaliza fechas
#1- Normaliza Fechas.
sed -i '/FECHAEMIS../ s/\([0-9][0-9][0-9][0-9]\)\([0-9][0-9]\)\([0-9][0-9]\)/\1-\2-\3T00:00:00-03:00/' $FileOrigNew
sed -i '/FECHA-ENTREGA../ s/\([0-9][0-9][0-9][0-9]\)\([0-9][0-9]\)\([0-9][0-9]\)/"\1-\2-\3T00:00:00-03:00"/' $FileOrigNew
sed -i '/FCHPEDIDO../ s/\([0-9][0-9][0-9][0-9]\)\([0-9][0-9]\)\([0-9][0-9]\)/"\1-\2-\3T00:00:00-03:00"/' $FileOrigNew
sed -i '/FECGENERA../ s/\([0-9][0-9][0-9][0-9]\)\([0-9][0-9]\)\([0-9][0-9]\)/"\1-\2-\3T00:00:00-03:00"/' $FileOrigNew
sed -i '/FECHA-SALDO../ s/\([0-9][0-9][0-9][0-9]\)\([0-9][0-9]\)\([0-9][0-9]\)/"\1-\2-\3T00:00:00-03:00"/' $FileOrigNew

for i in $(echo FECHA-ENTREGA FECHAEMIS FECGENERA FECHA-SALDA FCHPEDIDO);do
 curl -XPUT 'http://localhost:9200/datos/_mapping/muestra' -d "
{
    \"$i\" : {
        \"properties\" : {
            \"message\" : {\"type\" : \"date\"}
        }
    }
}"
done

echo "Convirtiendo"
#2- convierte.
## lee       |  borr [      | borra ]     | borra ^M         | Elimina \n | Lo agrega solo antes de { | elimina :,          |borra ^$   
cat $FileOrigNew|sed 's/\[//g'| sed 's/\]//g'|sed -e 's/\r//g'  | tr -d '\n' | sed 's/{/\'$'\n{/g' | sed -e 's/:,/:"",/g' | sed 's/},.*$/}/g' | egrep -v ^[[:space:]]+$  > $FileDest
FileOrig=$1
FileDest=$2

echo "importando"
#3- importa.
while read line ; do curl -XPOST localhost:9200/datos/muestra -d "$line" ; done < $FileDest

this script convert cobol output to json data and upload it to elasticsearch

importerV2.sh datosorig datosdestino.json