chrissyhroberts/ODK_Download_Decrypt with cleartext password, autoupdate on ODK Briefcase, simple report and options to purge all data before and after running

## ODK_Download_Decrypt with cleartext password, autoupdate on ODK Briefcase, simple report and options to purge all data before and after running
######################################################
# SETTINGS
#
# You need to install a version of Java that has the Java Cryptography Extensions - see instructions here https://github.com/chrissyhroberts/ODK_TRAINING/blob/master/User_Guide.md
# URL of aggregate server [must include top level directory]
# This script requires one package dependency from package "getPass". This will be installed automatically if you don't have it.
#                 i.e. "https://test.odk.lshtm.ac.uk/test"
# USER NAME
#                 i.e. "chrissy"
# DECRYPTION PEM LOCATION : Please enter the full path to the decryption key
#                 i.e. "D:/keys/PRIVATE.KEY.pem  (PC)
#                 i.e. "/Volumes/POOKY/PRIVATE.KEY.pem  (UNIX/LINUX/MAC)
# OUTPUT DIRECTORY
#
#				to send to a specific folder use i.e. "output"
#				to send to a timestamped folder use "export.dir.name<-format(Sys.time(), "%y%m%d.%H%M ")"


################################################################################################################
# USER MODIFIABLE SETTINGS
################################################################################################################

#server settings
urllocation<-    "https://test.odk.lshtm.ac.uk/test"
user <- "username"
pemlocation<-    "~/foo/bar/PRIVATE.KEY.pem"


#directories
export.dir.name <- "~/foo/bar/output"
report.dir.name <- "~/foo/bar/report"
storage.dir.name <- "~/foo/bar/XMLS"


#update software
update.briefcase<-FALSE

# add list of forms to pull in the line below (comma separated in double quotes)
formstopull<-c("FORM1","FORM2")
######################################################

#purge : delete all CSV data prior to run (will remove previous CSV files)
#autodelete : delete data after run (will delete CSV files after report made)
#deletexmlpre : delete previously pulled XML files prior to new pull
#deletexmlpost : delete previously pulled XML files after new pull

purge<-TRUE
autodelete<-FALSE
deletexmlpre<-FALSE
deletexmlpost<-FALSE

####deleteXMLS prior
if(deletexmlpre==T){
  unlink(x = "XMLS",recursive = T)
}


################################################################################################################
####ODK Briefcase Call Function
################################################################################################################

#function to pull data from ODK Aggregate Server
################################################################################################################


odk.briefcase.pull<-
  function(
    aggregate.url=NULL,            #arg  -url   <url>
    odk.directory=NULL,           #arg         <path/to/dir>
    odk.username="admin",         #arg  -u     <username>
    form.id=NULL,                 #arg  -id    <form_id>
    export.dir=".",               #arg  -ed    <path/to/dir>
    storage.dir=".",              #arg  -sd    <path/to/dir>
    export.start.date=NULL,       #arg  -start <yyyy/MM/dd>
    export.end.date=NULL,         #arg -end   <yyyy/MM/dd>
    pem_file=NULL,                #arg -pf    <path/to/file.pem>
    exclude.media.export=FALSE,   #flag -em
    overwrite.csv.export=TRUE,   #flag -oc
    update.odk.briefcase=FALSE
  ){


    ################################################################################################################
    # Purge CSVs and delete XMLS if needed
    ############################################################################################################

    if(deletexmlpre==T){
      unlink(x = storage.dir,recursive = T)
    }
    if(purge==TRUE)
    {
      unlink(x = export.dir.name,recursive = T)
    }


    ################################################################################################################
    # INSTALL REQUIRED PACKAGES
    ############################################################################################################
    message("installing packages if needed")
    #check if getPass is installed and install it if not
    message("checking for new packages")
    list.of.packages <- c("getPass","anytime","tidyverse","plotKML","sp","rgdal","lubridate")

    new.packages <- list.of.packages[!(list.of.packages %in% installed.packages()[,"Package"])]
    if(length(new.packages))
    {
      install.packages(new.packages)
      message (paste("Installing ",new.packages))
    }


    ################################################################################################################
    #check if update.odk.briefcase flag was active (default) and update odk briefcase
    ################################################################################################################
    message("Checking to see if Briefcase should be updated.")
    if(update.odk.briefcase==T)

    {
      message("Updating ODK Briefcase")
      #download.file(url = "https://github.com/opendatakit/briefcase/releases/download/v1.10.1/ODK-Briefcase-v1.10.1.jar",
      #             destfile = paste( "./odkbriefcase.jar",sep = ""), method="curl", mode = "wb",extra="-L")
      system("curl -L  https://github.com/opendatakit/briefcase/releases/download/v1.10.1/ODK-Briefcase-v1.10.1.jar > ./odkbriefcase.jar")
      }


    ################################################################################################################
    #check that only online or offline is being used
    ############################################################################################################
    if (!is.null(aggregate.url) & !is.null(odk.directory))
    {
      message("Please only specify one of aggregate.url and odk.directory")
    }


    ################################################################################################################
    #add flags for command line call
    ###############################################################################################################
    if(!is.null(aggregate.url)){aggregate.url<-paste("-url ", aggregate.url, sep="")}            #arg  -url   <url>
    if(!is.null(odk.directory)){odk.directory<-paste("-od ", odk.directory, sep="")}
    odk.username<-paste("-u ", odk.username, sep="")
    export.dir<-paste("-ed ", export.dir, sep="")
    storage.dir<-paste("-sd ", storage.dir, sep="")
    if(!is.null(export.start.date)){export.start.date<-paste("-start ", export.start.date, sep="")}
    if(!is.null(export.end.date)){export.end.date<-paste("-end ", export.end.date, sep="")}
    if(!is.null(pem_file)){pem_file<-paste("-pf ", pem_file, sep="")}
    if(exclude.media.export==T){exclude.media.export<-"-em"}else{exclude.media.export<-""}
    if(overwrite.csv.export==T){overwrite.csv.export<-"-oc"}else{overwrite.csv.export<-""}

    ################################################################################################################
    #Get Password for current user
    ################################################################################################################

    password<- getPass(msg = "Enter Password for server")
    password<- paste("-p ",password,sep="")


    ################################################################################################################
    #Generate command for system call to odk briefcase for each form in form.id
    ################################################################################################################

    for(p in form.id)
    {

      export.filename<-paste(p,"_",Sys.Date(),".csv",sep="")
      if(!is.null(export.filename)){export.filename<-paste("-f ", export.filename, sep="")}
      form.id2<-paste("-id ", p, sep="")

      command<-paste("java -jar odkbriefcase.jar ",
                     aggregate.url,
                     odk.directory,
                     odk.username,
                     form.id2,
                     export.dir,
                     export.start.date,
                     export.end.date,
                     export.filename,
                     storage.dir,
                     pem_file,
                     exclude.media.export,
                     overwrite.csv.export,
                     password,
                     sep=" ")

      system(command)
    }
    if(autodelete==TRUE){
      unlink(x = export.dir.name,recursive = T)
    }

    ####deleteXMLS
    if(deletexmlpost==TRUE){
      unlink(x = "XMLS",recursive = T)
    }
  }

################################################################################################################
################################################################################################################
# END OF FUNCTION
################################################################################################################
################################################################################################################


################################################################################################################
#create directories if needed
################################################################################################################
if(!file.exists(export.dir.name)){dir.create(export.dir.name)}
if(!file.exists(report.dir.name)){dir.create(report.dir.name)}
if(!file.exists(storage.dir.name)){dir.create(storage.dir.name)}

################################################################################################################
#### Run Call to ODK Briefcase
################################################################################################################
odk.briefcase.pull(aggregate.url = urllocation, odk.username = user,form.id = formstopull,export.dir = export.dir.name,storage.dir = storage.dir.name,exclude.media.export = F,overwrite.csv.export = T,update.odk.briefcase = update.briefcase, pem_file = pemlocation)
################################################################################################################


################################################################################################################
####GET THE LIST OF ALL FILES###
allcsvs<-list.files(path = export.dir.name,pattern = ".csv",full.names = T)
################################################################################################################
	######################################################
	# SETTINGS
	#
	# You need to install a version of Java that has the Java Cryptography Extensions - see instructions here https://github.com/chrissyhroberts/ODK_TRAINING/blob/master/User_Guide.md
	# URL of aggregate server [must include top level directory]
	# This script requires one package dependency from package "getPass". This will be installed automatically if you don't have it.
	# i.e. "https://test.odk.lshtm.ac.uk/test"
	# USER NAME
	# i.e. "chrissy"
	# DECRYPTION PEM LOCATION : Please enter the full path to the decryption key
	# i.e. "D:/keys/PRIVATE.KEY.pem (PC)
	# i.e. "/Volumes/POOKY/PRIVATE.KEY.pem (UNIX/LINUX/MAC)
	# OUTPUT DIRECTORY
	#
	# to send to a specific folder use i.e. "output"
	# to send to a timestamped folder use "export.dir.name<-format(Sys.time(), "%y%m%d.%H%M ")"


	################################################################################################################
	# USER MODIFIABLE SETTINGS
	################################################################################################################

	#server settings
	urllocation<- "https://test.odk.lshtm.ac.uk/test"
	user <- "username"
	pemlocation<- "~/foo/bar/PRIVATE.KEY.pem"


	#directories
	export.dir.name <- "~/foo/bar/output"
	report.dir.name <- "~/foo/bar/report"
	storage.dir.name <- "~/foo/bar/XMLS"


	#update software
	update.briefcase<-FALSE

	# add list of forms to pull in the line below (comma separated in double quotes)
	formstopull<-c("FORM1","FORM2")
	######################################################

	#purge : delete all CSV data prior to run (will remove previous CSV files)
	#autodelete : delete data after run (will delete CSV files after report made)
	#deletexmlpre : delete previously pulled XML files prior to new pull
	#deletexmlpost : delete previously pulled XML files after new pull

	purge<-TRUE
	autodelete<-FALSE
	deletexmlpre<-FALSE
	deletexmlpost<-FALSE

	####deleteXMLS prior
	if(deletexmlpre==T){
	unlink(x = "XMLS",recursive = T)
	}






	################################################################################################################
	####ODK Briefcase Call Function
	################################################################################################################

	#function to pull data from ODK Aggregate Server
	################################################################################################################



	odk.briefcase.pull<-
	function(
	aggregate.url=NULL, #arg -url <url>
	odk.directory=NULL, #arg <path/to/dir>
	odk.username="admin", #arg -u <username>
	form.id=NULL, #arg -id <form_id>
	export.dir=".", #arg -ed <path/to/dir>
	storage.dir=".", #arg -sd <path/to/dir>
	export.start.date=NULL, #arg -start <yyyy/MM/dd>
	export.end.date=NULL, #arg -end <yyyy/MM/dd>
	pem_file=NULL, #arg -pf <path/to/file.pem>
	exclude.media.export=FALSE, #flag -em
	overwrite.csv.export=TRUE, #flag -oc
	update.odk.briefcase=FALSE
	){



	################################################################################################################
	# Purge CSVs and delete XMLS if needed
	############################################################################################################

	if(deletexmlpre==T){
	unlink(x = storage.dir,recursive = T)
	}
	if(purge==TRUE)
	{
	unlink(x = export.dir.name,recursive = T)
	}




	################################################################################################################
	# INSTALL REQUIRED PACKAGES
	############################################################################################################
	message("installing packages if needed")
	#check if getPass is installed and install it if not
	message("checking for new packages")
	list.of.packages <- c("getPass","anytime","tidyverse","plotKML","sp","rgdal","lubridate")

	new.packages <- list.of.packages[!(list.of.packages %in% installed.packages()[,"Package"])]
	if(length(new.packages))
	{
	install.packages(new.packages)
	message (paste("Installing ",new.packages))
	}




	################################################################################################################
	#check if update.odk.briefcase flag was active (default) and update odk briefcase
	################################################################################################################
	message("Checking to see if Briefcase should be updated.")
	if(update.odk.briefcase==T)

	{
	message("Updating ODK Briefcase")
	#download.file(url = "https://github.com/opendatakit/briefcase/releases/download/v1.10.1/ODK-Briefcase-v1.10.1.jar",
	# destfile = paste( "./odkbriefcase.jar",sep = ""), method="curl", mode = "wb",extra="-L")
	system("curl -L https://github.com/opendatakit/briefcase/releases/download/v1.10.1/ODK-Briefcase-v1.10.1.jar > ./odkbriefcase.jar")
	}



	################################################################################################################
	#check that only online or offline is being used
	############################################################################################################
	if (!is.null(aggregate.url) & !is.null(odk.directory))
	{
	message("Please only specify one of aggregate.url and odk.directory")
	}




	################################################################################################################
	#add flags for command line call
	###############################################################################################################
	if(!is.null(aggregate.url)){aggregate.url<-paste("-url ", aggregate.url, sep="")} #arg -url <url>
	if(!is.null(odk.directory)){odk.directory<-paste("-od ", odk.directory, sep="")}
	odk.username<-paste("-u ", odk.username, sep="")
	export.dir<-paste("-ed ", export.dir, sep="")
	storage.dir<-paste("-sd ", storage.dir, sep="")
	if(!is.null(export.start.date)){export.start.date<-paste("-start ", export.start.date, sep="")}
	if(!is.null(export.end.date)){export.end.date<-paste("-end ", export.end.date, sep="")}
	if(!is.null(pem_file)){pem_file<-paste("-pf ", pem_file, sep="")}
	if(exclude.media.export==T){exclude.media.export<-"-em"}else{exclude.media.export<-""}
	if(overwrite.csv.export==T){overwrite.csv.export<-"-oc"}else{overwrite.csv.export<-""}

	################################################################################################################
	#Get Password for current user
	################################################################################################################

	password<- getPass(msg = "Enter Password for server")
	password<- paste("-p ",password,sep="")


	################################################################################################################
	#Generate command for system call to odk briefcase for each form in form.id
	################################################################################################################

	for(p in form.id)
	{

	export.filename<-paste(p,"_",Sys.Date(),".csv",sep="")
	if(!is.null(export.filename)){export.filename<-paste("-f ", export.filename, sep="")}
	form.id2<-paste("-id ", p, sep="")

	command<-paste("java -jar odkbriefcase.jar ",
	aggregate.url,
	odk.directory,
	odk.username,
	form.id2,
	export.dir,
	export.start.date,
	export.end.date,
	export.filename,
	storage.dir,
	pem_file,
	exclude.media.export,
	overwrite.csv.export,
	password,
	sep=" ")

	system(command)
	}
	if(autodelete==TRUE){
	unlink(x = export.dir.name,recursive = T)
	}

	####deleteXMLS
	if(deletexmlpost==TRUE){
	unlink(x = "XMLS",recursive = T)
	}
	}

	################################################################################################################
	################################################################################################################
	# END OF FUNCTION
	################################################################################################################
	################################################################################################################


	################################################################################################################
	#create directories if needed
	################################################################################################################
	if(!file.exists(export.dir.name)){dir.create(export.dir.name)}
	if(!file.exists(report.dir.name)){dir.create(report.dir.name)}
	if(!file.exists(storage.dir.name)){dir.create(storage.dir.name)}

	################################################################################################################
	#### Run Call to ODK Briefcase
	################################################################################################################
	odk.briefcase.pull(aggregate.url = urllocation, odk.username = user,form.id = formstopull,export.dir = export.dir.name,storage.dir = storage.dir.name,exclude.media.export = F,overwrite.csv.export = T,update.odk.briefcase = update.briefcase, pem_file = pemlocation)
	################################################################################################################


	################################################################################################################
	####GET THE LIST OF ALL FILES###
	allcsvs<-list.files(path = export.dir.name,pattern = ".csv",full.names = T)
	################################################################################################################