Scraperwiki

scraperwiki.php

#!/usr/bin/env php
<?

require 'scraperwiki.php';

$html = scraperwiki::scrape("https://www.eura2007.fi/rrtiepa/projektilista.php?rahasto=ALL&type=xml");
$eura = preg_replace("/&/", "&amp;", $html);

$projektilista = simplexml_load_string($eura);
$unique_keys = array('projektikoodi');

foreach ($projektilista->projekti as $projekti):
	$projektikoodi=$projekti->projektikoodi;
    	$rahasto=$projekti->rahasto;
    	$projektinnimi=$projekti->projektinnimi;
	$ohjelmaosio=$projekti->ohjelmaosio;
	$toimintalinjanumero=$projekti->toimintalinjanumero;
	$viranomainen=$projekti->viranomainen;
	$toiminnantila=$projekti->toiminnantila;
    	$aloituspvm=$projekti->aloituspvm;
	$paattymispvm=$projekti->paattymispvm;
	$toteuttajannimi=$projekti->toteuttajannimi;
	$euvaltionrahoitusmyonnetty=$projekti->valtionrahoitusmyonnetty;
	$euvaltionrahoitustoteutunut=$projekti->euvaltionrahoitustoteutunut;
	$julkinenrahoitussuunniteltu=$projekti->julkinenrahoitussuunniteltu;
	$julkinenrahoitustoteutunut=$projekti->julkinenrahoitustoteutunut;
	$kuvaus = scraperwiki::scrape("https://www.eura2007.fi/rrtiepa/projekti.php?projektikoodi=" . $projektikoodi);
    	$start=strpos($kuvaus, "<div");
      	$end=strpos($kuvaus, "<img",$start);
      	$kuvaus = substr($kuvaus,$start,$end-$start);
    	$teksti = array('projektikoodi'=>(string)$projektikoodi,'rahasto'=>(string)$rahasto,'projektinnimi'=>(string)$projektinnimi,'ohjelmaosio'=>(string)$ohjelmaosio,'toimintalinjanumero'=>(string)$toimintalinjanumero,'viranomainen'=>(string)$viranomainen,'toiminnantila'=>(string)$toiminnantila,'aloituspvm'=>(string)$aloituspvm,'paattymispvm'=>(string)$paattymispvm,'toteuttajannimi'=>(string)$toteuttajannimi,'euvaltionrahoitusmyonnetty'=>(string)$euvaltionrahoitusmyonnetty,'euvaltionrahoitustoteutunut'=>(string)$euvaltionrahoitustoteutunut,'julkinenrahoitussuunniteltu'=>(string)$julkinenrahoitussuunniteltu,'julkinenrahoitustoteutunut'=>(string)$julkinenrahoitustoteutunut,'kuvaus'=>$kuvaus);
      	echo var_dump($teksti);
      	scraperwiki::save_sqlite($unique_keys,$teksti,"hankeaika");
endforeach;
?>