Skip to content

Instantly share code, notes, and snippets.

@woltage
Last active January 18, 2024 12:57
Show Gist options
  • Save woltage/5b7a744f9562b9348c90c6e0d038d92a to your computer and use it in GitHub Desktop.
Save woltage/5b7a744f9562b9348c90c6e0d038d92a to your computer and use it in GitHub Desktop.
Skripti jolla saa Y-tunnukella kaikki firman omistamat .fi -verkkotunnukset
## Y-Tunnukseen perustuva domainejen haku (.fi)
## Esimerkki: getdomains 1093944-1 # MTV Oy
# Laita tämä .bashrc tai .zshrc
# Käyttöesimerkkejä:
# Looppaa Y-tunnuksetn kaikki domainit läpi ja tee kysely
# for i in $(getdomains 1093944-1); do echo $i && host -t cname www.$i; done
function getdomains() {
curl 'https://odata.domain.fi/OpenDomainData.svc/Domains()?$orderby=GrantDate%20desc&$top=500&$filter=OrganizationId%20eq%20%27'$1'%27' -s| grep -oP "<d:Name>\K([a-å]+)<"|sed 's/</.fi/g'
}
# Hae domainiin perustuen: domain_getdomains
function domain_getdomains() {
CODE=`whois $1|grep -oP "register number(.*): \K(.*)"`
getdomains $CODE
}
@woltage
Copy link
Author

woltage commented Jul 20, 2018

Asentaminen Macille

Tarvitanaan pcregrep, jonka saa asennettua Hombrewia käyttäen brew install pcregrep. Korvaa grep -oP -kohdat vain: pcregrep -M.

Kiitoksia https://twitter.com/tomikoski vinkistä!

@janik6n
Copy link

janik6n commented Jul 20, 2018

Toimii macOS:llä myös GNU Grepin kanssa: brew install grep.

@kshji
Copy link

kshji commented Jul 21, 2018

Ohessa versio sed+grep, joka toimii melko varmasti kaikilla sed ja grep versioilla. Ei käytä GNU ym. laajennuksia eikä regexp laajennuksia.

  • lisätään kunkin avaavan elementin eteen rivinvaihto, kukin elementti omalla rivillään
  • grep:llä haetaan d:Name elementtirivit
  • sed:llä siivotaan elementin nimet pois, vain arvo jätetään ja lisätään siihen .fi

curl 'https://odata.domain.fi/OpenDomainData.svc/Domains()?$orderby=GrantDate%20desc&$top=500&$filter=OrganizationId%20eq%20%27'$1'%27' -s \ | sed -e 's/<\([a-zA-Z0-9:][a-zA-Z0-9:]*\)>/\n<\/\1>/g' | grep "d:Name>" | sed 's/.*>\([^<][^<]*\).*/\1.fi/'
tai hieman toisella tavalla xml elementti kaivettuna
| sed -e 's/<\([a-zA-Z0-9:\/ ][a-zA-Z0-9:\/ ]*\)>/\n<\1>/g' | grep "<d:Name>" | sed 's/.*>\(.*\)/\1.fi/'

Toki xml, xml2, ... komennoilla saa suoraan kaivettua, mutta em. ns. tosi perinteisillä välineillä xml:stä kaivellen. Pitäisi toimia kaikissa sed+grep versioissa.

Joten missä tahansa ns. Bourne shell jälkeläisessä (ksh, posix-sh, dash, bash, zsh, ...) ja jokin sed+grep, niin oheinen haedomain.sh script toimii - vahva veikkaus:
curl 'https://odata.domain.fi/OpenDomainData.svc/Domains()?$orderby=GrantDate%20desc&$top=500&$filter=OrganizationId%20eq%20%27'$1'%27' -s \ | sed -e 's/<\([a-zA-Z0-9:\/ ][a-zA-Z0-9:\/ ]*\)>/\n<\1>/g' | grep "<d:Name>" | sed 's/.*>\(.*\)/\1.fi/'

Käytä em. haedomain.sh
jokush haedomain.sh 1093944-1

@kshji
Copy link

kshji commented Jul 22, 2018

Toki XML:n parserointi joko XSLT (Stylesheet) tai Xpath menetelmin on usein tehokkainta xml-dataan. (xmlstarlet, xml, xml2, xmllint, xsltproc, ...).

Ohessa Xpath haulla haetaan tarvittavat elementit ja sitten viimeistellään ulkoasua grep+sed avulla - helpompaa kuin xmllint:llä.

haedomain2.sh

# suorita:  jokush haedomain2.sh Y-tunnus
# - haetaan aputiedostoon tulos
curl -s 'https://odata.domain.fi/OpenDomainData.svc/Domains()?$orderby=GrantDate%20desc&$top=500&$filter=OrganizationId%20eq%20%27'$1'%27'   > $$.tmp.xml
# NS pitää asettaa, jotta elementti löytyy. xmllint --shell on aika heikosti dokumentoitu ominaisuus, mutta sen avulla voi "kävellä"
# xml puussa ja tehdä joitain toimintoja
# 
# xmllint:llä xpath syntaksilla
# toimii muut paitsi dash:
# echo -e 'setns d=http://schemas.microsoft.com/ado/2007/08/dataservices\ncat //d:Name/text()' | xmllint --shell $$.tmp.xml | grep "^[a-z0-9]"  | sed 's|\(.*\)|\1.fi|'

# toimii kaikissa sh shelleissä, käyttää HERE input mekanismiä:
# xmllint laittaa hieman turhaa kamaa, mutta grep:llä haetaan vain tekstirivit
xmllint --shell $$.tmp.xml <<XML  |  grep "^[a-z0-9]"  |  sed 's|\(.*\)|\1.fi|'
setns d=http://schemas.microsoft.com/ado/2007/08/dataservices
cat //d:Name/text()
XML

rm -f $$.tmp.xml 2>/dev/null

@kshji
Copy link

kshji commented Jul 27, 2018

Ohessa XSLT Stylesheet:llä tuotettuna sama lopputulos, ei tarvita silloin mitään muuta komentoa kaveriksi.
Henkilökohtaisesti en ole koskaan tykästynyt xslt syntaksiin, mutta XML parserointi on tehokasta Xpath tai XSLT avulla. Ne on suunniteltu XML:n käsittelyyn.

Joko ko. XML:n namespece huomioituna, haedomain1.xsl

<xsl:stylesheet version="1.0" 
       xmlns:xsl="http://www.w3.org/1999/XSL/Transform"
       xmlns:d="http://schemas.microsoft.com/ado/2007/08/dataservices"
       >
<xsl:output method="text"/>

<!-- ylikirjoitetaan oletus aina tulostus -->
<xsl:template match="text()|@*">
        <!--<xsl:value-of select="."/>-->
</xsl:template>

<!-- etsitaan kaikki d:name elementit -->
<xsl:template match="//d:Name">
        <xsl:value-of select="concat(.,'.fi')" /> <!-- liimataan yhteen vastaus + .fi -->
        <xsl:text>&#10;</xsl:text> <!-- lf -->
</xsl:template>

</xsl:stylesheet>

Tai namespace ei kiinnosta -versio, haedomain2.xsl

<?xml version="1.0"?>
<xsl:stylesheet version="1.0" xmlns:xsl="http://www.w3.org/1999/XSL/Transform" >

<!-- mjat-->
<xsl:param name="lf" select="'&#xA;'" />  

<xsl:output method="text"/>

<!-- tuhotaan oletus template, joka tulostaa kaiken  -->
<xsl:template match="text()|@*">
        <!--<xsl:value-of select="."/>-->
</xsl:template>

<!-- haetaan vain haluttu elementti ja tulostetaan se 
      - lisätään .fi arvon perään
      - ko. haku soveltuu vain kun ei ole kuin yksi jokin Name niminen elementti
-->
<xsl:template match="//*[local-name()='Name']">
        <!-- hieman eri tavalla output kuin edellä vain malliksi -->
        <xsl:value-of select="." /><!-- elementin arvo -->
        <xsl:text>.fi</xsl:text>
        <xsl:value-of select="$lf" />
</xsl:template>

</xsl:stylesheet>

Haetaan aputiedostoon:

curl -s 'https://odata.domain.fi/OpenDomainData.svc/Domains()?$orderby=GrantDate%20desc&$top=500&$filter=OrganizationId%20eq%20%27'$1'%27'   > $$.tmp.xml

ja jollakin xslt prosessorilla käsitellään, xsltproc on siihen hyvin sopiva. On useissa *nix jakeluissa valmiina.

xsltproc haedomain1.xsl  $$.tmp.xml
xsltproc haedomain2.xsl  $$.tmp.xml

@kshji
Copy link

kshji commented Jul 27, 2018

Myös awk on ihan ok väline tähänkin. Sekin on tarjolla kaikissa *nix jakeluissa.

awk -v elem="d:Name" '
BEGIN {
    RS="<"
    FS=">"
}
$1 == elem { print $2 ".fi" }
'  $$.tmp.xml

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment