Navigation Menu

Skip to content

Instantly share code, notes, and snippets.

@woltage
Last active January 18, 2024 12:57
Show Gist options
  • Star 19 You must be signed in to star a gist
  • Fork 3 You must be signed in to fork a gist
  • Save woltage/5b7a744f9562b9348c90c6e0d038d92a to your computer and use it in GitHub Desktop.
Save woltage/5b7a744f9562b9348c90c6e0d038d92a to your computer and use it in GitHub Desktop.
Skripti jolla saa Y-tunnukella kaikki firman omistamat .fi -verkkotunnukset
## Y-Tunnukseen perustuva domainejen haku (.fi)
## Esimerkki: getdomains 1093944-1 # MTV Oy
# Laita tämä .bashrc tai .zshrc
# Käyttöesimerkkejä:
# Looppaa Y-tunnuksetn kaikki domainit läpi ja tee kysely
# for i in $(getdomains 1093944-1); do echo $i && host -t cname www.$i; done
function getdomains() {
curl 'https://odata.domain.fi/OpenDomainData.svc/Domains()?$orderby=GrantDate%20desc&$top=500&$filter=OrganizationId%20eq%20%27'$1'%27' -s| grep -oP "<d:Name>\K([a-å]+)<"|sed 's/</.fi/g'
}
# Hae domainiin perustuen: domain_getdomains
function domain_getdomains() {
CODE=`whois $1|grep -oP "register number(.*): \K(.*)"`
getdomains $CODE
}
@kshji
Copy link

kshji commented Jul 22, 2018

Toki XML:n parserointi joko XSLT (Stylesheet) tai Xpath menetelmin on usein tehokkainta xml-dataan. (xmlstarlet, xml, xml2, xmllint, xsltproc, ...).

Ohessa Xpath haulla haetaan tarvittavat elementit ja sitten viimeistellään ulkoasua grep+sed avulla - helpompaa kuin xmllint:llä.

haedomain2.sh

# suorita:  jokush haedomain2.sh Y-tunnus
# - haetaan aputiedostoon tulos
curl -s 'https://odata.domain.fi/OpenDomainData.svc/Domains()?$orderby=GrantDate%20desc&$top=500&$filter=OrganizationId%20eq%20%27'$1'%27'   > $$.tmp.xml
# NS pitää asettaa, jotta elementti löytyy. xmllint --shell on aika heikosti dokumentoitu ominaisuus, mutta sen avulla voi "kävellä"
# xml puussa ja tehdä joitain toimintoja
# 
# xmllint:llä xpath syntaksilla
# toimii muut paitsi dash:
# echo -e 'setns d=http://schemas.microsoft.com/ado/2007/08/dataservices\ncat //d:Name/text()' | xmllint --shell $$.tmp.xml | grep "^[a-z0-9]"  | sed 's|\(.*\)|\1.fi|'

# toimii kaikissa sh shelleissä, käyttää HERE input mekanismiä:
# xmllint laittaa hieman turhaa kamaa, mutta grep:llä haetaan vain tekstirivit
xmllint --shell $$.tmp.xml <<XML  |  grep "^[a-z0-9]"  |  sed 's|\(.*\)|\1.fi|'
setns d=http://schemas.microsoft.com/ado/2007/08/dataservices
cat //d:Name/text()
XML

rm -f $$.tmp.xml 2>/dev/null

@kshji
Copy link

kshji commented Jul 27, 2018

Ohessa XSLT Stylesheet:llä tuotettuna sama lopputulos, ei tarvita silloin mitään muuta komentoa kaveriksi.
Henkilökohtaisesti en ole koskaan tykästynyt xslt syntaksiin, mutta XML parserointi on tehokasta Xpath tai XSLT avulla. Ne on suunniteltu XML:n käsittelyyn.

Joko ko. XML:n namespece huomioituna, haedomain1.xsl

<xsl:stylesheet version="1.0" 
       xmlns:xsl="http://www.w3.org/1999/XSL/Transform"
       xmlns:d="http://schemas.microsoft.com/ado/2007/08/dataservices"
       >
<xsl:output method="text"/>

<!-- ylikirjoitetaan oletus aina tulostus -->
<xsl:template match="text()|@*">
        <!--<xsl:value-of select="."/>-->
</xsl:template>

<!-- etsitaan kaikki d:name elementit -->
<xsl:template match="//d:Name">
        <xsl:value-of select="concat(.,'.fi')" /> <!-- liimataan yhteen vastaus + .fi -->
        <xsl:text>&#10;</xsl:text> <!-- lf -->
</xsl:template>

</xsl:stylesheet>

Tai namespace ei kiinnosta -versio, haedomain2.xsl

<?xml version="1.0"?>
<xsl:stylesheet version="1.0" xmlns:xsl="http://www.w3.org/1999/XSL/Transform" >

<!-- mjat-->
<xsl:param name="lf" select="'&#xA;'" />  

<xsl:output method="text"/>

<!-- tuhotaan oletus template, joka tulostaa kaiken  -->
<xsl:template match="text()|@*">
        <!--<xsl:value-of select="."/>-->
</xsl:template>

<!-- haetaan vain haluttu elementti ja tulostetaan se 
      - lisätään .fi arvon perään
      - ko. haku soveltuu vain kun ei ole kuin yksi jokin Name niminen elementti
-->
<xsl:template match="//*[local-name()='Name']">
        <!-- hieman eri tavalla output kuin edellä vain malliksi -->
        <xsl:value-of select="." /><!-- elementin arvo -->
        <xsl:text>.fi</xsl:text>
        <xsl:value-of select="$lf" />
</xsl:template>

</xsl:stylesheet>

Haetaan aputiedostoon:

curl -s 'https://odata.domain.fi/OpenDomainData.svc/Domains()?$orderby=GrantDate%20desc&$top=500&$filter=OrganizationId%20eq%20%27'$1'%27'   > $$.tmp.xml

ja jollakin xslt prosessorilla käsitellään, xsltproc on siihen hyvin sopiva. On useissa *nix jakeluissa valmiina.

xsltproc haedomain1.xsl  $$.tmp.xml
xsltproc haedomain2.xsl  $$.tmp.xml

@kshji
Copy link

kshji commented Jul 27, 2018

Myös awk on ihan ok väline tähänkin. Sekin on tarjolla kaikissa *nix jakeluissa.

awk -v elem="d:Name" '
BEGIN {
    RS="<"
    FS=">"
}
$1 == elem { print $2 ".fi" }
'  $$.tmp.xml

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment