Skip to content

Instantly share code, notes, and snippets.

Embed
What would you like to do?
Skripti jolla saa Y-tunnukella kaikki firman omistamat .fi -verkkotunnukset
## Y-Tunnukseen perustuva domainejen haku (.fi)
## Esimerkki: getdomains 1093944-1 # MTV Oy
# Laita tämä .bashrc tai .zshrc
# Käyttöesimerkkejä:
# Looppaa Y-tunnuksetn kaikki domainit läpi ja tee kysely
# for i in $(getdomains 1093944-1); do echo $i && host -t cname www.$i; done
function getdomains() {
curl 'https://odata.domain.fi/OpenDomainData.svc/Domains()?$orderby=GrantDate%20desc&$top=500&$filter=OrganizationId%20eq%20%27'$1'%27' -s| grep -oP "<d:Name>\K([a-å]+)<"|sed 's/</.fi/g'
}
# Hae domainiin perustuen: domain_getdomains
function domain_getdomains() {
CODE=`whois $1|grep -oP "register number(.*): \K(.*)"`
getdomains $CODE
}
@woltage

This comment has been minimized.

Copy link
Owner Author

commented Jul 19, 2018

Ficoran rajotteista ei tarjoile kuin 100 domainia. Varmaan saa jollakin offsetilla säädettyä.

@woltage

This comment has been minimized.

Copy link
Owner Author

commented Jul 20, 2018

Asentaminen Macille

Tarvitanaan pcregrep, jonka saa asennettua Hombrewia käyttäen brew install pcregrep. Korvaa grep -oP -kohdat vain: pcregrep -M.

Kiitoksia https://twitter.com/tomikoski vinkistä!

@janikarh

This comment has been minimized.

Copy link

commented Jul 20, 2018

Toimii macOS:llä myös GNU Grepin kanssa: brew install grep.

@kshji

This comment has been minimized.

Copy link

commented Jul 21, 2018

Ohessa versio sed+grep, joka toimii melko varmasti kaikilla sed ja grep versioilla. Ei käytä GNU ym. laajennuksia eikä regexp laajennuksia.

  • lisätään kunkin avaavan elementin eteen rivinvaihto, kukin elementti omalla rivillään
  • grep:llä haetaan d:Name elementtirivit
  • sed:llä siivotaan elementin nimet pois, vain arvo jätetään ja lisätään siihen .fi

curl 'https://odata.domain.fi/OpenDomainData.svc/Domains()?$orderby=GrantDate%20desc&$top=500&$filter=OrganizationId%20eq%20%27'$1'%27' -s \ | sed -e 's/<\([a-zA-Z0-9:][a-zA-Z0-9:]*\)>/\n<\/\1>/g' | grep "d:Name>" | sed 's/.*>\([^<][^<]*\).*/\1.fi/'
tai hieman toisella tavalla xml elementti kaivettuna
| sed -e 's/<\([a-zA-Z0-9:\/ ][a-zA-Z0-9:\/ ]*\)>/\n<\1>/g' | grep "<d:Name>" | sed 's/.*>\(.*\)/\1.fi/'

Toki xml, xml2, ... komennoilla saa suoraan kaivettua, mutta em. ns. tosi perinteisillä välineillä xml:stä kaivellen. Pitäisi toimia kaikissa sed+grep versioissa.

Joten missä tahansa ns. Bourne shell jälkeläisessä (ksh, posix-sh, dash, bash, zsh, ...) ja jokin sed+grep, niin oheinen haedomain.sh script toimii - vahva veikkaus:
curl 'https://odata.domain.fi/OpenDomainData.svc/Domains()?$orderby=GrantDate%20desc&$top=500&$filter=OrganizationId%20eq%20%27'$1'%27' -s \ | sed -e 's/<\([a-zA-Z0-9:\/ ][a-zA-Z0-9:\/ ]*\)>/\n<\1>/g' | grep "<d:Name>" | sed 's/.*>\(.*\)/\1.fi/'

Käytä em. haedomain.sh
jokush haedomain.sh 1093944-1

@kshji

This comment has been minimized.

Copy link

commented Jul 22, 2018

Toki XML:n parserointi joko XSLT (Stylesheet) tai Xpath menetelmin on usein tehokkainta xml-dataan. (xmlstarlet, xml, xml2, xmllint, xsltproc, ...).

Ohessa Xpath haulla haetaan tarvittavat elementit ja sitten viimeistellään ulkoasua grep+sed avulla - helpompaa kuin xmllint:llä.

haedomain2.sh

# suorita:  jokush haedomain2.sh Y-tunnus
# - haetaan aputiedostoon tulos
curl -s 'https://odata.domain.fi/OpenDomainData.svc/Domains()?$orderby=GrantDate%20desc&$top=500&$filter=OrganizationId%20eq%20%27'$1'%27'   > $$.tmp.xml
# NS pitää asettaa, jotta elementti löytyy. xmllint --shell on aika heikosti dokumentoitu ominaisuus, mutta sen avulla voi "kävellä"
# xml puussa ja tehdä joitain toimintoja
# 
# xmllint:llä xpath syntaksilla
# toimii muut paitsi dash:
# echo -e 'setns d=http://schemas.microsoft.com/ado/2007/08/dataservices\ncat //d:Name/text()' | xmllint --shell $$.tmp.xml | grep "^[a-z0-9]"  | sed 's|\(.*\)|\1.fi|'

# toimii kaikissa sh shelleissä, käyttää HERE input mekanismiä:
# xmllint laittaa hieman turhaa kamaa, mutta grep:llä haetaan vain tekstirivit
xmllint --shell $$.tmp.xml <<XML  |  grep "^[a-z0-9]"  |  sed 's|\(.*\)|\1.fi|'
setns d=http://schemas.microsoft.com/ado/2007/08/dataservices
cat //d:Name/text()
XML

rm -f $$.tmp.xml 2>/dev/null
@kshji

This comment has been minimized.

Copy link

commented Jul 27, 2018

Ohessa XSLT Stylesheet:llä tuotettuna sama lopputulos, ei tarvita silloin mitään muuta komentoa kaveriksi.
Henkilökohtaisesti en ole koskaan tykästynyt xslt syntaksiin, mutta XML parserointi on tehokasta Xpath tai XSLT avulla. Ne on suunniteltu XML:n käsittelyyn.

Joko ko. XML:n namespece huomioituna, haedomain1.xsl

<xsl:stylesheet version="1.0" 
       xmlns:xsl="http://www.w3.org/1999/XSL/Transform"
       xmlns:d="http://schemas.microsoft.com/ado/2007/08/dataservices"
       >
<xsl:output method="text"/>

<!-- ylikirjoitetaan oletus aina tulostus -->
<xsl:template match="text()|@*">
        <!--<xsl:value-of select="."/>-->
</xsl:template>

<!-- etsitaan kaikki d:name elementit -->
<xsl:template match="//d:Name">
        <xsl:value-of select="concat(.,'.fi')" /> <!-- liimataan yhteen vastaus + .fi -->
        <xsl:text>&#10;</xsl:text> <!-- lf -->
</xsl:template>

</xsl:stylesheet>

Tai namespace ei kiinnosta -versio, haedomain2.xsl

<?xml version="1.0"?>
<xsl:stylesheet version="1.0" xmlns:xsl="http://www.w3.org/1999/XSL/Transform" >

<!-- mjat-->
<xsl:param name="lf" select="'&#xA;'" />  

<xsl:output method="text"/>

<!-- tuhotaan oletus template, joka tulostaa kaiken  -->
<xsl:template match="text()|@*">
        <!--<xsl:value-of select="."/>-->
</xsl:template>

<!-- haetaan vain haluttu elementti ja tulostetaan se 
      - lisätään .fi arvon perään
      - ko. haku soveltuu vain kun ei ole kuin yksi jokin Name niminen elementti
-->
<xsl:template match="//*[local-name()='Name']">
        <!-- hieman eri tavalla output kuin edellä vain malliksi -->
        <xsl:value-of select="." /><!-- elementin arvo -->
        <xsl:text>.fi</xsl:text>
        <xsl:value-of select="$lf" />
</xsl:template>

</xsl:stylesheet>

Haetaan aputiedostoon:

curl -s 'https://odata.domain.fi/OpenDomainData.svc/Domains()?$orderby=GrantDate%20desc&$top=500&$filter=OrganizationId%20eq%20%27'$1'%27'   > $$.tmp.xml

ja jollakin xslt prosessorilla käsitellään, xsltproc on siihen hyvin sopiva. On useissa *nix jakeluissa valmiina.

xsltproc haedomain1.xsl  $$.tmp.xml
xsltproc haedomain2.xsl  $$.tmp.xml
@kshji

This comment has been minimized.

Copy link

commented Jul 27, 2018

Myös awk on ihan ok väline tähänkin. Sekin on tarjolla kaikissa *nix jakeluissa.

awk -v elem="d:Name" '
BEGIN {
    RS="<"
    FS=">"
}
$1 == elem { print $2 ".fi" }
'  $$.tmp.xml
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
You can’t perform that action at this time.