Spark sorted vs unsorted joins timing...

gistfile1.py

from time import time 

inicio = time()

print ( amazonInvPairsRDD
          .join( googleInvPairsRDD )
          .map( lambda (a,b): (b,a))
          .reduceByKey(lambda tok1, tok2: [tok1, tok2] )
       ).count()

print "Sin ordenar: Tiempo = %d" % ( time() - inicio )
print "***********"

inicio = time()

print "ordenando..."

amzSorted = amazonInvPairsRDD.sortByKey()
gooSorted = googleInvPairsRDD.sortByKey()

print "Tiempo para ordenar: %s " % ( time() - inicio)

inicio = time()

print ( amzSorted
          .join( gooSorted )
          .map( lambda (a,b): (b,a))
          .reduceByKey(lambda tok1, tok2: [tok1, tok2] )
       ).count()

print "Ordenado: %d" % ( time() - inicio )