Usando linhas de execução para realizar requisições de forma veloz.

urllib-with-threads.py

import urllib2 
from multiprocessing.dummy import Pool as ThreadPool 
import time
# Urls a ser percorrido
urls = [
          'https://www.google.com', 
          'http://www.python.org/about/',  
          'https://jul10l1r4.github.io',
          'https://facebook.com',
          'https://twitter.com',
          'https://youtube.com',
          'https://wikipedia.org',
          'https://wiki.python.org/',
]

# Faz o pool trabalhar em suas threads
pool = ThreadPool(8)

# Funcoes que sera percorrida
def func (x):
    print "\033[32m"+x+"\033[0m"
    urllib2.urlopen(x)


# Com as threads definidas chama o "map"
results = pool.map(func, urls)

# Fecha o pool e aguarda o trabalho finalizar
pool.close() 
pool.join()