Created
May 16, 2015 06:18
-
-
Save juanpampliega/a16fe285c63c0342d40a to your computer and use it in GitHub Desktop.
Twitter Top Hashtags with Spark Streaming in spark-shell
Hola, me puedes ayudar. Deseo correr el script en mi aplicación de Apache Spark montada localmente pero tengo problemas, podrias ayudarme con los comandos que debo incluir para lograr el objetivo?
Lo que hago es iniciar un spark-shell con los archivos .jars y alli copiar el codigo pero obtengo lo siguiente
Exception in thread "streaming-start" java.lang.NoClassDefFoundError: org/apache/spark/internal/Logging$class
Estoy trabajando en Linux. Gracias
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
You need to add all the twitter streaming jars while launching spark-shell.
spark-shell --jars spark-streaming-twitter_2.11-2.3.3.jar,spark-tags_2.11-2.3.3.jar,twitter4j-core-4.0.6.jar,twitter4j-stream-4.0.6.jar
You can download those dependencies from here