-
-
Save juanpampliega/a16fe285c63c0342d40a to your computer and use it in GitHub Desktop.
i am not able to run this cmd 'import org.apache.spark.streaming.twitter.TwitterUtils' on spark shell it is giving error ' error: object twitter is not a member of package org.apache.spark.streaming'.how can i solve this error. is there any requirement like sbt,maven.
You need to add all the twitter streaming jars while launching spark-shell.
spark-shell --jars spark-streaming-twitter_2.11-2.3.3.jar,spark-tags_2.11-2.3.3.jar,twitter4j-core-4.0.6.jar,twitter4j-stream-4.0.6.jar
You can download those dependencies from here
Hola, me puedes ayudar. Deseo correr el script en mi aplicación de Apache Spark montada localmente pero tengo problemas, podrias ayudarme con los comandos que debo incluir para lograr el objetivo?
Lo que hago es iniciar un spark-shell con los archivos .jars y alli copiar el codigo pero obtengo lo siguiente
Exception in thread "streaming-start" java.lang.NoClassDefFoundError: org/apache/spark/internal/Logging$class
Estoy trabajando en Linux. Gracias
i am not able to run this cmd 'import org.apache.spark.streaming.twitter.TwitterUtils' on spark shell it is giving error ' error: object twitter is not a member of package org.apache.spark.streaming'.how can i solve this error. is there any requirement like sbt,maven.