Ejectuar Spark, Scala, Cassandra en Windows en maquina local

Versiones

Scala 2.11.12

Spark 2.4.3

Cassandra 3.11.4

SBT
name := "PatronMovilidadScala"

version := "1.0"

scalaVersion := "2.11.12"

libraryDependencies += "org.apache.spark" %% "spark-core" % "2.2.0"

libraryDependencies += "org.apache.spark" %% "spark-sql" % "2.2.0"
libraryDependencies += "com.github.nscala-time" %% "nscala-time" % "2.22.0"

libraryDependencies ++= Seq(

"com.datastax.spark" %% "spark-cassandra-connector" % "2.0.0",
"org.apache.spark" %% "spark-core" % "2.1.0",
"org.apache.spark" %% "spark-sql" % "2.1.0",
"org.apache.spark" %% "spark-mllib" % "2.2.0",
"org.apache.spark" %% "spark-streaming" % "2.2.0"
excludeAll(ExclusionRule(organization = "org.slf4j"))
//"com.datastax.spark" %% "spark-cassandra-connector" % "1.4.0-M3"
excludeAll(ExclusionRule(organization = "org.slf4j"))
)
//libraryDependencies +=
// "org.scala-lang.modules" %% "scala-parallel-collections" % "0.2.0"
// external dependencies i.e.: Spark-Cassandra Connector
unmanagedJars in Compile += file("lib/spark-cassandra-connector.jar")
libraryDependencies += "org.apache.logging.log4j" % "log4j-scala" % "11.0"
Generar JAR

Copiar ruta de su programa a CMD e ingresar

cd C:\Users\edgar\Desktop\ExamenPT2\ProgramasPT\PatronMovilidadScala

sbt package

Nota: Verificar compilación completada

Descargar

Jsr166e-1.0.0.jar

Spark-cassandra-connector_2.11-2.4.1.jar

Copiarlos a la ruta de los jars en la carpeta de spark

Nota: estos .jars permitirán la ejecución de spark y cassandra en terminal así como la escritura de
datos en cassandra desde el programa.
En otra terminal ejecutar con permisos de administrador

Copiar el archivo generado por sbt package y copiarlo a la ruta de spark/bin

Cd C:\spark-2.4.3-bin-hadoop2.7\bin

Comandos

spark-submit --class PatronMovilidadScala.PatronMovilidadScala patronmovilidadscala_2.11-

1.0.jar --master local

spark-submit --class HolaCassandra.HolaCassandra holacassandra_2.11-1.0.jar

Donde package.object correspondientes al programa Scala

Cibergrafía
https://jasset75.github.io/Spark-Cassandra-Notes/Environment.html

https://www.youtube.com/watch?v=5uHG0aqir5s

https://heather.miller.am/blog/launching-a-spark-cluster-part-2.html

https://www.cloudera.com/tutorials/setting-up-a-spark-development-environment-with-
scala/.html

La última ruta se puede tomar como referencia

https://www.learningjournal.guru/courses/spark/spark-foundation-training/how-to-create-and-
submit-spark-applications/