Участникам на заметку: если вы являетесь пользователем Windows и при запуске спарка получаете NullPinterException, то помочь, вероятно, сможет эта статья:

https://blogs.msdn.microsoft.com/arsen/2016/02/09/resolving-spark-1-6-0-java-lang-nullpointerexception-not-found-value-sqlcontext-error-when-running-spark-shell-on-windows-10-64-bit/ Еще несколько распространенных проблем:

1. sbt долго качает зависимости — отключите касперского.
2. При расчете ноут уходит в спящий режим — отключите эту функцию в настройках электропитания (актуально и для других ОС)
3. Работу с коммандной строкой в винде может сильно упростить Far Manager https://www.farmanager.com/download.php?l=ru