사용자 도구

사이트 도구


spark

문서의 이전 판입니다!


Spark

설치

스칼라 설치

sudo apt install scala

sbt 설치

http://www.scala-sbt.org/download.html

다운로드

http://d3kbcqa49mib13.cloudfront.net/spark-2.0.0-bin-hadoop2.7.tgz

.bashrc에 추가

export SPARK_HOME=/usr/local/src/spark-2.0.0-bin-without-hadoop
export PATH=$SPARK_HOME/bin:$PATH

테스트

./bin/example SparkPi 10

MongoDB와 연동

다운로드 및 빌드

https://github.com/mongodb/mongo-spark

실행

pyspark --packages org.mongodb.spark:mongo-spark-connector_2.10:1.0.0
spark.1471416633.txt.gz · 마지막으로 수정됨: (바깥 편집)