spark
문서의 이전 판입니다!
목차
Spark
설치
스칼라 설치
sudo apt install scala
sbt 설치
http://www.scala-sbt.org/download.html
다운로드
http://d3kbcqa49mib13.cloudfront.net/spark-2.0.0-bin-hadoop2.7.tgz
.bashrc에 추가
export SPARK_HOME=/usr/local/src/spark-2.0.0-bin-without-hadoop export PATH=$SPARK_HOME/bin:$PATH
테스트
./bin/example SparkPi 10
MongoDB와 연동
https://spark-packages.org/package/mongodb/mongo-spark
다운로드 및 빌드
https://github.com/mongodb/mongo-spark
실행
pyspark --packages org.mongodb.spark:mongo-spark-connector_2.11:1.0.0
spark.1471417486.txt.gz · 마지막으로 수정됨: (바깥 편집)