spark

차이

문서의 선택한 두 판 사이의 차이를 보여줍니다.

차이 보기로 링크

--- spark [2016/08/19 13:39] – [ipython notebook 연동] rex8312
+++ spark [2024/03/23 02:38] (현재) – 바깥 편집 127.0.0.1
@@ 줄 26: / 줄 26: @@
   export JAVA_HOME=/usr/lib/jvm/java-8-oracle
   export HADOOP_HOME=/usr/local/src/hadoop-2.7.1
+  export PATH=$HADOOP_HOME/bin:$PATH
   export SPARK_DIST_CLASSPATH=$(hadoop classpath)
   export SPARK_HOME=/usr/local/src/spark-2.0.0-bin-hadoop2.7
-  export PATH=$SPARK_HOME/bin:$HADOOP_HOME/bin:$PATH
+  export PATH=$SPARK_HOME/bin:$PATH
-  export SPARK_LOCAL_IP=192.168.0.101
+  export SPARK_LOCAL_IP={ip address}
   export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native/:$LD_LIBRARY_PATH
@@ 줄 85: / 줄 86: @@
 ====== ipython notebook 연동 ======
+Linux
+  PYSPARK_DRIVER_PYTHON_OPTS=notebook pyspark
+Windows
+  set PYSPARK_DRIVER_PYTHON_OPTS=notebook
+  pyspark
 프로필 생성
@@ 줄 105: / 줄 116: @@
 # Initialize PySpark to predefine the SparkContext variable 'sc'
-execfile(os.path.join(spark_home, 'python/pyspark/shell.py'))
+# execfile(os.path.join(spark_home, 'python/pyspark/shell.py'))  # py27
+exec(open(os.path.join(spark_home, 'python/pyspark/shell.py')).read())  # py35
 </code>
@@ 줄 111: / 줄 123: @@
   ipython notebook --profile=pyspark
+  # jupyter notebook --profile=pyspark
+===== Cluster 설정 =====
+  - 마스터와 슬레이브에 spark 설정
+  - 마스터에서 슬레이브로 암호없이 ssh 연결 가능하도록 설정
+  - /etc/hosts 파일 수정 후 재부팅
+    - 127.0.1.1 주석 처리, 슬레이브에서 마스터로 연결 거부 될 수 있음
+    - 각 호스트의 주소와 이름을 입력
+    - 연결이 거부될 경우 telnet {master ip} 7077로 연결 테스트 할 수 있음
+클러스터 시작 및 종료
+  $SPARK_HOME/sbin/start-all.sh
+  $SPARK_HOME/sbin/stop-all.sh
+  - 클러스터 상태 페이지: http://localhost:8080
+    - 성공적으로 클러스터가 실행중이라면, 모든 슬레이브의 상태가 나타남
+    - http://localhost:8080으로 클러스터 상태 페이지에 접속 불가능할 경우 .bashrc 의 SPARK_LOCAL_IP를 127.0.0.1으로 설정
+클러스터에 접속
+  pyspark --master spark://{master ip}:7077

spark.1471613993.txt.gz · 마지막으로 수정됨: 2024/03/23 02:37 (바깥 편집)