spark

차이

문서의 선택한 두 판 사이의 차이를 보여줍니다.

차이 보기로 링크

--- spark [2016/08/25 05:27] – [설치] rex8312
+++ spark [2024/03/23 02:38] (현재) – 바깥 편집 127.0.0.1
@@ 줄 116: / 줄 116: @@
 # Initialize PySpark to predefine the SparkContext variable 'sc'
-execfile(os.path.join(spark_home, 'python/pyspark/shell.py'))
+# execfile(os.path.join(spark_home, 'python/pyspark/shell.py'))  # py27
+exec(open(os.path.join(spark_home, 'python/pyspark/shell.py')).read())  # py35
 </code>
@@ 줄 123: / 줄 124: @@
   ipython notebook --profile=pyspark
   # jupyter notebook --profile=pyspark
+===== Cluster 설정 =====
+  - 마스터와 슬레이브에 spark 설정
+  - 마스터에서 슬레이브로 암호없이 ssh 연결 가능하도록 설정
+  - /etc/hosts 파일 수정 후 재부팅
+    - 127.0.1.1 주석 처리, 슬레이브에서 마스터로 연결 거부 될 수 있음
+    - 각 호스트의 주소와 이름을 입력
+    - 연결이 거부될 경우 telnet {master ip} 7077로 연결 테스트 할 수 있음
+클러스터 시작 및 종료
+  $SPARK_HOME/sbin/start-all.sh
+  $SPARK_HOME/sbin/stop-all.sh
+  - 클러스터 상태 페이지: http://localhost:8080
+    - 성공적으로 클러스터가 실행중이라면, 모든 슬레이브의 상태가 나타남
+    - http://localhost:8080으로 클러스터 상태 페이지에 접속 불가능할 경우 .bashrc 의 SPARK_LOCAL_IP를 127.0.0.1으로 설정
+클러스터에 접속
+  pyspark --master spark://{master ip}:7077

spark.1472102869.txt.gz · 마지막으로 수정됨: 2024/03/23 02:37 (바깥 편집)