thắc mắc Lỗi khi cài Spark với ngôn ngữ Scala

Chào các bác,
Em đang cài Spark và Scala nhưng bị lỗi.
-Spark prebuild :
Spark 2.4.0 built for Hadoop 2.7.3
Build flags: -B -Pmesos -Pyarn -Pkubernetes -Psparkr -Pkafka-0-8 -Phadoop-2.7 -Phive -Phive-thriftserver -DzincPort=3036
-Scala : scala-2.12.14
-SBT :sbt-1.5.5
-JDK 8 (trước đấy em có cài JDK 17 chắc cũng ko ảnh hưởng phải ko ạ?)

Em làm gần giống video hướng dẫn này()
Đây là ảnh em cap lại:


Em đã gg thấy link này (https://stackoverflow.com/questions...ell-fail-with-failed-to-find-spark-assembly-j)
Hình như lỗi là do tên folder chứa Spark có khoảng trắng? Em cũng cài ở C:/Program Files.
Nếu thế thì em ko muốn thêm dấu gạch dưới, có thể làm theo hướng dẫn này: tạo folder temp/hive trong ổ C và cho full quyền
"C: \Windows\system32>C: \hadoop\bin\winutils.exe chmod 777 /tmp/hive" gõ như này trong cmd ạ ?
Tiếp lại mở cmd chạy
"C: \hadoop\bin> winutils.exe" và chuyển hướng đến "C: \spark\bin> " (chỗ này là cd-change directory ạ?)
rồi chạy "spark-shell"

Em diễn đạt ko tốt lắm :'(. Mong các bác giải đáp ạ :3

Đúng là bạn diễn đạt hơi loằng ngoằng và hình như bạn cũng không hiểu bạn đang paste cái gì vào cmd.
Nhưng mình nghĩ bạn nên làm việc này đầu tiên: Vứt cái cmd của windows đi và dùng git-bash ấy. Nó tránh cho bạn rất nhiều lỗi sida mất thời gian như vụ đường dẫn. Ngoài ra thì shell cũng mạnh hơn cmd rất nhiều, sau này bạn có làm việc với server Linux thì cũng đỡ phải học cái mới.
Về cái winutil hay hadoop đề cập trong video thì lần gần nhất mình dùng Spark shell trên Windows (cách đây khoảng 2 tháng) thì không cần 2 thằng này. Đơn giản là download scala, cài sbt (optional), download spark, chạy được luôn.

Bước 1: cài hdh *unix: ubuntu, centos để dùng
Bước 2: cài spark, hadoop,...

Làm bigdata, ai lại dùng windows

tien_manh_a2 said:

Đúng là bạn diễn đạt hơi loằng ngoằng và hình như bạn cũng không hiểu bạn đang paste cái gì vào cmd.

Click to expand...

Mây lệnh đầu là em in ra đường dẫn biến môi trường và các bản em cài đặt.

tien_manh_a2 said:

Ngoài ra thì shell cũng mạnh hơn cmd rất nhiều, sau này bạn có làm việc với server Linux thì cũng đỡ phải học cái mới.

Click to expand...

Vâng, em chưa cài lại máy ảo để thử ạ
--------------
Qua em fix được rồi. Lỗi là do em chọn sai version, spark 2.4.2 mới tương thích với scala 2.12, mà em tải 2.4.0. Em đã tải lại Spark 3.1.2 và nó chạy được ạ.

codeforfood2015 said:

Bước 1: cài hdh *unix: ubuntu, centos để dùng
Bước 2: cài spark, hadoop,...

Làm bigdata, ai lại dùng windows

Click to expand...

Cảm ơn bác. Em có bài tập liên quan nên em về tìm hiểu, chạy thử xem như thế nào bác ạ :3
Em đã fix được, lỗi là do chọn version ko tương thích.

milichan1 said:

Vâng, em chưa cài lại máy ảo để thử ạ

Click to expand...

Dùng bash đi kèm với git nhé (Cài git cho windows là có) cũng học được một số cú pháp shell cơ bản rồi, không cần dùng máy ảo đâu.