πακέτα python στο διακομιστή εκτελεστής: Pyspark

ψήφοι
-1

Απλά άρχισε να εργάζεται με Pyspark σε νέα αίτηση .. Έχω εγκαταστήσει με pip όλα τα πακέτα (εξαρτήσεις της εφαρμογής μου) που απαιτούνται στο διακομιστή που εκτελείται σπινθήρα υποβάλετε. Να έχω να εγκαταστήσετε τα πακέτα πύθωνας της αίτησής μου για τις άλλες πύλες σπίθα;

Ευχαριστώ.

Δημοσιεύθηκε 20/10/2018 στις 12:36
πηγή χρήστη
Σε άλλες γλώσσες...                            


1 απαντήσεις

ψήφοι
0

Θα πρέπει να εγκαταστήσετε τα πακέτα σε όλους τους κόμβους των εργαζομένων. Θα μπορούσατε να χρησιμοποιήσετε cssh για να κάνουν τη ζωή σας λίγο πιο εύκολη.

Μια εναλλακτική λύση για την εγκατάσταση κάθε pip πακέτο των προτέρων είναι να χρησιμοποιήσετε ένα requirements.txt (και κατά προτίμηση ένα virtualenvironment). Για να χρησιμοποιήσετε μια requirements.txt μόλις ξεκινήσει σπινθήρα υποβάλλουν μαζί με τις ακόλουθες παραμέτρους:

--conf spark.pyspark.virtualenv.enabled=true  
--conf spark.pyspark.virtualenv.type=native 
--conf spark.pyspark.virtualenv.requirements=/Users/jzhang/github/spark/requirements.txt 
--conf spark.pyspark.virtualenv.bin.path=/Users/jzhang/anaconda/bin/virtualenv 
--conf spark.pyspark.python=/usr/local/bin/python3 spark_virtualenv.py

Μπορείτε να βρείτε περισσότερες πληροφορίες στο 2 .

Απαντήθηκε 20/10/2018 στις 16:57
πηγή χρήστη

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more