Πώς να κάμπτεται ή wget μια ιστοσελίδα;

ψήφοι
16

Θα ήθελα να κάνω μια νυχτερινή εργασία cron που φέρνει σελίδα Stackoverflow μου και diffs είναι από τη σελίδα της προηγούμενης ημέρας, έτσι μπορώ να δω μια σύνοψη των μου ερωτήσεις, απαντήσεις, κατάταξη, κλπ αλλαγή

Δυστυχώς, δεν θα μπορούσα να πάρει το σωστό σύνολο cookies, κλπ, για να κάνουν αυτό το έργο. Καμιά ιδέα?

Επίσης, όταν το β ολοκληρωθεί, θα είναι προσβάσιμη σελίδα κατάστασης μου χωρίς να συνδεθείτε;

Δημοσιεύθηκε 05/08/2008 στις 21:38
πηγή χρήστη
Σε άλλες γλώσσες...                            


5 απαντήσεις

ψήφοι
9

Σελίδα κατάστασης σας είναι διαθέσιμο τώρα χωρίς να συνδεθείτε (κάντε κλικ αποσύνδεση και να το δοκιμάσετε). Όταν η βήτα-μπισκότο είναι απενεργοποιημένη, δεν θα υπάρχει τίποτα ανάμεσα σε σας και τη σελίδα σας κατάσταση.

Για wget:

wget --no-cookies --header "Cookie: soba=(LookItUpYourself)" https://stackoverflow.com/users/30/myProfile.html
Απαντήθηκε 05/08/2008 στις 21:43
πηγή χρήστη

ψήφοι
6

Από Mark Harrison

Και εδώ είναι που λειτουργεί ...

μπούκλα -s --cookie soba =. https://stackoverflow.com/users

Και για wget:

wget --no-cookies --header "Cookie: soba=(LookItUpYourself)" https://stackoverflow.com/users/30/myProfile.html
Απαντήθηκε 05/08/2008 στις 23:04
πηγή χρήστη

ψήφοι
3

Καλή ιδέα :)

Υποθέτω ότι έχετε χρησιμοποιήσει wget του

--load-cookies (filename)

μπορεί να βοηθήσει λίγο, αλλά θα μπορούσε να είναι πιο εύκολο να χρησιμοποιήσετε κάτι σαν Mechanize (σε Perl ή Python) για να μιμηθεί πληρέστερα ένα πρόγραμμα περιήγησης για να πάρετε μια καλή αράχνη.

Απαντήθηκε 05/08/2008 στις 21:43
πηγή χρήστη

ψήφοι
2

Και εδώ είναι που λειτουργεί ...

curl -s --cookie soba=. http://stackoverflow.com/users
Απαντήθηκε 05/08/2008 στις 22:22
πηγή χρήστη

ψήφοι
2

Δεν μπορούσα να καταλάβω πώς να πάρει τα cookies για να εργαστούν είτε, αλλά ήμουν σε θέση να πάρετε στη σελίδα κατάστασης μου στον browser μου, ενώ ήμουν συνδεδεμένος, οπότε υποθέτω ότι αυτό θα λειτουργήσει για άλλη μια Stackoverflow γίνεται δημόσια.

Αυτή είναι μια ενδιαφέρουσα ιδέα, αλλά δεν θα μπορείτε επίσης να πάρει diffs του υποκείμενου κώδικα html; Έχετε μια στρατηγική για να μην καταλήξει με μια διαφορά της HTML και όχι το πραγματικό περιεχόμενο;

Απαντήθηκε 05/08/2008 στις 21:46
πηγή χρήστη

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more