Giriş yaptığım bir siteden indirmek için wget / curl nasıl kullanırım?

Giriş yaptığınızda wikipedia'nın bazı bölümleri farklı görünüyor. Giriş yapmış gibi görünecek şekilde kullanıcı sayfalarını silmek istiyorum.

Bu şekilde kullanıcı sayfalarını yazabilmemin bir yolu var mı?

http://en.wikipedia.org/wiki/User:A

bu giriş sayfasıdır:

http://en.wikipedia.org/w/index.php?title=Special:UserLogin&returnto=Login&campaign=ACP3

Kolay yol: Tarayıcınızla giriş yapın ve çerezleri yazması için verin.

En kolay yöntem: genel olarak, belirli bir web sitesinden (giriş yapmış olduğunuz çerezleri) giriş yapmış gibi sayfalar getirmeleri için wget veya curl sağlamanız gerekir .

Firefox kullanıyorsanız, Çerezleri Dışa Aktar eklentisi aracılığıyla yapmanız kolaydır . Eklentiyi yükleyin ve:

1. Araçlar ... Çerezleri Dışa Aktar'a gidin ve cookies.txtdosyayı kaydedin (dosya adını / hedefini değiştirebilirsiniz).

2. Bir terminal açın ve kullanmak wgetile --load-cookies=FILENAMEseçeneği, örneğin

   wget --load-cookies=cookies.txt http://en.wikipedia.org/wiki/User:A

   • İçin kıvrılma , bu kadarcurl --cookie cookies.txt ...

(Bu yanıtı Chrome / Chromium kullanıcıları için güncellemeye çalışacağım)

Zor yol: kullanım bukle (tercihen) veya wget tüm oturumu yönetmek için

• Bir ayrıntılı nasıl yapılır bu yanıt kapsamı dışındadır, ancak kullandığınız curl ile --cookie-jarveya wget ile --save-cookies --keep-session-cookiesbunları kullanmak sonra giriş çerezler tasarruf, bir siteye giriş yapmak için HTTP / S PUT yöntemi ile birlikte, seçenekler ve bir tarayıcıyı benzetin.
• Söylemeye gerek yok, bu giriş sayfası için HTML kaynağından geçmeyi gerektirir (giriş alanı adlarını vb. Alın) ve genellikle basit giriş / parola doğrulamanın ötesinde bir şey kullanarak siteler için çalışmak genellikle zordur.
• İpucu: Bu rotaya giderseniz , en azından kimlik doğrulama adımı için bir web sitesinin mobil versiyonuyla (varsa) başa çıkmak genellikle daha kolaydır .

Başka bir şey yüklemeden benim için çalışan başka bir kolay çözüm

• "Web Geliştirici" aracının "Ağ" sekmesini açın : Ctrl-Shift-E
• Kaydetmek istediğiniz sayfayı ziyaret edin (örneğin, giriş bilgilerinin arkasındaki fotoğraf)
• İsteğe sağ tıklayın ve 'Kopyala' -> 'cURL olarak kopyala'yı seçin.

Bu size doğrudan kabuğunuza yapıştırabileceğiniz, tüm çerez kimlik bilgilerinizi içeren bir komut verecektir.

curl 'https://mysite.test/my-secure-dir/picture1.jpg' \ 
-H 'User-Agent: Mozilla/5.0 ...' \
-H 'Cookie: SESSIONID=abcdef1234567890'

İstediğinizi almak için komuttaki URL'yi değiştirebilirsiniz.

CURL ile çerezleri her iki yönde de kullanmak gerçekten kolaydır.

curl www.target-url.com -c cookie.txtdaha sonra cookie.txt adlı bir dosyayı kaydedecektir. Ancak giriş yapmalısınız, bu nedenle --data'yı aşağıdaki gibi argümanlarla kullanmanız gerekir curl -X --data "var1=1&var2=2" www.target-url.com/login.php -c cookie.txt. Kaydedilmiş bir çerez aldığınızda, şunu gönderebilirsiniz: curl www.target-url.com/?user-page.php -b cookie.txt

Kaydetmek ve göndermek için -c (--cookie) veya -b (--cookie-jar) kullanın.

Not1: cURL CLI'yı kullanmak PHP'den çok daha kolay ve belki daha hızlıdır;)

Son içeriği kaydetmek > filename.htmliçin cURL komutunuza kolayca ekleyebilirsiniz , ardından tam html kodunu kaydedin.

"Full" hakkında Not2: cURL ile javascript'i oluşturamazsınız, sadece kaynak kodunu alın.

Bu sorulara hala ilgi duyanlar için, CurlWGet adında , tek bir tıklamayla kimlik doğrulama önlemleri ile bir istek wget/ curlistek oluşturmanıza izin veren çok kullanışlı bir Chrome uzantısı var . Bu uzantıyı yüklemek için aşağıdaki adımları izleyin:

1. Uzantıyı Chrome Web Mağazasından yükleyin .
2. İndirmek istediğiniz web sayfasına gidin.
3. İndirmeye başla.
4. Uzantı sizin için bir link oluşturacaktır.

Keyfini çıkarın!

Wget’li Firefox Çerezleri adlı blog yazısı , Firefox’un çerezlerini sakladığı sqlite veri dosyasına nasıl erişileceğini gösterir. Bu şekilde, çerezleri wget ile kullanmak üzere manuel olarak dışa aktarmaya gerek kalmaz. Yorum, oturum çerezleriyle çalışmadığını gösteriyor, ancak denediğim siteler için iyi çalıştı.

Firefox için cliget bir göz atın .

İndirmek üzereyken, son indirme iletişim kutusunda, indirme işlemini curl komut satırı olarak panoya kopyalama seçeneğini elde edebilirsiniz.

Bunu denedin mi?

wget --user=username --password=password http://en.wikipedia.org/wiki/User:A

Gibi bir şey deneyin:

wget --keep-session-cookies --save-cookies cookies.txt --post-data 'user=goyamy&passwrd=mypassword' http://forum.ubuntu-it.org/

Ayrıca bu bağlantıya bakınız:

Bu web sayfasını wget ile nasıl indirebilirim?

Daha karmaşık web sitesi tabanlı girişler için bir Python betiği veya bir tarayıcıyı taklit eden bir modül kullanmayı düşünmelisiniz, yerine veya yerine http://wwwsearch.sourceforge.net/mechanize/ .curlwget

Bu şekilde oturum çerezleri otomatik olarak işlenir, bağlantıları izleyebilir ve oturum açma formlarını doldurabilir ve böylece web tarayıcınızı kullanıyormuş gibi oturum açma işleminde kendiniz "komut dosyası" yazabilirsiniz.