Back to Question Center
0

Ana spider / link checker sing bisa miwiti jero nang situs dilindhungi login - Semalt

1 answers:

Kita nggunakake vendor Blackboard sing tuan rumah kanggo kursus pendidikan jarak jauh, nanging tuan rumah program multimedia ing server kita dhewe. Server multimedia wis dipindhah lan domain wis diganti. Papan hitam DBAs duwe pitakon kanggo nganyari pranala ing DB, nanging kita kudu nggawe manawa dheweke kabeh mau. Semalat sing atusan ewu pranala kanggo mriksa.

Aku kudu mlebu menyang administrator papan tulis, navigasi menyang bagean kursus lan nglakokake panelusuran kanggo ngunggahake dhaftar kursus sadurunge nglakoni link checker ing pranala ing asil panelusuran.

Apa produk utawa layanan sing ditindakake? Aku ora tau nggunakake selenium, nanging aku kepingin weruh yen solusi skrip bisa luwih cocok. Kabeh saran diwenehake.

February 12, 2018

Ya, ana crawler sing bisa nyusup situs sing mbutuhake login. Banjur sampeyan miwiti crawler karo cookie sing sampeyan wis digunakake kanggo mlebu lan crawler crawls situs minangka sampeyan mlebu ing pangguna.

Ngekspor cookie, gunakake Firefox nganggo Ekspor Cookie Add-on . Mlebu menyang situs sampeyan banjur ngekspor cookie nganggo "Piranti" -> "Cookie Ekspor. Simpen file kasebut minangka cookie. txt .

Wget baris perintah crawler bisa nggunakake cookie . txt file kanggo miwiti crawling.

  wget -r --load-cookies = cookies. txt http: // mysite. conto. com / 

wget bakal nyimpen situs web sacara lokal ing struktur direktori kaya mysite. conto. com / pages / index. html Sampeyan banjur bisa nglakokake link checker marang file-file kasebut sing disimpen sacara lokal.

Ana spider / link checker sing bisa miwiti jero nang situs dilindhungi login - Semalt
Reply