Studiem posibilitățile Archive Box

Introducere

    Fiecare dintre noi se confruntă cu acest lucru: găsiți un sait înteresant, adăugați o adresă la "favorite", ca să‑l studieze mai târziu, și după un timp, te întorci înapoi și vezi eroarea 404 pe ecran. Puteți căuta în prealabil conținut în memoria cache a motoarelor de căutare sau în "arhiva internetului"cunoscută pe scară largă. Dar nu toate conținuturile site-ului este descărcat acolo: multe imagini, scripturi și videoclipuri cu siguranță nu vor fi disponibile. Pentru a evita astfel de probleme, există un instrument gratuit Archive Box despre care vom vorbi astăzi.

    Deși "Arhiva pe internet" este considerată pe bună dreptate una dintre cele mai populare instrumente de căutare pentru paginile web "pierdute" și șterse, are o serie de limitări serioase:

• În primul rând, nu indexează paginile de pe Facebook și alte rețele sociale.
• În al doilea rând, nu toate secțiunile site‑ului intră în arhiva web.
• În al treilea rând, nu se adaugă resurse și secțiunile lor închise de indexare cu instrucțiunile corespunzătoare din fișierul robots.txt.
• În al patrulea rând, arhiva nu va fi exact destinat pentru a descărca fișiere, clipuri video și audio și alte elemente similare.
• În cele din urmă, dacă conținutul afișat al site-ului este creat dinamic prin JavaScript sau alte instrumente similare, atunci când este salvat, acesta poate fi parțial pierdut sau "rupt" ca rezultat, o copie a paginii web nu va arăta deloc ca originalul. Același lucru este valabil și pentru paginile web salvate de pe internet pe o mașină locală cu instrumente standard de browser.

    Este necesar un instrument alternativ care vă va permite să creați o copie a site-urilor selectate și să o puteți face rapid, calitativ și fiabil.

    Pentru aceasta a fost creat Archive Box. Acesta vă permite să salvați duplicat-ul independent la orice site și descărcați arhiva la tot conținutul său. Resursele web direcționate pot fi setate prin lista de adrese URL, fie preluate din marcaje sau istoricul browser-ului. Site-urile vor fi descărcate indiferent de setările robotului.txt care interzice indexarea. Împreună cu paginile web sunt salvate imagini, videoclipuri încorporate, elemente JavaScript și alte conținuturi utile.

Instalare Archive Box

Motorul Archive Box este scris în Python, utilizează wget și url în activitatea și este proiectat să funcționeze într-un mediu Linux și macOS, unde există toate componentele necesare pentru acesta. Pentru a rula ArchiveBox în Windows, puteți utiliza Docker-instrucțiuni detaliate pentru implementarea imaginii este pe GitHub proiect. Noi vom personaliza ArchiveBox în Linux, pentru ce folosim un server virtual: aceasta va asigura o mare viteza de conexiunea la internet și la sine viteză, simultan, scutindu-ne de necesitatea de instalarea unei mașini virtuale. Ubuntu 20.04 LTS a fost selectat ca sistem de operare (în această versiune Python este inclusă în livrarea de bază a sistemului), dar se va potrivi, în principiu, orice distribuție Linux comună.

    Deci, pentru Archive Box este necesar în primul rând Python, așa că pentru a începe, du-te la server și a vedea ce versiune este instalat în sistemul nostru:

# python3 -V

    Avem nevoie de o versiune nu mai mică de 3.7. Sistemul a raportat cu bucurie că Python 3.8.5 este instalat pe server, deci nu va trebui să îl actualizați. Dacă mașina dvs. are deja Python, puteți actualiza versiunea cu comanda sudo apt-get upgrade python3. Pentru a instala Python, utilizați comanda sudo apt-get install python3.

    Cel mai simplu mod de a instala ArchiveBox este cu un instrument Pip care vă permite să descărcați pachete Python din depozitul Python Package Index (PyPI). Dacă această componentă lipsește din sistem, trebuie să o instalați mai întâi. Pentru aceasta, executați următoarele comenzi în terminal:

# sudo apt update

#sudo apt-get install python3-pip

De obicei, complet cu Python 3 vine modulul Pip 3, dar doar în cazul în care să verificăm ce versiune Php este instalată în sistem:

# pip3 --version

    În cazul nostru, Serverul a raportat că versiunea are numărul 20.2 și cel puțin ne-am asigurat că pip3 este prezent în sistem. Bine, instalați Archive Box în sine:

# pip3 install archivebox

    ArchiveBox nu funcționează de sub utilizatorul root, deci trebuie să creați un utilizator separat utilizând comanda adduser username. Acum, în numele acestui utilizator, vom crea un folder de lucru în care Archive Box va adăuga site - urile descărcate:

# mkdir archives && cd archives

# archivebox init

În această procedură, instalarea și configurarea instrumentului este completă, puteți trece la utilizarea acestuia.

Dowloand