Semaltekspert på dataskraping av nettsteder - Gode og dårlige roboter

Nettskraping har eksistert i lang tid og anses som nyttig for webansvarlige, journalister, frilansere, programmerere, ikke-programmerere, markedsføringsforskere, forskere og eksperter på sosiale medier. Det er to typer bots: gode bots og dårlige bots. De gode robotene gjør det mulig for søkemotorene å indeksere nettinnholdet og får høye preferanser av markedsekspertene og digitale markedsførere. De dårlige robotene er derimot ubrukelige og tar sikte på å skade nettstedets rangering av søkemotorer. Lovligheten av skraping av nettet avhenger av hvilken type roboter du har brukt.

Hvis du for eksempel bruker dårlige roboter som henter innholdet fra forskjellige websider med den hensikt å bruke det ulovlig, kan skrapingen være skadelig. Men hvis du benytter deg av de gode robotene og unngår de skadelige aktivitetene, inkludert benektelse av tjenesteangrep, online-svindel, konkurrerende strategier for datainnsamling, datatyverier, kontokapringer, uautorisert sårbarhetsskanning, digitale annonsesvindel og stjeling av intellektuelle egenskaper, da er skraping av nettet god og nyttig for å utvide virksomheten din på Internett.

Dessverre elsker de fleste av frilansere og startups dårlige roboter fordi de er en billig, kraftig og omfattende måte å samle inn data på uten noe partnerskap. Store selskaper bruker imidlertid lovlige nettskrapere for å oppnå gevinsten deres og ønsker ikke å ødelegge omdømmet deres på Internett med ulovlige nettskrapere. De generelle meningene om lovligheten av skraping av nett ser ikke ut til å spille noen rolle, fordi det i løpet av de siste månedene har blitt klart at de føderale domstolssystemene knakker mer og mer ulovlige strategier for skraping av nett.

Nettskraping begynte som en ulovlig prosess tilbake i 2000, da bruken av roboter og edderkopper for å skrape nettsteder ble ansett som tull. Ikke mange fremgangsmåter ble tilpasset for å stoppe denne prosedyren fra å spre seg på internett før i 2010. eBay inngav først de foreløpige påbudene mot Bidder's Edge, og hevdet at bruken av roboter på nettstedet hadde brutt Trespass to Chattels-lovene. Retten innvilget snart påbudene fordi brukerne måtte avtale vilkårene og betingelsene for nettstedet og et stort antall bots ble deaktivert da de kunne være ødeleggende for eBay's datamaskiner. Søksmålet ble snart avgjort utenfor domstolen, og eBay stoppet alle fra å bruke roboter til skraping av nett, uansett om de er gode eller dårlige.

I 2001 hadde et reisebyrå saksøkt konkurrentene som skrapte innholdet fra nettstedet ved hjelp av skadelige edderkopper og dårlige roboter. Dommerne tok igjen tiltak mot forbrytelsen og favoriserte ofrene, og sa at både skraping av nett og bruk av roboter kan skade ulike online virksomheter.

I dag, for akademisk, privat og informasjonssamling, er mange avhengige av rettferdige prosedyrer for skraping av nett , og det er utviklet mange verktøy for skraping av nett i denne forbindelse. Nå sier tjenestemennene at ikke alle verktøyene er pålitelige, men at de som kommer i betalte versjoner eller premiumversjoner er bedre enn gratis nettskrapere .

I 2016 hadde kongressen vedtatt den første lovgivningen for å målrette de dårlige bots og favorisere de gode bots. The Better Online Ticket Sales (BOTS) Act ble dannet som forbød bruk av ulovlig programvare som kunne målrette mot nettsteder, skade søkemotorrangene og ødelegge deres virksomheter. Det er spørsmål om rettferdighet. For eksempel har LinkedIn brukt mye penger på verktøyene som blokkerer eller eliminerer dårlige roboter og oppmuntrer til gode roboter. Siden domstolene har prøvd å avgjøre lovligheten av skraping av nett, får selskapene dataene sine stjålet.