Deep Web uurimine

{h1}

Allpool on kirjeldatud veebis sügavale peituvat teavet.

Veeb, nagu me seda teame, blogid, mida me loeme, teave, mida me Google'is otsime, Facebookis ja Twitteris postitatud uuendused, on vaid teabe jäämäe tipp. Allpool peitub pimedas süvendis, kus isegi otsingumootori ämblikud kardavad indekseerida, on sügav veeb.

OK, sügav veeb ei ole tegelikult hirmutav. See on lihtsalt see, et erinevalt „pinnatööstusest” koosneb sügav veeb veebilehtedest ja saitidest, mida otsingumootorid ei saa tavapärasel viisil indekseerida, kuna need leheküljed on

  • Dünaamiliselt loodud kasutajate päringute ja vormidega, mis võimaldavad juurdepääsu sügavatele andmebaasidele
  • Parooliga kaitstud, kas privaatsel saidil või ainult tellimiskohas
  • „Varjatud”, sest neile ei ole linke lisatud
  • Ei ole mõeldud leidmiseks, sest veebiarendaja lisas kodeeringu, mis keelab otsingumootoritel neid indekseerida
  • Liiga uus, et olla indekseeritud, eriti sotsiaalmeedia välkkiire maailmas
  • Sisseehitatud multimeedia failitüüpidesse, mis ei ole otsingumootori indeksoijatele kättesaadavad

Viimastel aastatel on teadlased öelnud, et veebis on 91 000 terabaiti ja pinnal on ainult 167 terabaiti. Suur osa sellest pinna all olevatest andmetest on andmebaasides. Need andmebaasid võivad ulatuda avaldamisarhiividest, kataloogidest ja pildiarhiividest kuni iga päev kasutatavate saitideni, nagu lennufirmade ja aktsiaturgude veebisaidid.

Deep Web indekseerimine

Sügava veebi indekseerimisel on vastuolud (mõned andmebaasi omanikud ei soovi, et abonentid saaksid sisu juurde pääseda), seal on palju ettevõtteid, kes sundivad sellesse ruumi. Google uurib sügavat veebi HTML-vormide abil. Kui ta leiab "kvaliteetse" saidi, mille vormid ei nõua kasutajainfot (st sisselogimist), täidavad selle arvutid saidil leiduvate sõnade abil sellel kujul väikese arvu päringuid. Kui tulemuseks olevad leheküljed on „kehtivad, huvitavad ja sisaldavad sisu, mis ei ole [Google'i] indeksis sisalduvad,” lisatakse need oma peamisele indeksile.

Teised saidid on siiski veelgi kaugemal. CompletePlanet.com-is saate otsida või sirvida rohkem kui 70 000 andmebaasi ja spetsiaalset otsingumootorit. Selle toiteallikaks on juhtiv sügav veebiotsinguettevõte BrightPlanet, kes loeb föderaalvalitsust kliendiks.

Deep Web Technologies on veel üks ettevõte, mis on sügava veebiotsingu esirinnas, ehitades raamatukogudele ja valitsusasutustele ning ettevõtete klientidele ühtseid otsingulahendusi. Ühendatud otsing võtab päringu ja edastab selle mitmele andmebaasile või allikale ning ühendab seejärel kogutud tulemused, esitades need lõppkasutajale kergesti kokkuvõtlikult. Science.gov, Mednar.com, Biznar.com ja Scitopia.org on mõned saidid, mida ettevõte teaduse, meditsiini ja äri teemadel võimendab.

DeepDyve.com võtab Inimgenoomi projektis kasutatava otsinguindekseerimise tehnoloogia, et indekseerida suured lõigud, kasutades märgituvastust, mitte semantikat, et see saaks otsida äärmiselt pikki ja keerulisi päringuid. Ettevõte, mille Apple'i asutaja Steve Wozniak on oma nõuandekogus, on praegu partnerluses umbes 30 000 ajakirja ja tööstusallikaga.

Deep Webi juurdepääs

Need sügavad veebiotsingumootorid on vaid üks võimalus sügavale veebile juurdepääsuks teadusuuringute eesmärgil. On tellimusel põhinevad vertikaalsed otsingumootorid, nagu Westlaw.com ja LexisNexis. Ja seal on väiksemad sügavad veebiotsingumootorid, mida sageli hoitakse ülikoolides, nagu OAIster.org, kus on 1100 pluss panustavaid ressursse, nagu Jet Propulsion Laboratories, Public Broadcasting Service, Kongressi Raamatukogu ja Infomine, raamatukoguhoidja ehitatud teadusliku uurimistöö vahend.

Lisaks nende tööriistade kasutamisele saate otsida asjakohaseid andmebaase oma lemmik „pind” otsingumootori abil ja luua oma sügavate veebisaitide loend. Teine suur ressurss on teie kohalik avalik-õiguslik või ülikooli raamatukogu. Raamatukogud ei saa mitte ainult pakkuda oma patroonidele juurdepääsu andmebaasidele, mida muidu peate maksma, vaid ka raamatukoguhoidjad, kellele see kraam on nagu catnip, et suunata teid sügavate veebiressursside suunas.

Lõpuks vaadake seda 99 sügavat veebiressurssi, et alustada nähtamatu veebi uurimist.

Veeb, nagu me seda teame, blogid, mida me loeme, teave, mida me Google'is otsime, Facebookis ja Twitteris postitatud uuendused, on vaid teabe jäämäe tipp. Allpool peitub pimedas süvendis, kus isegi otsingumootori ämblikud kardavad indekseerida, on sügav veeb.

OK, sügav veeb ei ole tegelikult hirmutav. See on lihtsalt see, et erinevalt „pinnatööstusest” koosneb sügav veeb veebilehtedest ja saitidest, mida otsingumootorid ei saa tavapärasel viisil indekseerida, kuna need leheküljed on

  • Dünaamiliselt loodud kasutajate päringute ja vormidega, mis võimaldavad juurdepääsu sügavatele andmebaasidele
  • Parooliga kaitstud, kas privaatsel saidil või ainult tellimiskohas
  • „Varjatud”, sest neile ei ole linke lisatud
  • Ei ole mõeldud leidmiseks, sest veebiarendaja lisas kodeeringu, mis keelab otsingumootoritel neid indekseerida
  • Liiga uus, et olla indekseeritud, eriti sotsiaalmeedia välkkiire maailmas
  • Sisseehitatud multimeedia failitüüpidesse, mis ei ole otsingumootori indeksoijatele kättesaadavad

Viimastel aastatel on teadlased öelnud, et veebis on 91 000 terabaiti ja pinnal on ainult 167 terabaiti. Suur osa sellest pinna all olevatest andmetest on andmebaasides. Need andmebaasid võivad ulatuda avaldamisarhiividest, kataloogidest ja pildiarhiividest kuni iga päev kasutatavate saitideni, nagu lennufirmade ja aktsiaturgude veebisaidid.

Deep Web indekseerimine

Sügava veebi indekseerimisel on vastuolud (mõned andmebaasi omanikud ei soovi, et abonentid saaksid sisu juurde pääseda), seal on palju ettevõtteid, kes sundivad sellesse ruumi. Google uurib sügavat veebi HTML-vormide abil. Kui ta leiab "kvaliteetse" saidi, mille vormid ei nõua kasutajainfot (st sisselogimist), täidavad selle arvutid saidil leiduvate sõnade abil sellel kujul väikese arvu päringuid. Kui tulemuseks olevad leheküljed on „kehtivad, huvitavad ja sisaldavad sisu, mis ei ole [Google'i] indeksis sisalduvad,” lisatakse need oma peamisele indeksile.

Teised saidid on siiski veelgi kaugemal. CompletePlanet.com-is saate otsida või sirvida rohkem kui 70 000 andmebaasi ja spetsiaalset otsingumootorit. Selle toiteallikaks on juhtiv sügav veebiotsinguettevõte BrightPlanet, kes loeb föderaalvalitsust kliendiks.

Deep Web Technologies on veel üks ettevõte, mis on sügava veebiotsingu esirinnas, ehitades raamatukogudele ja valitsusasutustele ning ettevõtete klientidele ühtseid otsingulahendusi. Ühendatud otsing võtab päringu ja edastab selle mitmele andmebaasile või allikale ning ühendab seejärel kogutud tulemused, esitades need lõppkasutajale kergesti kokkuvõtlikult. Science.gov, Mednar.com, Biznar.com ja Scitopia.org on mõned saidid, mida ettevõte teaduse, meditsiini ja äri teemadel võimendab.

DeepDyve.com võtab Inimgenoomi projektis kasutatava otsinguindekseerimise tehnoloogia, et indekseerida suured lõigud, kasutades märgituvastust, mitte semantikat, et see saaks otsida äärmiselt pikki ja keerulisi päringuid. Ettevõte, mille Apple'i asutaja Steve Wozniak on oma nõuandekogus, on praegu partnerluses umbes 30 000 ajakirja ja tööstusallikaga.

Deep Webi juurdepääs

Need sügavad veebiotsingumootorid on vaid üks võimalus sügavale veebile juurdepääsuks teadusuuringute eesmärgil. On tellimusel põhinevad vertikaalsed otsingumootorid, nagu Westlaw.com ja LexisNexis. Ja seal on väiksemad sügavad veebiotsingumootorid, mida sageli hoitakse ülikoolides, nagu OAIster.org, kus on 1100 pluss panustavaid ressursse, nagu Jet Propulsion Laboratories, Public Broadcasting Service, Kongressi Raamatukogu ja Infomine, raamatukoguhoidja ehitatud teadusliku uurimistöö vahend.

Lisaks nende tööriistade kasutamisele saate otsida asjakohaseid andmebaase oma lemmik „pind” otsingumootori abil ja luua oma sügavate veebisaitide loend. Teine suur ressurss on teie kohalik avalik-õiguslik või ülikooli raamatukogu. Raamatukogud ei saa mitte ainult pakkuda oma patroonidele juurdepääsu andmebaasidele, mida muidu peate maksma, vaid ka raamatukoguhoidjad, kellele see kraam on nagu catnip, et suunata teid sügavate veebiressursside suunas.

Lõpuks vaadake seda 99 sügavat veebiressurssi, et alustada nähtamatu veebi uurimist.


Video: Lets Explore The Deep Web Together (Drugs, Hiring a Hitman, Fake IDs, Porn, Aliens and More!)


Et.HowToMintMoney.com
Kõik Õigused Reserveeritud!
Kordusprint Materjale On Võimalik Viidates Allikale - Veebileht: Et.HowToMintMoney.com

© 2012–2019 Et.HowToMintMoney.com