Naredite vizionarske študije spletnih raziskav z uporabo spletnih poizvedb o globinskih spletnih podatkih in Excelu

Oglas

Kaj bi rekli, če bi vam rekel, da imate na razpolago orodje za raziskovanje razbitja in razbitja Zemlje? No, veš, in pokazal ti bom, kako.

Vlade, akademske ustanove in nepridobitne raziskovalne organizacije objavljajo tabele, polne podatkov v javnosti. Brez tega, da bi kdo uporabil te podatke, njegova resnična vrednost ne bo nikoli znana. Na žalost le malo ljudi ima vpogled, spretnosti ali orodja za zbiranje podatkov in vzpostavljanje zanimivih korelacij med na videz nepovezanimi informacijami.

Ozadje

Veliko raziskav, ki jih izvajam za svoj blog, vključuje kopanje tistega, kar je znano kot nevidni splet 12 najboljših iskalnikov za raziskovanje nevidnega spletaGoogle ali Bing ne moreta iskati vsega. Za raziskovanje nevidnega spleta morate uporabiti te posebne iskalnike. Preberi več , odkriti podatke, ki so bili objavljeni v javnost, vendar skriti pred Iskalniki 5 najbolj naprednih iskalnikov na spletu Preberi več znotraj spletne baze podatkov. To je globok splet TorSearch želi biti Google za globoki splet

Tor je skrita storitev in del Globokega spleta. TorSearch je nov anonimni iskalnik, ki ga želi ustanovitelj Chris MacNaughton narediti "Google of Tor". Preberi več in je polna dragocenih podatkov. Zelo pogosto naletim na spletne strani, ki so ravno napolnjene z nekaterimi najdragocenejšimi podatki o temah, ki zajemajo razpon od popisnih podatkov do epidemioloških študij o redkih boleznih. Nenehno imam nove ideje, kako poskusiti in povezati te različne vire podatkov z uporabo različnih orodja - in eno najdragocenejših orodij, ki sem jih našel, je spletna poizvedba v Microsoftu Excel

Iskanje zanimivih korelacij podatkov

To, kar vam bom danes pokazal, je primer, kako lahko uporabite Excel spletne poizvedbe za črpanje podatkov iz različnih spletnih mest in jih narišite med seboj, da bi iskali morebitne povezave med podatkov.

Način, kako začeti takšno vadbo, je, da postavimo zanimivo hipotezo. Na primer - da bodo tukaj zanimive stvari - bom naključno postuliral hitro naraščanje stopnje avtizma v ZDA povzročajo bodisi cepljenje s cepivi ali vse večja prisotnost elektromagnetnih polj pri otrocih in okoli njih, kot so celice telefoni. To je nora hipoteza, ki jo lahko najdete na večini spletnih strani s teorijo zarote, vendar je to zabavno. Začnimo torej, kajne?

Najprej odprite program Excel, pojdite na postavko podatkovnega menija in v meniju poiščite ikono »Od spleta«.

To boste uporabili za uvoz različnih podatkovnih tabel s številnih spletnih strani, ki so jih objavila.

Uvoz spletnih podatkov v Excel

V starih časih bi morali poskušati podatke iz te tabele kopirati na spletno stran, jih prilepiti v Excel in se nato spopasti z vsemi težavami z noro oblikovanje, ki so povezane s tem. Skupaj preglavice, velikokrat pa to ni vredno glavobola. No, s Excelovimi spletnimi poizvedbami teh dni ni več. Preden lahko podatke uvozite, boste morali v Google poiskati podatke, ki jih potrebujete v tabeli. V mojem primeru sem našel spletno mesto, ki je objavilo statistiko Ministrstva za izobraževanje za število ameriških javnih šol, za katere je bilo ugotovljeno, da imajo avtizem. Lepa tabela je vsebovala številke od leta 1994 vse do leta 2006.

Torej samo kliknete »S spleta«, prilepite URL spletne strani v polje za poizvedbo in se nato pomaknite po strani, dokler ne vidite rumene puščice poleg tabele s podatki, ki jih želite uvoziti.

Kliknite puščico, tako da postane zelena kljukica.

Na koncu povejte Excelu, v katero polje želite prilepiti podatke tabel v svojo novo preglednico.

Potem - Voila! Podatki se samodejno pretakajo v vašo preglednico.

Torej, s trendom števila avtizmov v javnih šolah med letoma 1996 in 2006 je čas, da se lotimo tudi iskanja trendov cepljenja in uporabe mobilnih telefonov.

Na srečo sem v ZDA od leta 1985 do 2012 hitro našel trende za naročnike mobilnih telefonov. Odlični podatki za to posebno študijo. Spet sem za uvoz tabele uporabil orodje Excel Web Query.

To mizo sem uvozil v čist, nov list. Nato sem odkril trende cepljenja za odstotek šolanih otrok, cepljenih proti različnim boleznim. Uvedel sem tabelo z orodjem Spletna poizvedba na tretji list. Končno sem imel tri liste s tremi tabelami, napolnjenimi z na videz nepovezanimi podatki, ki sem jih odkril na spletu.

Naslednji korak je uporaba Excela za analizo podatkov in poskušanje identifikacije morebitnih povezav. Tu se začne igrati eno mojih najljubših orodij za analizo podatkov - PivotTable.

Analiza podatkov v Excelu s pomočjo vrtilne tabele

Najbolje je, da ustvarite svojo PivotTable v povsem novem, praznem listu. Čarovnika želite uporabiti za to, kar boste počeli. Če želite v Excelu omogočiti čarovnika PivotTable, morate istočasno pritisniti Alt-D, dokler se ne pojavi okno z obvestili. Nato spustite te gumbe in pritisnite tipko “P”. Nato se bo prikazal čarovnik.

V prvem oknu čarovnika želite izbrati "več konsolidacijskih obsegov", ki vam omogoča, da izberete podatke iz vseh listov, ki ste jih uvozili. S tem lahko vse te na videz nepovezane podatke združite v eno, zmogljivo vrtečo se. V nekaterih primerih boste morda morali masirati nekatere podatke. Na primer, v tabeli z avtizmom sem moral popraviti polje »Leto«, tako da je namesto »prikazoval« 1994 "1994-95" - boljše usklajevanje s tabelami na drugih listih, ki so imele tudi prvo leto polje.

To skupno polje med podatki je tisto, kar potrebujete, da preizkusite in povežete podatke, zato to upoštevajte, ko lovite svoje podatke v spletu.

Ko je vrtilna tabela končana in boste v eni tabeli prikazali vse različne vrednosti podatkov, je čas, da naredite vizualno analizo, da preverite, ali obstaja kakšna očitna povezava, ki skoči na vas.

Vizualizacija podatkov je ključna

Skupina številk v tabeli je odlična, če ste ekonomist, vendar najhitrejši in najlažji način da "aha!" trenutek, ko poskušate najti povezave, kot je igla v senenem nahodu, je prek kart in grafov. Ko imate PivotChart postavljen z vsemi zbranimi nabori podatkov, je čas, da ustvarite svoj graf. Običajno bo linijski graf najbolje deloval, vendar je odvisno od podatkov. Včasih so črtni grafikoni veliko boljši. Poskusite razumeti, katere podatke gledate in katere primerjave oblik najbolje delujejo.

V tem primeru gledam podatke skozi čas, tako da je linijski graf res najboljši način za opazovanje trendov v preteklih letih. Grafikovanje stopnje avtizma (zeleno) glede na zmanjšane stopnje cepljenja (temno modra), cepiva proti piščančji strupi (svetlo modra) in uporaba mobilnih telefonov (vijolična) se je v tem vzorčnem naboru podatkov, ki sem jih predvajal, nenadoma pojavila nenavadna korelacija s.

Nenavadno je, da se je trend uporabe mobilnih telefonov med letoma 1994 in 2006 skoraj popolnoma ujemal z naraščanjem stopnje avtizma v istem obdobju. Čeprav je bil vzorec povsem nepričakovan, je odličen primer, kako povezovanje zanimivih podatkov lahko razkrije fascinantne rezultate - nudi vam večji vpogled in motivacijo za nadaljnje napredovanje in iskanje dodatnih podatkov, ki bi vas lahko še bolj podkrepili hipoteza.

Ena takšna korelacija ne dokazuje ničesar. Obstajajo številni trendi, ki se sčasoma dvigajo - vzorec bi lahko bil naključje, lahko pa bi bil tudi pomemben namig pri vašem nenehnem iskanju več podatkov na internetu. Na srečo imate zmogljivo orodje, imenovano Excel Web Queries, ki bo to iskanje še malo olajšalo.

Fotograf: Kevin Dooley preko fotopincc