Delanje podatkov v oblaku s ScraperWiki

Oglas

Če imate miselne odseke, voh za programiranje in pripovedovanje zgodb ter pozornost za oblikovanje, lahko naredite slabše, kot da se podate v podatkovno znanost. To je nova velika stvar tehnologije; zelo trendovsko in zelo plačano, saj znanstvenike s podatki iščejo nekatere največje družbe na svetu.

ScraperWiki je podjetje, ki je že dolgo povezano s področja znanosti o podatkih. Zadnji nekaj let je ta startup s sedežem v Liverpoolu ponudil platformo za koderje, da napišejo orodja, ki dobivajo podatke, jih očistijo in analizirajo v oblaku.

Z nedavno osvežitvijo in vedno večjim povpraševanjem po podatkih znanstvenikov v podjetju je vredno dobro pogledati ScraperWiki.

Popolno razkritje: Lansko poletje sem bil pripravnik pri ScraperWiki.

Kaj počne ScraperWiki?

Podjetje ScraperWiki se trži kot mesto za pridobivanje, čiščenje in analizo podatkov. V svoji najpreprostejši obliki omogoča - uporabniku - kraj, kamor lahko napišete kodo, ki pridobi podatke iz vira, orodja za pretvorbo v obliko, ki jo je enostavno analizirati, in shranjevanje, da jo shranite za kasnejšo vizualizacijo - s katero lahko ravnate tudi s ScraperWiki.

Na voljo je tudi številna vnaprej izdelana orodja, ki avtomatizirajo ponavljajoče se naloge, tudi pridobivanje podatkov iz dokumentov PDF, ki jih je težko razvozlati. To je poleg Iskanje po Twitterju 5 kul Twitter trikov za iskanje, kako spremljati, kaj ljudje govorijo o vasČe ste lastnik spletnega mesta ali samo poskušate zaslužiti denar na spletu kot svobodnjak, je vedno dobro vedeti, kaj ljudje o vas govorijo prek interneta. Ljudje morda navajajo ... Preberi več in strganje pripomočkov. Za njihovo uporabo ne potrebujete nobene izkušnje pri razvoju programske opreme.

Cena

Kot smo že omenili, ScraperWiki zajema model cen freemium in ponuja storitev, ki ima več stopenj. Tisti, ki šele začnejo z znanjem o podatkih ali z omejenimi potrebami, lahko uporabijo brezplačno storitev. Tako dobite tri nabore podatkov - kamor shranjujete svoje podatke in kodo.

Tisti, ki nameravajo napisati več strgalnikov ali želijo opraviti analize podatkov, lahko vložijo nekaj denarja za premijski račun. Te se začnejo pri 9 USD na mesec in ponujajo 10 podatkovnih nizov. Če to še vedno ni dovolj, lahko vedno nadgradite na njihovo najvišjo stopnjo, ki ima 100 naborov podatkov in stane 29 USD na mesec.

Kodiranje

Programerji so pogosto precej posebni, ko gre za njihovo kodiranje. Nekateri imajo raje skriptne jezike nad sestavljenimi jeziki. Nekateri imajo boljše izkušnje urejanja besedila z urejevalnikom besedil pred izkušnjo integriranega razvojnega okolja (IDE). ScraperWiki to prepozna in daje uporabniku veliko izbire, ko gre za pisanje kode.

Če ste tako naklonjeni, lahko kodo napišete v brskalnik. Kot bi pričakovali od katerega koli profesionalnega razreda, spletno Najboljši trije IDE, ki temeljijo na brskalniku, ki jih morate kodirati v oblaku Preberi več Razvojno orodje je opremljeno s funkcijami, ki bi jih vsak programer ocenil kot bistvene, na primer s poudarkom sintakse.

V ponudbi je več jezikov. Tej vključujejo Python 5 najboljših spletnih mest za učenje programiranja PythonaSe želite naučiti programiranja Pythona? Tukaj je najboljših načinov za učenje Pythona na spletu, od katerih je večina popolnoma brezplačnih. Preberi več , priljubljen skriptni jezik, ki ga uporabljajo Google in NASA; Ruby 3 Interaktivni, zabavni in brezplačni načini za začetek učenja programskega jezika RubyRuby je izrazit, scenaristski jezik na visoki ravni. V spletu se uporablja predvsem kot del okvira za razvoj spletnih kamer Ruby on Rails, lahko pa tudi samostojno. Če vas zanima kaj Ruby (ne ... Preberi več , ki pooblašča več priljubljenih spletnih mest, kot je Living Social; in priljubljeni jezik statistične analize, R.

Poleg tega lahko kodo napišete tudi iz ukazne vrstice, tako da uporabite SSH, Git in kateri koli urejevalnik besedil, ki ga uživate v uporabi. Ja, prav ste prebrali. SSH Kaj je SSH in kako se razlikuje od FTP [pojasnjena tehnologija] Preberi več . Vsako polje, ki ga uporabljate, ima svoj lastni račun Linux in z njim se lahko povežete, kot bi bil VPS ali kateri koli drug račun lupine. Na voljo je več urejevalnikov besedil, tudi Vim Najboljših 7 razlogov, da lahko urednik besedila Vim ponudi priložnostDolga leta preizkušam urejevalnik besedil za drugim. Poimenujete, poskusil sem. Vsakega od teh urejevalnikov sem uporabljal več kot dva meseca kot svoj glavni dnevni urednik. Nekako ... Preberi več ki jih lahko razširite s pomočjo vtičnikov in z urejanjem konfiguracije. Tisti, ki jih je Vim ustrahoval, lahko uporabljajo Nano, ki je lahek urejevalnik besedil v ukazni vrstici.

Nameščene knjižnice bi morale zadostovati za pisanje orodij za pridobivanje podatkov in njihovo obdelavo. Če potrebujete nekaj malo bolj prikritega, lahko virtualenv vedno ustvarite iz ukazne vrstice. Kot vidite, je razvijalcem na voljo ogromno prilagodljivosti.

Vizualizacija podatkov

Torej, vi imate svoje podatke. Normalizirali ste ga. Očistili ste ga Analizirali ste ga Zdaj je čas, da naredite nekaj vizualizacije in pokažete svetu, kar ste se naučili.

ScraperWiki razvijalcem omogoča prikaz njihovih podatkov na spletnih straneh, izdelanih iz dobro znanih trifecta HTML, CSS in JavaScript. Poleg tega so komponente škatle Bootstrap podprte izven škatle.

Na voljo je več vnaprej izdelanih vizualizacij, vključno s tistimi, ki vaše podatke narišejo na zemljevid in v vaših ugotovitvah poiščejo trende. Če jih želite uporabljati, morate zagotoviti, da so vaši podatki shranjeni kot datoteka SQLite z imenom datoteke "scraperwiki.sqlite". Nato preprosto dodate vizualizacijo, ki vas zanima. Enostavno, kajne?

Zaključek

ScraperWiki ponuja veliko razvijalcem, ki želijo narediti nekaj analiz podatkov, ne da bi jim prišlo v poštev razvojno okolje, obenem pa imajo prilagodljivost tudi za najzahtevnejše uporabnike. Toda kaj misliš? Sporočite mi v spodnjih komentarjih.
Fotograf: Raketna znanost (Dan Brown)