Črpanje podatkov

Za podatke pravijo, da so »nafta« 21. stoletja. Zaradi digitalizacije praktično vsega, kar nas obdaja, so danes na voljo velike količine podatkov. Informatiki temu rečemo »Big data«. Tisti, ki razpolagajo z uporabnimi podatki, jih znajo obdelati in jih koristno uporabiti, si lahko izborijo konkurenčno prednost. Področju, ki se ukvarja s podatki, rečemo podatkovna znanost (angl. Data Science).

Ali tudi vi razpolagate z »Big data« podatkovno zbirko in ne veste kako naprej?  Morda razmišljate, da bi takšno zbirko ustvarili? Lahko vam pri tem pomagamo.

Podatke znamo črpati iz različnih podatkovnih virov:

  • Tekstovne datoteke različnih formatov (CSV, XML, JSON, HTML ipd.)
  • PDF datoteke
  • Spletne strani
  • Podatki z naprav v proizvodnem procesu
  • SQL podatkovne baze
  • NoSQL podatkovne baze (npr. MongoDB)

Obdelava podatkov

V naslednjih korakih vam z različnimi programskimi orodji podatke lahko:

  • prečistimo,
  • pretvorimo v ustrezno obliko,
  • izdelamo analizo,
  • uvozimo v vaš sistem,
  • izdelamo analizo,
  • pripravimo vizualizacijo (angl. Dashboard) ipd.

Urejanje podatkov

Podatke pogosto črpamo iz več neusklajenih virov. Lahko so to podatki s spleta, podatkovnih baz in različnih vrst datotek. Pri realizaciji projektov uporabljamo različna tehnologije:

  • ETL orodja (angl. Extract, Transform and Load)
  • Programske skripte ter API knjižnice za zajem vsebin s spletnih strani (angl. Web Scraping)
  • Uporaba NoSQL podatkovnih zbirk
  • Spletne servise za vizualizacijo

Imate vprašanje? Imamo odgovor.

Pišite nam in z veseljem vam bomo odgovorili.