"Stora data" är den nya vetenskapen att förstå och förutsäga mänskligt beteende genom att studera stora volymer ostrukturerad data. Stora data är också kända som "predictive analytics".
Att analysera Twitter-inlägg, Facebook-flöden, eBay-sökningar, GPS-trackers och ATM-maskiner är några stora data exempel. Att studera säkerhetsvideor, trafikdata, vädermönster, flyganmälningar, mobiltorns loggar och pulsspårare är andra former. Stora data är en rörig ny vetenskap som ändras varje vecka, och endast ett fåtal experter förstår allt.
Vad är några exempel på stora data i regelbundet liv?
Medan de flesta stora dataprojekt är mycket obskyra finns det framgångsrika exempel på stora data som påverkar vardagen för individer, företag och regeringar:
Förutsägande virusutbrott: genom att studera socio-politiska data, väder- och klimatdata samt sjukhus / kliniska data, förutsäger dessa forskare nu utbrott av denguefeber med 4 veckors förvarning.
Homicide Watch: dessa stora dataprojektprofiler mordar offer, misstänkta och brottslingar i Washington, DC. Både som ett sätt att hedra den avlidne och som en medvetenhetsresurs för människor är detta stora dataprojekt fascinerande.
Transit Travel Planning, NYC: WNYC-radiomottagaren Steve Melendez kombinerade online-tunnelbanan med reseprogrammet. Hans skapelse låter New Yorkers klicka på deras plats på kartan, och en förutsägelse av körtid för tåg och tunnelbana kommer att dyka upp.
Xerox minskade arbetskraftsförlusten: call center arbete är känslomässigt utmattande. Xerox har studerat datalistor med hjälp av professionella analytiker, och nu kan de förutsäga vilka callcenterhyror som sannolikt kommer att stanna hos företaget längst.
Stöd mot terrorism: Genom att studera sociala medier, finansiella register, flygbokningar och säkerhetsuppgifter kan brottsbekämpning förutsäga och lokalisera terroristiska misstänkta innan de gör sina onda handlingar.
Justera varumärkesmarknadsföring baserat på sociala medier recensioner: människor delar helt och hållet sina online-tankar på en pub, restaurang eller gym. Det är möjligt att studera dessa miljoner sociala medier och ge feedback till företaget om vad folk tycker om sina tjänster.
Vem använder stora data? Vad gör de med det?
Många monolitiska företag använder stora data för att anpassa sina erbjudanden och priser för att maximera kundtillfredsställelsen.
- Macy varuhus, till exempel, använder stora data för att anpassa sina priser på flygplan för över 70 miljoner produkter. De skickar även anpassade e-postmeddelanden till sina kunder baserat på vad Macy anser att de är intresserade av.
- Polisens svar på bombningen av Boston Marathon: Genom att använda stora data för att studera video och övervakningsbilder kunde polisen snabbt begränsa sin sökning efter misstänkta.
- Mortons Steakhouse använder Twitter för att dra av marknadsföringsstunter, inklusive den berömda New Jersey-flygplatsens leverans av en porterhouse biff och räkor middag.
- Visa använder stora data för att identifiera och fånga bedrägerier.Enkeltransaktioner här och där kan enkelt dölja en oärlig kreditkortsanvändare, men genom att titta på miljontals transaktioner försiktigt kan bedrägerier upptäckas.
- Facebook använder stora data för att skräddarsy annonsering. Genom att noggrant studera dina FB-gillar och surfvanor har social media-jätten en otrolig inblick i din smak. De sidebarannonser du ser på ditt Facebook-flöde väljs av mycket avsiktliga och komplexa algoritmer som har följt dina Facebook-vanor.
Varför är stora data så stor överenskommelse?
4 saker gör stora data signifikanta:
1. Uppgifterna är enorma. Den passar inte på en enda hårddisk, mycket mindre en USB-minnepinne. Mängden data överstiger vad det mänskliga sinnet kan uppleva (tänk på miljarder miljarder megabyte och multiplicera sedan med mer miljarder).
2. Uppgifterna är rörigt och ostrukturerade. 50% till 80% av det stora datarbetet är att konvertera och städa informationen så att den kan sökas och sorteras. Bara ett fåtal tusen experter på vår planet vet fullt ut hur man gör den här uppgiftshanteringen. Dessa experter behöver också mycket specialiserade verktyg, som HPE och Hadoop, att göra sina hantverk. Kanske om 10 år kommer stora datakunskaper att bli ett dussin ett dussin, men för närvarande är de en mycket sällsynt art av analytiker och deras arbete är fortfarande mycket oklart och tråkigt.
3. Data har blivit en vara ** som kan säljas och köpas. Data marknadsplatser finns där företag och privatpersoner kan köpa terabytes av sociala medier och andra data. De flesta data är molnbaserade, eftersom det är för stort för att passa på en enda hårddisk. Köpa data involverar vanligtvis en prenumerationsavgift där du kopplar in en moln server gård.
** Ledarna för stora datainställningar och idéer är Amazon, Google, Facebook och Yahoo. Eftersom dessa företag tjänar så många miljoner människor med sina onlinetjänster, är det meningsfullt att de skulle vara samlingspunkten och de visionärer bakom stor dataanalys.4. Möjligheterna till stora data är oändliga. Kanske kan läkare en dag förutspå hjärtattacker och stroke för enskilda veckor innan de händer. Flyg- och bilkrascher kan minskas genom prediktiva analyser av deras mekaniska data samt trafik- och vädermönster. Online dating kan förbättras genom att ha stora data förutsägare om vilka som är kompatibla personligheter för dig. Musikare kan få insikt i vilken musikkomposition som är mest tilltalande för ändras smak av målgrupper.Nutritionists kanske kan förutsäga vilken kombination av köpta livsmedel som kommer att förvärra eller hjälpa en persons medicinska tillstånd. Ytan har bara repats, och upptäckter i stora data händer varje vecka.
Stora data är röriga
Stora data är prediktiv analys: omvandling av massiva ostrukturerad data till något sökt och sorterbart. Detta är ett rörigt och kaotiskt utrymme som kräver en speciell typ av kunskap och tålamod.
Ta till exempel den monolitiska UPS-leveransservice. Programmerarna på UPS studerar data från sina förars GPS och smartphones för att analysera de mest effektiva sätten att anpassa sig till trafikstockningar. Denna GPS och smartphone data är gigantiska, och inte automatiskt redo för analys. Denna data hämtas från olika GPS- och kartdatabaser via olika smartphone-maskinvaruenheter. UPS-analytiker har tillbringat månader att konvertera all den data till ett format som enkelt kan sökas och sorteras. Ansträngningen har dock varit värt det. Idag har UPS sparat över 8 miljoner gallons bränsle eftersom de började använda dessa stora dataanalys.
Eftersom stora data är röriga och kräver så mycket ansträngning att rengöra och förbereda sig för användning, har datavetenskapare blivit kallade "datakontrollanter" för allt tråkigt arbete de gör.
Vetenskapen om stora data och prediktiv analys förbättras dock varje vecka. Förvänta sig stora data att bli lättillgängliga för alla år 2025.
Är inte stora data ett intrång i hot mot privatlivet?
Ja, om våra lagar och enskilda skydd för privatlivet inte hanteras noggrant, blir stora uppgifter intrång i personuppgifter. Såsom det står, spårar Google och YouTube och Facebook redan dina dagliga onlinevanor. Din smartphone och datorliv lämnar digitala fotavtryck varje dag, och sofistikerade företag studerar dessa fotspår.
Lagarna kring stora data utvecklas. Sekretess är ett tillstånd att du måste ta personligt ansvar för, eftersom du inte längre kan förvänta dig det som en standardrättighet.
Vad du kan göra för att skydda din integritet:
Det största enskilda steget du kan ta är att krama dina dagliga vanor med hjälp av en VPN-nätverksanslutning. En VPN-tjänst kommer att förvränga din signal så att din identitet och plats åtminstone delvis maskeras från trackers. Detta kommer inte att göra dig 100% anonym, men en VPN kommer väsentligt minska hur mycket världen kan observera dina onlinevanor.
Var kan jag lära mig mer om stora data?
Stora data är en fascinerande sak för personer med analytiska sinnen och en kärlek för tech. Om det är du, besök definitivt den här sidan av intressanta stora dataprojekt.
