Big Data is de laatste jaren een buzzwoord geweest. De toenemende hoeveelheid gegevens verhoogt zowel de kansen als de uitdagingen van het beheer ervan.
Big Data Architecture is een conceptueel of fysiek systeem voor het opnemen, verwerken, opslaan, beheren, openen en analyseren van grote hoeveelheden, snelheid en verschillende gegevens, wat moeilijk te verwerken is voor conventionele databases.
Een goed ontworpen Big Data-architectuur maakt eenvoudig om gegevens te verwerken en toekomstige trends te voorspellen om weloverwogen beslissingen te nemen. De architectuur van Big data is zo ontworpen dat het het volgende aankan:
Realtime verwerking van Big data
Batchverwerking van Big data
Voor machine learning-toepassingen en voorspellende analyses
Om inzichten te krijgen en beslissingen te nemen.
Big data komt met de enorme verandering, maar het is niet zonder uitdagingen. Kiezen voor een Big-data-enabled Data Analytics-oplossing is niet eenvoudig. Het vereist enorme technologische infrastructuur voor componenten om gegevens uit talloze bronnen op te nemen. Het is ook essentieel om een goede synchronisatie tussen deze componenten te hebben.
Het bouwen, testen en oplossen van problemen met Big data WorkFlow is vrij complex. Het bijhouden van verschillende use cases in Big data is een grote uitdaging.
Data opslag
Data kwaliteit
Grote gegevensschaling
Big Data-beveiliging
Complexiteit
Vaardigheden
Gebrek aan bewustzijn / begrip
Technologische volwassenheid
Hoewel er nieuwe technologie voor het verwerken en opslaan van gegevens op komst is, blijft het gegevensvolume een grote uitdaging, omdat het gegevensvolume ongeveer elke twee jaar in omvang verdubbelt.
Naast de gegevensomvang groeit ook het aantal bestandsformaten dat wordt gebruikt om gegevens op te slaan. Hierdoor is het effectief opslaan en beheren van informatie vaak een uitdaging voor de organisatie.
Compressie, tiering en deduplicatie om deze enorme gegevensverzamelingen te verwerken zijn nu reeds gebruikte methoden. Compressie vermindert het aantal bits in gegevens, wat resulteert in een kleinere totale grootte. Het proces van het verwijderen van dubbele en onnodige gegevens uit een dataset staat bekend als deduplicatie.
Via data tiering slaan we data op in verschillende storage tiers. Het garandeert dat de gegevens op de best mogelijke locatie worden opgeslagen. Gegevenslagen kunnen openbare cloud, privécloud en flashopslag omvatten, afhankelijk van de grootte en het belang van de gegevens.
Maar er zijn meer Aspecten van gegevenskwaliteit onder meer nauwkeurigheid, consistentie, relevantie, volledigheid en gebruiksgeschiktheid.
Voor Big Data Analytics-oplossingen zijn diverse gegevens vereist. Gegevenskwaliteit is altijd een uitdaging bij het werken met diverse gegevensbronnen, bijvoorbeeld het matchen van het gegevensformaat, het samenvoegen ervan, het controleren op ontbrekende gegevens, duplicaten, uitschieters, enz.
Het is vereist om gegevens op te schonen en voor te bereiden voordat ze voor analyse worden aangeboden.
Bijgevolg vereist het verkrijgen van bruikbare gegevens een aanzienlijke inspanning om de gegevens op te schonen om een zinvol resultaat te verkrijgen. Geschat wordt dat datawetenschappers 50% – 80% van hun tijd moeten besteden aan het voorbereiden van data.
We moeten voortdurend eventuele problemen met de gegevenskwaliteit controleren en oplossen. Dubbele vermeldingen en typefouten zijn ook typisch, vooral wanneer gegevens afkomstig zijn uit meerdere bronnen.
Het ontwierpen van een intelligente gegevensidentificatie die duplicaten met kleine gegevensafwijkingen herkent en mogelijke fouten rapporteert om de kwaliteit van de verzamelde gegevens te waarborgen is daarbij essentieel.
Hierdoor is de nauwkeurigheid van de inzichten uit data-analyse te verbeteren.
Big data-oplossingen kunnen worden gebruikt om grote hoeveelheden data te verwerken. Maar het kan problemen veroorzaken als de geplande architectuur niet kan worden geschaald. De uitvoer kan eronder lijden als het ontwerp ze niet kan schalen.
Met de exponentiële toename van het gegevensvolume dat wordt verwerkt, kan de architectuur de stortvloed aan gegevens die ze binnenkrijgen, overweldigen. Het kan dus de prestaties en efficiëntie van de toepassing verminderen.
Om een overvloed aan gegevens aan te kunnen, zorgt Auto-scaling ervoor dat het systeem altijd in staat is met de juiste hoeveelheid capaciteit om aan de huidige verkeersvraag te voldoen. Er zijn twee soorten schaalvergroting.
Opschalen is een haalbare schaaloplossing totdat het onmogelijk is om afzonderlijke componenten groter op te schalen. Daarom is dynamisch schalen vereist.
Dynamische schaling biedt een gecombineerde kracht van opschaling met capaciteitsgroei en economische voordelen van scale-out. Het zorgt ervoor dat de capaciteit van het systeem wordt uitgebreid met de exacte granulariteit die nodig is om aan de zakelijke eisen te voldoen.
Compressie, tiering en deduplicatie zijn enkele van de nieuwste benaderingen die bedrijven gebruiken om met enorme datavolumes om te gaan. Compressie is een techniek om het aantal bits in gegevens te verlagen en daarmee de totale grootte van de gegevens. Het verwijderen van dubbel en onnodig materiaal uit een kennisset staat bekend als deduplicatie.
Via datatiering data opslaan in vele opslaglagen. Het garandeert dat de informatie op de meest geschikte locatie wordt opgeslagen. Afhankelijk van de grootte en relevantie van de gegevens, kunnen gegevenslagen openbare cloud, privécloud en flashopslag omvatten. Bedrijven kiezen ook voor Big Data-technologieën zoals Hadoop, NoSQL en andere technologieën.
Hoewel big data veel inzicht kan bieden voor besluitvorming, is het beschermen van gegevens tegen diefstal een uitdaging.
De verzamelde gegevens kunnen persoonlijke en bijzondere persoonsgegevens gegevens van een persoon bevatten. GDPR (Algemene Verordening Gegevensbescherming) is de wet inzake gegevensbescherming om de veiligheid van bijzondere persoonsgegevens en persoonlijke informatie in en buiten de Europese Unie (EU) en de Europese Economische Ruimte (EER) te waarborgen.
Volgens de AVG moet de organisatie de bijzondere persoonsgegevens van haar klanten beschermen tegen interne en externe bedreigingen. Organisaties die de bijzondere persoonsgegevens van Europese burgers binnen EU-staten opslaan en verwerken, moeten voldoen aan de AVG.
Maar als architectuur een kleine kwetsbaarheid heeft, is de kans groter dat deze wordt gehackt.
Een hacker kan data fabriceren en invoeren in data-architectuur. Ze kunnen het systeem binnendringen door wat ruis toe te voegen, waardoor het een uitdaging wordt om gegevens te beschermen.
Big data-oplossingen slaan gegevens meestal op gecentraliseerde locaties op en verschillende applicaties en platforms verbruiken gegevens. Als gevolg hiervan wordt het beveiligen van gegevenstoegang een probleem. Om gegevens te beschermen tegen diefstal en aanvallen is een robuust raamwerk nodig.
Cyberbeveiligingsmedewerkers om gegevens te beschermen of Data-encryptie Data-segregatie Identiteits- en toegangsbeheer Implementatie van endpoint security Real-time security monitoring.
Big data-systemen kunnen een uitdaging zijn om te implementeren, omdat we te maken hebben met verschillende soorten gegevens uit verschillende bronnen.
Het integreren van dergelijke hoeveelheden data maakt het complex. Bovendien combineren organisaties on-premise en cloudgebaseerde verwerking en opslag van big data. Ook hier is data-integratie vereist. Anders wordt elk computercluster die zijn engine nodig heeft geïsoleerd van de rest van de architectuur, wat resulteert in gegevensreplicatie en -fragmentatie.
Als gevolg hiervan wordt het ontwikkelen, testen en oplossen van problemen met deze processen ingewikkelder. Bovendien vereist het een groot aantal configuratie-instellingen op verschillende systemen om de prestaties te verbeteren.
Een datameer als verzamelplaats voor enorme hoeveelheden big data die uit verschillende bronnen zijn verkregen, zonder na te denken over hoe de gegevens zouden worden samengevoegd.
Verschillende domeinen creëren gegevens die nuttig zijn voor gezamenlijke analyse, maar de onderliggende semantiek van deze gegevens is vaak verwarrend en moet met elkaar worden verzoend.
Big data-technologieën zijn zeer gespecialiseerd en maken gebruik van frameworks en talen die niet gebruikelijk zijn in meer algemene applicatie-architecturen. Aan de andere kant ontwikkelen big data-technologieën nieuwe API’s op basis van meer ontwikkelde talen.
De U-SQL-taal in Azure Data Lake Analytics is bijvoorbeeld een hybride van Transact-SQL en C#. Voor Hive, HBase en Spark zijn op SQL gebaseerde API’s beschikbaar.
Om deze moderne technologieën en datatools te bedienen, zijn bekwame dataprofessionals nodig. Dit zijn onder meer datawetenschappers, data-analisten en data-engineers om tools te bedienen en datapatronen te verkrijgen.
Een tekort aan data-experts is een van de Big Data Challenges waar bedrijven voor staan. Meestal komt dat omdat technieken voor gegevensverwerking snel evolueerden, maar de meeste beoefenaars niet. Het is een must om solide maatregelen te nemen om deze kloof te dichten.
Sommige gebruiken een datameer als verzamelplaats voor enorme hoeveelheden big data die uit verschillende bronnen zijn verkregen, zonder na te denken over hoe de gegevens zouden worden samengevoegd.
Onvoldoende bewustzijn zorgt ervoor dat we falen met Big Data-projecten. We kunnen dan niet begrijpen wat gegevens zijn, hoe ze worden opgeslagen, verwerkt en waar ze vandaan komen. Ongetwijfeld weten dataprofessionals er misschien van, maar anderen hebben er misschien geen duidelijk begrip van. Als we het belang van kennisopslag niet begrijpen, is het een uitdaging om gevoelige gegevens te bewaren.
Het is mogelijk dat we databases niet goed kunnen gebruiken voor opslag. Als gevolg hiervan wordt het moeilijk om gegevens op te halen wanneer vitale gegevens nodig zijn.