Datahåndtering i bankvirksomhet

Innowise har utviklet et sentralisert arkiv for å lagre, behandle og sikre store mengder data knyttet til bedriftskunder, bankkontoer og betalingstransaksjoner.

Utfordring

Ulik bankrelatert data på tvers av ulike kilder som hindret beslutningstaking

Kunden vår hadde utfordringer med å håndtere og hente ut verdi fra de enorme og voksende datamengdene på tvers av bedriftskunder, bankkontoer og betalingstransaksjoner. Dataene var spredt over flere eldre systemer, og banken hadde store utfordringer med databehandling og analyse, og slet med å få innsikt i tide til å ta beslutninger. I tillegg manglet den eksisterende infrastrukturen skalerbarhet, samtidig som det ble uholdbart å opprettholde ulike foreldede systemer.

Et annet problem som sprang ut av denne sentrale utfordringen, var at det var vanskelig å overholde de strenge bankrelaterte lovkravene. Systemene for datalagring og -håndtering var spredte, noe som gjorde det vanskelig å spore, rapportere og revidere data på en effektiv måte. Dette økte risikoen for ufrivillige lovbrudd, ettersom bankansatte måtte bruke mye tid på å samle inn og verifisere data.

The client commissioned Innowise to build a robust data lake architecture that could consolidate their diverse data sets into a single, scalable, and secure environment for datahåndteringi banksektoren. De var på jakt etter en praktisk løsning for å holde oversikt over informasjon om kunder, kontoer og transaksjoner, overholde lovpålagte standarder og akselerere syklusen fra rådata til handlingsrettet forretningsinnsikt.

Løsning

Utvikling av en datasjø for lagring av rensede og strukturerte bankdata

Vi utviklet en sentralisert database for å lagre og integrere datastrømmer fra en rekke ulike kilder, inkludert elektroniske banktjenester, mobilapplikasjoner og sosiale medier. Våre erfarne spesialister implementerte en medallion lakehouse-arkitektur, med fokus på en ACID-drevet, flerlagstilnærming for å bygge en felles sannhetskilde for lagring av bankdata.

Lagdeling av data

Grunnlaget for datasjøen, bronselaget, inneholder rådata fra ulike kilder som JSON-filer, RDBMS og mer, som lagres sikkert i sin opprinnelige form. Basert på bronselaget foredler sølvlaget disse dataene, renser og normaliserer dem for avanserte analyser. Til slutt, i toppen av datastrukturen, gull-laget, finner vi aggregerte data på forretningsnivå for rapportering på høyt nivå og instrumentbord, slik at banken kan generere innsikt som kan brukes til handling.

Prosjektteamet vårt identifiserte alle potensielle datakilder, inkludert transaksjonssystemer, kundedatabaser, nettportaler og mer. Spesialistene våre kartla hver enkelt datakilde, og forsto formatet, oppdateringsfrekvensen og relevansen. Som det viktigste trinnet utviklet vi automatiserte datainntaksrørledninger ved hjelp av ETL-verktøy (extract, transform, load) for å håndtere ulike dataformater som CSV, JSON, XML og RDBMS. Avhengig av datakildens art etablerte vi sanntids- eller batchprosesseringspipelines.

Sanntidsrørledninger ble brukt for datastrømmer som krevde umiddelbar behandling (for eksempel transaksjonsdata), mens batchbehandling var forbeholdt mindre tidssensitive data. Etter hvert som dataene kom inn i bronselaget, gjennomgikk de en innledende valideringsprosess som sjekket integritet, formatkonsistens og eventuelle korrupte eller ufullstendige poster.

Sølvlaget: databehandling og foredling

På dette stadiet fokuserte prosjektteamet vårt på å berike rådataene fra bronselaget og omforme dem til et mer strukturert og brukbart format. Våre godkjente utviklere identifiserte og korrigerte typografiske feil, inkonsekvenser i dataformatet og uoverensstemmelser, og fjernet dupliserte poster for å unngå villedende innsikt. Vi implementerte strategier for imputering og flagging av data for datasett med manglende verdier, og sendte disse postene til videre gjennomgang avhengig av arten og betydningen av de tapte dataene.

Deretter forbedret prosjektteamet vårt dataene ved å legge til relevant kontekst eller tilleggsinformasjon. For eksempel utvidet vi transaksjonsdataene med demografisk informasjon om kundene, noe som muliggjorde en mer omfattende analyse. Etter at dataene var bearbeidet og aggregert, brukte vi indekseringsteknikker for raskere spørring og gjenfinning. Til slutt kryssrefereres og kobles data fra ulike kilder, og liknende informasjon fra ulike kilder konsolideres til enhetlige datasett, noe som gjør det enklere å utføre helhetlige analyser. Ved å sørge for at dataene er rene, konsistente og velstrukturerte, har vi banet vei for avansert analyse og business intelligence i gulllaget.

Det gylne laget: analyseklare data

Gullaget er toppen av datasjø-arkitekturen vår, der data omdannes til analyseklar informasjon som er spesielt skreddersydd for analyse, rapportering og beslutningstaking på høyt nivå. Data fra sølvlaget aggregeres ytterligere for å skape omfattende sammendrag på høyt nivå. Vi fokuserte på å oppsummere data på måter som samsvarer med viktige forretningsmessige beregninger og mål, for eksempel kredittrisikovurderinger, markedstrender eller kundesegmentering.

Our developers designed and implemented interactive dashboards and reports, giving the bank’s decision-makers real-time insights and visualizations. With a focus on security, we established a robust data governance framework to manage the data’s quality, usability, and security. Our engineers ensured scalable architecture, accommodating growing data volumes and complexity without degradation in performance and maintaining the integrity and reliability of the analytics output.

I gulllaget gjorde vi data til en strategisk ressurs, slik at banken kunne ta informerte beslutninger, forstå kundenes behov bedre og holde seg i forkant i den konkurranseutsatte bankbransjen.

Thus, based on refined banking-related data, Innowise enabled the client to implement the Next Best Action (NBA) and Next Best Offer (NBO) methodologies. NBA prioritizes a customer-centric approach, analyzing recent interactions to suggest the most suitable actions, including sending birthday messages, improving service quality, gathering feedback, providing onboarding instructions, and more. By leveraging predictive analytics, NBA selects actions tailored to the customer’s current situation, aiming for positive outcomes. In turn, NBO optimizes the selection of personalized offers from a client’s extensive product range. NBO automatically evaluates and suggests products likely to resonate with customers by delivering offers at the right time, price, and through the most effective channels.

I tillegg konsoliderte utviklerne våre data fra ulike tabeller og modeller som var lagret i datavarehuset, for å skape omfattende, sammenhengende og praktiske profiler for hver enkelt kunde, noe som muliggjør bedre informerte beslutninger og handlinger. Den omfattende og gjennomtenkte tilnærmingen til håndtering av analyseklare data sikrer at banken kan utnytte dataene til sitt fulle potensial, øke konverteringsfrekvensen og drive frem vekst.

Teknologier

Data engineering

Cloudera Data Platform, Hadoop, Spark, Airflow

Back-end

Python, Fast API, Scala, Akka

Database

MS SQL Server, Oracle

BI-verktøy

Power BI, SSRS, QlickView

Prosess

Vi opprettet en PoC med sikte på å bruke Kubernetes og gå bort fra de eksisterende Cloudera-baserte systemene. På grunn av begrensningene i kundens nåværende datasenter viste de imidlertid tegn til nøling når det gjaldt implementering og støtte for Kubernetes.

During the discovery phase, our project team conducted thorough research to understand the current data landscape and identify key data sources and requirements. Later, we created a detailed design that incorporated the bronze, silver, and gold layers for data processing and refinement, ensuring the data flows seamlessly in accordance with ACID principles. Then, we performed extensive testing to guarantee the integrity and performance of the data lake, implementing a feedback mechanism for continuous improvement. Finally, our project team successfully deployed the data lake, integrating it with the bank’s existing systems and providing training and support to the bank’s employees.

Team kreves

Business Analisten

Prosjekt-leder

BI-utvikler

Dataingeniører

DevOps-ingeniør

Data Quality Engineer

Resultater

Strømlinjeformede dataprosesser og overholdelse av regelverk etter utvikling av datasjøen

The implementation of the data lake for our banking client has yielded transformative results across various dimensions of their operations. Previously struggling with fragmented and unstructured information spread across multiple sources, they now effortlessly access corporate client data, banking accounts, and payment transaction information with predictability and ease. The bank’s teams now operate reliable and consistent data, paving the way for more accurate analytics and reporting. The consolidation of data into a single, scalable lakehouse architecture has led to significant cost savings in data storage and management as the result of eliminating redundant systems and streamlining data processes.

Integrasjonen av automatiserte datapipelines og strømlinjeformede datalag har redusert databehandlingstiden betraktelig, noe som muliggjør raskere beslutningstaking og mer responsiv kundeservice.

Kunden vår har også forbedret kunderelasjonsstyringen og forretningsresultatene ved å levere personaliserte, tidsriktige og relevante tiltak og tilbud basert på raffinerte og standardiserte data. Denne tilnærmingen har økt konverteringer og inntekter og optimalisert markedsføringsbudsjettene ved å målrette skreddersydde tilbud kun til interesserte potensielle kunder.

Med den nye datasjøen har dessuten compliance-rapporteringen blitt mer effektiv i en bransje der lovbrudd kan få betydelige konsekvenser.

Relaterte saker

Kontakt oss

Bestill en samtale eller fyll ut skjemaet nedenfor, så vil vi kontakte deg så snart vi har behandlet forespørselen din.

Navn

Firma

E-post

Telefon

Melding

Send oss en talemelding

Legg ved dokumenter

Last opp fil

Du kan legge ved én fil opptil 2MB. Gyldige filformater: pdf, jpg, jpeg, png.

Ved å klikke Send, samtykker du til at Innowise behandler dine personopplysninger i henhold til vår Personvernerklæring for å gi deg relevant informasjon. Ved å oppgi telefonnummeret ditt, godtar du at vi kan kontakte deg via talesamtaler, SMS og meldingsapper. Samtale-, meldings- og datakostnader kan påløpe.

Du kan også sende oss forespørselen din
til contact@innowise.com

Hva skjer videre?

Når vi har mottatt og behandlet forespørselen din, vil vi kontakte deg for å diskutere prosjektbehovene dine og signere en NDA for å sikre konfidensialitet.

Etter å ha undersøkt dine ønsker, behov og forventninger, vil teamet vårt utarbeide et prosjektforslag med omfang av arbeid, teamstørrelse, tids- og kostnadsestimater.

Vi vil arrangere et møte med deg for å diskutere tilbudet og fastsette detaljene.

Til slutt vil vi signere en kontrakt og starte arbeidet med prosjektet ditt umiddelbart.