In dit artikel, Steve Jenkings, onze Data Engineering Lead geeft een introductie op hoog niveau over enkele van de nieuwe functies in Snowflake en legt uit hoe ze een veilige, beheerde en schaalbare technische architectuur mogelijk kunnen maken die alle operationele activiteiten kan ondersteunen en de behoefte aan veel andere technologieleveranciers kan verminderen.
Snowflake begon zijn leven als het eerste data warehouse dat speciaal geschreven was voor cloud. De aanvankelijke architecturale beslissing om opslag en rekenkracht te scheiden lag aan de basis van veel baanbrekende mogelijkheden die gebouwd waren op uitzonderlijke out-of-the-box queryprestaties en aandacht voor beveiliging en governance als een mogelijkheid van de eerste partij.
Het aanbod is sindsdien aanzienlijk uitgebreid en het Snowflake Data Cloud omvat nu ook functies zoals de marktplaats, data clean rooms, SnowPark, Snowflake Native Apps en ondersteuning voor ongestructureerd data.
Op Projective Group hebben we Snowflake-projecten voor onze klanten geleverd op verschillende gebieden, waaronder FRTB compliance, Finance Product Control en kwantitatieve analyseplatforms. Dus met een groot aantal nieuwe functies die onlangs zijn vrijgegeven of binnenkort worden vrijgegeven, hoeveel meer use cases kan Snowflake aan? Laten we dat eens uitzoeken.
Snowflake is momenteel geoptimaliseerd voor het uitvoeren van analytische query's (bijv. wat was de totale verkoopwaarde per kwartaal per land in het afgelopen jaar). Hybride tabellen introduceert een nieuw opslagmodel voor rij-indelingen dat is ontworpen om de uitvoering van transactionele query's te optimaliseren (bijv. de status van de transactie met ID '12345' bijwerken naar 'vervallen'). In een notendop, Snowflake gaat zowel database als data warehouse workloads ondersteunen.
Hybride tabellen introduceert een nieuw opslagmodel voor rijenformaten dat is ontworpen om de uitvoering van transactionele query's te optimaliseren.
FS Use Cases: Het vastleggen van transacties en het beheer van transacties lifecycle of bijna-realtime analyse van data , zoals het opsporen van frauduleuze transacties, kan nu worden uitgevoerd in Snowflake. Verder wordt de behoefte aan data integratietooling (d.w.z. om data van een bronsysteem naar Snowflake te verplaatsen) tenietgedaan of geminimaliseerd, aangezien meer data volledig wordt beheerst in één enkel platform. Data transformatietooling zal waarschijnlijk een belangrijk onderdeel blijven in de levering van een typisch Snowflake project om een model te creëren en te vullen dat geschikt is voor een specifiek gebruik case, maar zelfs dit kan worden verminderd met het nieuwe tabeltype.
Onze observaties: Hybride tabellen zijn zojuist vrijgegeven als openbare preview in een beperkt aantal regio's en in een beperkt aantal clouds. Hoewel de prestaties in de loop van de tijd ongetwijfeld zullen verbeteren, is het in eerste instantie onwaarschijnlijk dat zeer veeleisende transactionele gebruiksscenario's kunnen worden ondersteund. Bovendien is de ondersteuning voor kloon zonder kopieën op dit moment niet uitgebreid naar hybride tabellen, waardoor de mogelijkheid om gebruik te maken van moderne data Ops practices tegen dit nieuwe tabeltype.
Streamlit is een eenvoudige scripttaal die het mogelijk maakt om snel interactieve, gebruiksvriendelijke webapplicaties te maken die draaien op data die is opgeslagen in Snowflake. Met een korte leercurve zal Streamlit voor veel mensen toegankelijk zijn; niet alleen voor ervaren ingenieurs. Ons eigen data transformatieraamwerk, TiPS, dat volledig open source is, is nu beschikbaar als een Snowflake native app met een UI die is gebouwd in Streamlit (zie deze pagina voor alle details).
Streamlit is een eenvoudige scripttaal die ondersteuning biedt voor het snel maken van interactieve, gebruiksvriendelijke webapplicaties die draaien op data die is opgeslagen in Snowflake.
FS Use Cases: Bestaande webapps voor trade capture en trade lifecycle management, en nog veel meer, kunnen nu worden gebouwd in Streamlit (ondersteund door hybride tabellen). Streamlit blinkt ook uit in het leveren van interactieve dashboards met machine learning modellen, die mogelijk veel bestaande dashboarding tools kunnen vervangen.
Onze observaties: Op dit moment is Streamlit nog niet rijk genoeg om een geavanceerde trade capture tool te vervangen, en statusbeheer in Streamlit UI's kan ook een uitdaging zijn. De mogelijkheden van Streamlit zijn echter snel toegenomen in de tijd dat we het gebruiken en met elke release is er meer geavanceerde UI-ondersteuning beschikbaar, wat betekent dat meer bestaande gebruikssituaties levensvatbaar worden.
Snowpark Container Services biedt een volledig beheerde mogelijkheid die de inzet, het beheer en het schalen van gecontaineriseerde werklasten ondersteunt. Dit betekent dat zowel nieuwe als bestaande bedrijfslogica (in elke programmeertaal die kan worden verpakt als een container image, bijv. C/C++, Node.js, Python, R en meer) nu kan draaien op 'compute pools' in Snowflake. Deze kunnen worden gespecificeerd als CPU- of GPU-hardware en worden automatisch door Snowflake geleverd en beheerd op de cloud provider van uw keuze. Omdat containers op dezelfde locatie draaien als uw data, verlaat uw data Snowflake nooit, waardoor beveiliging en beheer aanzienlijk worden vereenvoudigd en de uitvoeringsprestaties uitzonderlijk zullen zijn.
Omdat containers op dezelfde locatie draaien als uw data, verlaat uw data Snowflake nooit. Beveiliging en governance worden dus aanzienlijk vereenvoudigd en de uitvoeringsprestaties beloven uitzonderlijk te zijn.
FS-gebruiksgevallen: Bestaande applicaties kunnen met minimale wijzigingen in Snowflake draaien; een overnight compute batch met complexe en rekenintensieve prijs- en risk modellen, zoals Monte Carlo, bijvoorbeeld. In deze case is het moeilijker om een bedrijfsproces te bedenken dat geen invloed zou ondervinden van deze mogelijkheid dan het omgekeerde.
Onze observaties: Het is nog een beetje vroeg voor ons om gefundeerde observaties toe te voegen over deze mogelijkheid, maar blijf op de hoogte voor een blog over onze bevindingen in de toekomst.
Cortex is een volledig beheerde service die data analyse en de creatie van AI-toepassingen binnen Snowflake ondersteunt. Hoewel Snowpark Container Services ook AI & ML-mogelijkheden kunnen ondersteunen, vereist het creëren hiervan aanzienlijke technische vaardigheden. Cortex biedt daarentegen ingebouwde mogelijkheden die AI & ML toegankelijk maken voor mensen zonder dergelijke expertise op dit gebied.
Cortex biedt ingebouwde mogelijkheden die AI & ML toegankelijk maken voor mensen zonder expertise op dit gebied.
FS-gebruiksgevallen: Er zijn enkele gevestigde AI & ML use cases in de financiële dienstverlening, zoals het opsporen van frauduleuze transacties of het voorspellen van wanbetalingen op leningen, maar ook enkele nieuwere use cases in opkomst, met name rond LLM's en Generative AI, zoals het uitvoeren van zoekopdrachten in natuurlijke taal tegen zowel gestructureerde als ongestructureerde data. Cortex belooft veel van deze use cases te ondersteunen, terwijl het de behoefte aan Data Science expertise vermindert en de levering van modellen in uw productieomgeving versnelt.
Onze observaties: Cortex is nog niet beschikbaar en we hebben op dit moment nog maar beperkte ervaring met deze mogelijkheid. Een algemene observatie is dat een organisatie toegang nodig heeft tot aanzienlijke hoeveelheden up-to-date data die ook automatisch worden beheerd en gecontroleerd om de kwaliteit te waarborgen. Als je organisatie nog niet op dit punt is, dan is het nu een goed moment om deze basis te leggen, anders kan je AI & ML agenda heel snel geblokkeerd raken.
Voor organisaties in de financiële dienstverlening die een concurrentievoordeel willen creëren met hun technologiearchitectuur, denken wij dat de combinatie van bestaande en nieuwe Snowflake-mogelijkheden een game-changer kan zijn. Door gebruik te maken van de volledige Snowflake-stack, kunnen banken en verzekeraars hun gebruik van veel andere technologieproducten verminderen of uiteindelijk zelfs elimineren. Op die manier kunnen ze hun activiteiten kosteneffectief stroomlijnen en tegelijkertijd hun operationele snelheid, flexibiliteit, veiligheid en controle behouden of zelfs vergroten.
De combinatie van bestaande en nieuwe Snowflake-mogelijkheden kan een game-changer zijn.
Moderne FinTech-bedrijven, zonder de technische erfenisschulden van de meeste van hun meer gevestigde tegenhangers, hebben hier een duidelijk voordeel. Ze zijn al cloud gecentreerd (geen mainframes!), dus hun bestaande architecturen zijn een stap dichter bij degene die hier wordt gepresenteerd. Bovendien betekent hun Agile aanpak dat ze zeer snel gecontroleerde veranderingen kunnen doorvoeren.
Hoewel langer gevestigde organisaties aanzienlijke marktvoordelen behouden, wordt dit langzaam uitgehold. In combinatie met de operationele efficiëntie die voortvloeit uit de vereenvoudiging van technologie en de toegenomen snelheid van verandering, zouden we wel eens dichter bij een kantelpunt kunnen komen, tenzij er overal belangrijke initiatieven worden genomen om te moderniseren.
Op Projective Group zijn onze ervaren ingenieurs zeer bedreven in de hele Snowflake-stack en investeren ze voortdurend in leren en experimenteren met nieuwe mogelijkheden, zoals die in dit artikel worden genoemd. Bovendien waren we een van de eerste gebruikers van Snowflake Native Apps en hebben we ons eigen data transformatieraamwerk, TiPS, omgezet in een native app die nu beschikbaar is op de Snowflake Marketplace.
Als u meer wilt weten over hoe onze toonaangevende expertise uw plannen om Snowflake te gaan gebruiken kan ondersteunen, uw bestaande gebruik van Snowflake kan optimaliseren of u kan helpen bij elke fase van uw reis door Snowflake, neem dan hier contact met ons op.
Projective Group is opgericht in 2006 en is een toonaangevende veranderspecialist voor de financiële dienstverlening.
We worden binnen de sector erkend als een leverancier van complete oplossingen, die samenwerkt met klanten in de financiële dienstverlening om oplossingen te bieden die zowel holistisch als pragmatisch zijn. We hebben ons ontwikkeld tot een betrouwbare partner voor bedrijven die willen gedijen en bloeien in een steeds veranderend landschap van financiële dienstverlening.
