[Dátá~ Éñgí~ñéér~íñg ó~ñ Míc~rósó~ft Áz~úré (D~P-203)]

[Thé c~óñté~ñt óf~ thís~ íñté~ñsív~é trá~íñíñ~g ís d~érív~éd fr~óm th~é éxá~m "DP-203: D~átá É~ñgíñ~éérí~ñg óñ~ Mícr~ósóf~t Ázú~ré".] 

[Módú~lé 1: Éx~plór~íñg c~ómpú~té áñ~d stó~rágé~ óptí~óñs f~ór dá~tá sc~íéñc~é wór~klóá~ds]

[Thís módúlé próvídés áñ óvérvíéw óf Ázúré cómpúté áñd stórágé téchñólógý óptíóñs áváíláblé tó dátá scíéñtísts créátíñg áñálýtíc wórklóáds. Thís módúlé téáchés méthóds fór strúctúríñg thé dátá láké áñd óptímízíñg fílés fór éxplórátíóñ, stréámíñg, áñd bátch prócéssíñg óf wórklóáds. cóúrsé pártícípáñts wíll léárñ hów tó órgáñízé thé dátá láké íñtó dátá óptímízátíóñ láýérs whéñ tráñsfórmíñg fílés thróúgh bátch áñd stréám prócéssíñg. Théý wíll théñ léárñ hów tó créáté íñdéxés fór théír dátáséts (súch ás CSV, JSÓÑ áñd Párqúét fílés) áñd úsé thém fór pótéñtíál qúérý áñd wórklóád áccélérátíóñ.]

[Léss~óñs]

• [Íñtr~ódúc~tíóñ~ tó Áz~úré S~ýñáp~sé Áñ~álýt~ícs]
• [Désc~ríbí~ñg Áz~úré D~átáb~ríck~s]
• [Íñtr~ódúc~tíóñ~ tó Áz~úré D~átá L~áké S~tórá~gé]
• [Désc~ríbí~ñg th~é Dél~tá Lá~ké ár~chít~éctú~ré]
• [Wórk~íñg w~íth d~átá s~tréá~ms ús~íñg Á~zúré~ Stré~ám Áñ~álýt~ícs]

[Láb: É~xpló~ríñg~ cómp~úté á~ñd st~órág~é ópt~íóñs~ fór d~átá s~cíéñ~cé wó~rkló~áds]

• [Cómb~íñíñ~g str~éámí~ñg áñ~d bát~ch pr~ócés~síñg~ wíth~ á síñ~glé p~ípél~íñé]
• [Órgá~ñízí~ñg th~é dát~á lák~é íñt~ó lév~éls ó~f fíl~é trá~ñsfó~rmát~íóñ]
• [Íñdé~xíñg~ dátá~ láké~ stór~ágé t~ó ácc~élér~áté q~úérí~és áñ~d wór~klóá~ds]

[Módú~lé 2: Éx~écút~íñg í~ñtér~áctí~vé qú~éríé~s úsí~ñg sé~rvér~léss~ SQL p~óóls~ fróm~ Ázúr~é Sýñ~ápsé~ Áñál~ýtíc~s]

[Íñ thís módúlé, cóúrsé pártícípáñts wíll léárñ hów tó wórk wíth fílés stóréd íñ dátá lákés áñd éxtérñál fílé sóúrcés úsíñg T-SQL státéméñts éxécútéd fróm á sérvérléss SQL póól íñ Ázúré Sýñápsé Áñálýtícs. Thé cóúrsé pártícípáñts qúérý Párqúét fílés stóréd íñ á dátá láké áñd CSV fílés stóréd íñ áñ éxtérñál dátá stóré. Ñéxt, théý créáté Ázúré Áctívé Díréctórý sécúrítý gróúps áñd éñfórcé áccéss tó fílés íñ thé dátá láké víá Rólé-Báséd Áccéss Cóñtról (RBÁC) áñd Áccéss Cóñtról Lísts (ÁCLs).]

[Léss~óñs]

• [Gétt~íñg t~ó kñó~w sér~vérl~éss S~QL pó~ól fú~ñctí~óñs í~ñ Ázú~ré Sý~ñáps~é]
• [Qúér~ýíñg~ dátá~ íñ th~é lák~é wít~h sér~vérl~éss S~QL pó~óls f~róm Á~zúré~ Sýñá~psé]
• [Créá~tíñg~ métá~dátá~ óbjé~cts í~ñ Ázú~ré Sý~ñáps~é sér~vérl~éss S~QL pó~óls]
• [Prót~éct d~átá á~ñd má~ñágé~ úsér~s íñ Á~zúré~ Sýñá~psé s~érvé~rlés~s SQL~ póól~s]

[Láb: É~xécú~tíñg~ íñté~ráct~ívé q~úérí~és ús~íñg s~érvé~rlés~s SQL~ póól~s]

• [Qúér~ýíñg~ Párq~úét d~átá w~íth s~érvé~rlés~s SQL~ póól~s]
• [Créá~té éx~térñ~ál tá~blés~ fór P~árqú~ét áñ~d CSV~ fílé~s]
• [Créá~tíñg~ víéw~s wít~h sér~vérl~éss S~QL pó~óls]
• [Prót~éctí~ñg ác~céss~ tó dá~tá íñ~ á dát~á lák~é whé~ñ úsí~ñg sé~rvér~léss~ SQL p~óóls~]
• [Cóñf~ígúr~íñg D~átá L~áké s~écúr~ítý w~íth R~ólé-B~áséd~ Áccé~ss Có~ñtró~l (RBÁ~C) áñd~ Áccé~ss Có~ñtró~l Lís~ts (ÁC~Ls)]

[Módú~lé 3: Dá~tá éx~plór~átíó~ñ áñd~ tráñ~sfór~mátí~óñ íñ~ Ázúr~é Dát~ábrí~cks]

[Íñ thís módúlé, pártícípáñts wíll léárñ hów tó úsé dífféréñt Ápáché Spárk dátá frámé méthóds tó éxplóré áñd tráñsfórm dátá íñ Ázúré Dátábrícks. cóúrsé pártícípáñts wíll léárñ hów tó éxécúté stáñdárd dátá fráméwórk méthóds tó éxplóré áñd tráñsfórm dátá. Théý wíll álsó léárñ hów tó pérfórm ádváñcéd tásks súch ás rémóvé dúplícáté dátá, édít dáté-tímé válúés, réñámé cólúmñs, áñd ággrégáté dátá.]

[Léss~óñs]

• [Désc~ríbí~ñg Áz~úré D~átáb~ríck~s]
• [Réád~íñg á~ñd wr~ítíñ~g dát~á íñ Á~zúré~ Dátá~bríc~ks]
• [Wórk~íñg w~íth D~átáF~rámé~s íñ Á~zúré~ Dátá~bríc~ks]
• [Wórk~íñg w~íth á~dváñ~céd m~éthó~ds fó~r dát~áfrá~més í~ñ Ázú~ré Dá~tábr~ícks~]

[Láb: D~átá é~xpló~rátí~óñ áñ~d trá~ñsfó~rmát~íóñ í~ñ Ázú~ré Dá~tábr~ícks~]

• [Úsíñ~g dát~á frá~més í~ñ Ázú~ré Dá~tábr~ícks~ tó éx~plór~é áñd~ fílt~ér dá~tá]
• [Cách~íñg ó~f á dá~tá fr~ámé f~ór fá~stér~ súbs~éqúé~ñt qú~éríé~s]
• [Rémó~vé dú~plíc~áté d~átá]
• [Édít~íñg d~áté/t~ímé v~álúé~s]
• [Rémó~víñg~ áñd r~éñám~íñg d~átá f~rámé~ cólú~mñs]
• [Ággr~égát~íñg d~átá s~tóré~d íñ á~ dátá~ frám~é]

[Módú~lé 4: Éx~plór~íñg, t~ráñs~fórm~íñg á~ñd ló~ádíñ~g dát~á íñ t~hé dá~tá wá~réhó~úsé ú~síñg~ Ápác~hé Sp~árk]

[Íñ thís módúlé, áttéñdéés wíll léárñ hów tó éxplóré áñd tráñsfórm dátá stóréd íñ á dátá láké áñd lóád ít íñtó á rélátíóñál dátá stóré. cóúrsé pártícípáñts wíll éxplóré Párqúét áñd JSÓÑ fílés áñd úsé téchñíqúés tó qúérý áñd tráñsfórm JSÓÑ fílés wíth híérárchícál strúctúrés. cóúrsé pártícípáñts pártícípáñts wíll théñ úsé Ápáché Spárk tó lóád dátá íñtó thé dátá wáréhóúsé áñd cóññéct Párqúét dátá íñ thé dátá láké tó dátá íñ thé dédícátéd SQL póól.]

[Léss~óñs]

• [Fúñd~áméñ~táls~ óf bí~g dát~á dév~élóp~méñt~ wíth~ Ápác~hé Sp~árk í~ñ Ázú~ré Sý~ñáps~é Áñá~lýtí~cs]
• [Cóll~éctí~ñg dá~tá wí~th Áp~áché~ Spár~k ñót~ébóó~ks íñ~ Ázúr~é Sýñ~ápsé~ Áñál~ýtíc~s]
• [Tráñ~sfór~míñg~ dátá~ wíth~ dátá~frám~és íñ~ Ápác~hé Sp~árk p~óóls~ íñ Áz~úré S~ýñáp~sé Áñ~álýt~ícs]
• [Íñté~grát~é SQL~ áñd Á~pách~é Spá~rk pó~óls í~ñtó Á~zúré~ Sýñá~psé Á~ñálý~tícs~]

[Láb: É~xpló~ríñg~, tráñ~sfór~míñg~ áñd l~óádí~ñg dá~tá íñ~ thé d~átá w~áréh~óúsé~ úsíñ~g Ápá~ché S~párk~]

• [Pérf~órmí~ñg th~é dát~á áñá~lýsí~s íñ S~ýñáp~sé St~údíó~]
• [Cóll~éctí~ñg dá~tá wí~th Sp~árk ñ~ótéb~óóks~ íñ Áz~úré S~ýñáp~sé Áñ~álýt~ícs]
• [Tráñ~sfór~míñg~ dátá~ wíth~ dátá~ frám~és íñ~ Spár~k póó~ls íñ~ Ázúr~é Sýñ~ápsé~ Áñál~ýtíc~s]
• [Íñté~grát~é SQL~ áñd S~párk~ póól~s íñt~ó Ázú~ré Sý~ñáps~é Áñá~lýtí~cs]

[Módú~lé 5: Cá~ptúr~íñg á~ñd ló~ádíñ~g dát~á íñ t~hé dá~tá wá~réhó~úsé]

[Íñ thís módúlé, cóúrsé pártícípáñts wíll léárñ hów tó cólléct dátá úsíñg T-SQL scrípts áñd Sýñápsé Áñálýtícs íñtégrátíóñ pípélíñés íñ thé dátá wáréhóúsé. cóúrsé pártícípáñts wíll léárñ hów tó lóád dátá íñtó dédícátéd Sýñápsé SQL póóls wíth PólýBásé áñd CÓPÝ úsíñg T-SQL. Íñ áddítíóñ, cóúrsé pártícípáñts wíll léárñ hów tó úsé wórklóád máñágéméñt álóñg wíth á cópý áctívítý íñ áñ Ázúré Sýñápsé pípélíñé fór pétábýté-scálé dátá íñgéstíóñ.]

[Léss~óñs]

• [Úsíñ~g bés~t prá~ctíc~és fó~r lóá~díñg~ dátá~ íñtó~ Ázúr~é Sýñ~ápsé~ Áñál~ýtíc~s]
• [Dátá~ ácqú~ísít~íóñ í~ñ thé~ pétá~býté~ ráñg~é wít~h Ázú~ré Dá~tá Fá~ctór~ý]
• [Láb: C~áptú~ríñg~ áñd l~óádí~ñg dá~tá íñ~ thé d~átá w~áréh~óúsé~]
• [Éxéc~útíñ~g cáp~túré~s íñ t~hé pé~tábý~té rá~ñgé w~íth Á~zúré~ Sýñá~psé p~ípél~íñés~]
• [Ímpó~rtíñ~g dát~á wít~h Pól~ýBás~é áñd~ CÓPÝ~ úsíñ~g T-SQ~L]
• [Úsíñ~g bés~t prá~ctíc~és fó~r lóá~díñg~ dátá~ íñtó~ Ázúr~é Sýñ~ápsé~ Áñál~ýtíc~s]

[Módú~lé 6: Tr~áñsf~órmí~ñg dá~tá wí~th Áz~úré D~átá F~áctó~rý ór~ Ázúr~é Sýñ~ápsé~ pípé~líñé~s]

[Íñ th~ís mó~dúlé~, cóúr~sé pá~rtíc~ípáñ~ts wí~ll lé~árñ h~ów tó~ créá~té dá~tá íñ~tégr~átíó~ñ píp~élíñ~és tó~ cóll~éct d~átá f~róm m~últí~plé d~átá s~óúrc~és, tr~áñsf~órm d~átá ú~síñg~ mápp~íñg d~átá f~lóws~, áñd m~óvé d~átá t~ó óñé~ ór mó~ré dá~tá sí~ñks.]

[Léss~óñs]

• [Dátá~ íñté~grát~íóñ w~íth Á~zúré~ Dátá~ Fáct~órý ó~r Ázú~ré Sý~ñáps~é píp~élíñ~és]
• [Lárg~é-scá~lé tr~áñsf~órmá~tíóñ~ wíth~óút c~ódé w~íth Á~zúré~ Dátá~ Fáct~órý ó~r Ázú~ré Sý~ñáps~é píp~élíñ~és]
• [Láb: T~ráñs~fórm~íñg d~átá w~íth Á~zúré~ Dátá~ Fáct~órý ó~r Ázú~ré Sý~ñáps~é píp~élíñ~és]
• [Éxéc~úté t~ráñs~fórm~átíó~ñs wí~thóú~t cód~é át s~cálé~ wíth~ Ázúr~é Sýñ~ápsé~ pípé~líñé~s]
• [Créá~té á d~átá p~ípél~íñé t~ó ímp~órt p~óórl~ý fór~mátt~éd CS~V fíl~és]
• [Créá~tíñg~ ássí~gñmé~ñt dá~tá fl~óws]

[Módú~lé 7: Ór~chés~trát~íñg d~átá m~óvém~éñt á~ñd tr~áñsf~órmá~tíóñ~ íñ Áz~úré S~ýñáp~sé pí~pélí~ñés]

[Íñ th~ís mó~dúlé~, párt~ícíp~áñts~ wíll~ léár~ñ hów~ tó cr~éáté~ líñk~éd sé~rvíc~és áñ~d órc~hést~ráté~ dátá~ móvé~méñt~ áñd t~ráñs~fórm~átíó~ñ úsí~ñg ñó~tébó~óks í~ñ Ázú~ré Sý~ñáps~é píp~élíñ~és.]

[Léss~óñs]

• [Órch~éstr~átíñ~g dát~á móv~éméñ~t áñd~ tráñ~sfór~mátí~óñ íñ~ Ázúr~é Dát~á Fác~tórý~]

[Láb: Ó~rché~strá~tíñg~ dátá~ móvé~méñt~ áñd t~ráñs~fórm~átíó~ñ íñ Á~zúré~ Sýñá~psé p~ípél~íñés~]

• [Íñté~grát~é dát~á fró~m ñót~ébóó~ks wí~th Áz~úré D~átá F~áctó~rý ór~ Ázúr~é Sýñ~ápsé~ pípé~líñé~s]

[Módú~lé 8: Éñ~d-tó-é~ñd sé~cúrí~tý wí~th Áz~úré S~ýñáp~sé Áñ~álýt~ícs]

[Íñ thís módúlé, cóúrsé pártícípáñts wíll léárñ hów tó prótéct á Sýñápsé Áñálýtícs wórkspácé áñd íts súppórtíñg íñfrástrúctúré. cóúrsé pártícípáñts wíll óbsérvé thé SQL Áctívé Díréctórý ádmíñístrátór, máñágé ÍP fíréwáll rúlés, máñágé sécréts wíth Ázúré Kéý Váúlt, áñd áccéss thósé sécréts thróúgh á Kéý Váúlt-líñkéd sérvícé áñd pípélíñé áctívítíés. cóúrsé pártícípáñts wíll léárñ hów tó ímpléméñt cólúmñ-lévél sécúrítý, rów-lévél sécúrítý, áñd dýñámíc dátá máskíñg whéñ úsíñg dédícátéd SQL póóls.]

[Léss~óñs]

• [Prót~éctí~ñg á d~átá w~áréh~óúsé~ dátá~básé~ íñ Áz~úré S~ýñáp~sé Áñ~álýt~ícs]
• [Cóñf~ígúr~é áñd~ máñá~gé sé~crét~s íñ Á~zúré~ Kéý V~áúlt~]
• [Ímpl~éméñ~tíñg~ cómp~líáñ~cé có~ñtró~ls fó~r cóñ~fídé~ñtíá~l dát~á]

[Láb: É~ñd-tó~-éñd s~écúr~ítý w~íth Á~zúré~ Sýñá~psé Á~ñálý~tícs~]

• [Prót~éct t~hé sú~ppór~tíñg~ Ázúr~é Sýñ~ápsé~ Áñál~ýtíc~s íñf~rást~rúct~úré]
• [Prót~éct t~hé Áz~úré S~ýñáp~sé Áñ~álýt~ícs w~órks~pácé~ áñd m~áñág~éd sé~rvíc~és]
• [Prót~éctí~ñg dá~tá íñ~ thé Á~zúré~ Sýñá~psé Á~ñálý~tícs~ wórk~spác~é]

[Módú~lé 9: Sú~ppór~tíñg~ Hýbr~íd Tr~áñsá~ctíó~ñál Á~ñálý~tícá~l Pró~céss~íñg (H~TÁP) w~íth Á~zúré~ Sýñá~psé L~íñk]

[Íñ thís módúlé, cóúrsé pártícípáñts wíll léárñ hów Ázúré Sýñápsé Líñk éñáblés séámléss cóññéctívítý óf áñ Ázúré Cósmós DB áccóúñt tó á Sýñápsé wórkspácé. áttéñdéés wíll léárñ hów tó éñáblé áñd cóñfígúré Sýñápsé Líñk áñd théñ qúérý thé Ázúré Cósmós DB áñálýtícs stóré úsíñg Ápáché Spárk áñd sérvérléss SQL póóls.]

[Léss~óñs]

• [Désí~gñíñ~g hýb~ríd t~ráñs~áctí~óñál~ áñd á~ñálý~tícá~l pró~céss~íñg ú~síñg~ Ázúr~é Sýñ~ápsé~ Áñál~ýtíc~s]
• [Cóñf~ígúr~íñg Á~zúré~ Sýñá~psé L~íñk w~íth Á~zúré~ Cósm~ós DB~]
• [Qúér~ýíñg~ Ázúr~é Cós~mós D~B wít~h Ápá~ché S~párk~ póól~s]
• [Qúér~íés f~róm Á~zúré~ Cósm~ós DB~ wíth~ sérv~érlé~ss SQ~L póó~ls]

[Láb: S~úppó~rtíñ~g Hýb~ríd T~ráñs~áctí~óñál~ Áñál~ýtíc~ál Pr~ócés~síñg~ (HTÁP~) wíth~ Ázúr~é Sýñ~ápsé~ Líñk~]

• [Cóñf~ígúr~íñg Á~zúré~ Sýñá~psé L~íñk w~íth Á~zúré~ Cósm~ós DB~]
• [Qúér~ýíñg~ Ázúr~é Cós~mós D~B wít~h Ápá~ché S~párk~ fór Á~zúré~ Sýñá~psé Á~ñálý~tícs~]
• [Qúér~ýíñg~ Ázúr~é Cós~mós D~B wít~h sér~vérl~éss S~QL pó~ól fó~r Ázú~ré Sý~ñáps~é Áñá~lýtí~cs]

[Módú~lé 10: St~réám~ próc~éssí~ñg íñ~ réál~ tímé~ wíth~ stré~ám áñ~álýt~ícs]

[Íñ thís módúlé, cóúrsé pártícípáñts wíll léárñ hów tó prócéss stréámíñg dátá wíth Ázúré Stréám Áñálýtícs. Thé cóúrsé pártícípáñts cólléct véhíclé télémétrý dátá íñ évéñt húbs áñd théñ prócéss thís dátá íñ réál tímé úsíñg váríóús wíñdów fúñctíóñs íñ Ázúré Stréám Áñálýtícs. Thé dátá ís óútpút tó Ázúré Sýñápsé Áñálýtícs. Fíñállý, cóúrsé pártícípáñts wíll léárñ hów tó scálé thé Stréám Áñálýtícs jób tó íñcréásé thróúghpút.]

[Léss~óñs]

• [Éñáb~lé ré~líáb~lé mé~sság~íñg f~ór bí~g dát~á ápp~lícá~tíóñ~s úsí~ñg Áz~úré É~véñt~ Húbs~]
• [Wórk~íñg w~íth d~átá s~tréá~ms ús~íñg Á~zúré~ Stré~ám Áñ~álýt~ícs]
• [Cápt~úríñ~g dát~á str~éáms~ wíth~ Ázúr~é Str~éám Á~ñálý~tícs~]

[Láb: S~tréá~m pró~céss~íñg í~ñ réá~l tím~é wít~h str~éám á~ñálý~tícs~]

• [Úsíñ~g str~éám á~ñálý~tícs~ tó pr~ócés~s réá~l-tím~é dát~á fró~m évé~ñt hú~bs]
• [Úsíñ~g Str~éám Á~ñálý~tícs~ wíñd~ów fú~ñctí~óñs t~ó cré~áté á~ggré~gáté~s áñd~ óútp~út tó~ Sýñá~psé Á~ñálý~tícs~]
• [Scál~íñg t~hé Áz~úré S~tréá~m Áñá~lýtí~cs jó~b tó í~ñcré~ásé t~hróú~ghpú~t thr~óúgh~ párt~ítíó~ñíñg~]
• [Ré-pá~rtít~íóñí~ñg th~é str~éám í~ñpút~ tó óp~tímí~zé pá~ráll~élíz~átíó~ñ]

[Módú~lé 11: Cr~éátí~ñg á s~tréá~m pró~céss~íñg s~ólút~íóñ w~íth é~véñt~ húbs~ áñd Á~zúré~ Dátá~bríc~ks]

[Íñ thís módúlé, cóúrsé pártícípáñts wíll léárñ hów tó cáptúré áñd prócéss stréámíñg dátá óñ á lárgé scálé wíth Évéñt Húbs áñd Spárk Strúctúréd Stréámíñg íñ Ázúré Dátábrícks. cóúrsé pártícípáñts pártícípáñts wíll léárñ ábóút thé kéý féátúrés áñd úsés óf Strúctúréd Stréámíñg. áttéñdéés wíll ímpléméñt slídíñg wíñdóws tó ággrégáté dátá blócks áñd ápplý wátérmárks tó rémóvé stálé dátá. Fíñállý, cóúrsé pártícípáñts pártícípáñts wíll cóññéct tó évéñt húbs tó réád áñd wríté stréáms.]

[Léss~óñs]

• [Próc~éssí~ñg st~réám~íñg d~átá w~íth S~trúc~túré~d Str~éámí~ñg íñ~ Ázúr~é Dát~ábrí~cks]

[Láb: C~réát~íñg á~ stré~ám pr~ócés~síñg~ sólú~tíóñ~ wíth~ évéñ~t húb~s áñd~ Ázúr~é Dát~ábrí~cks]

• [Éxpl~óré t~hé ké~ý féá~túré~s áñd~ úsés~ óf St~rúct~úréd~ Stré~ámíñ~g]
• [Stré~ámíñ~g dát~á fró~m á fí~lé áñ~d wrí~tíñg~ thís~ dátá~ tó á d~ístr~íbút~éd fí~lé sý~stém~]
• [Úsé s~lídí~ñg wí~ñdów~s tó á~ggré~gáté~ dátá~ blóc~ks íñ~stéá~d óf á~ll dá~tá]
• [Áppl~ýíñg~ wáté~rmár~ks tó~ rémó~vé ób~sólé~té dá~tá]
• [Éstá~blís~híñg~ á cóñ~ñéct~íóñ w~íth r~éád á~ñd wr~íté s~tréá~ms fó~r évé~ñt hú~bs]