Το προγραμματιστικό μοντέλο Apache Spark

Το Apache Spark είναι ένα σχετικά νέο προγραμματιστικό πλαίσιο ανοιχτού κώδικα που υποστηρίζει την κατανεμημένη επεξεργασία μεγάλου όγκου δεδομένων. Αρχικά αναπτύχθηκε από το πανεπιστήμιο του Berkley της  California στο εργαστήριο AMLAB και αργότερα ο πυρήνας του κώδικα δωρίστηκε στο ίδρυμα  Apache Software. Σήμερα η τελευταία του σταθερή έκδοση είναι η 2.1.0. Το Spark περιέχει μια διεπαφή για τον προγραμματισμό υπολογιστικών συστάδων   (API : application programming interface ), για παραλληλισμό δεδομένων και ανεκτικότητα σε σφάλματα υλικού ακόμη και αν κάποιος υπολογιστής παρουσιάσει πρόβλημα ή εκτέλεση της εφαρμογής δεν θα σταματήσει αλλά  θα συνεχιστεί  με την βοήθεια των διαθέσιμων ενεργών κόμβων [43][44][45]. To Spark έχει ως κεντρικό άξονα την ένα σύνολο δεδομένων που ονομάζεται RDD (resilient distributed dataset) που είναι ένα πολυσύνολο μόνο για ανάγνωση δεδομένων διαμερισμένο στο σύμπλεγμα των υπολογιστών [49] και θα αναφερόμαστε σε αυτό ως RDD.

Το Apache Spark [46] έχει παρόμοιά προγραμματιστικό μοντέλο με το Hadoop  στην πραγματικότητα το spark είναι η βελτίωση του. Στο παρελθόν  το Hadoop χρειαζόταν διαφορετικές μηχανές και διαφορετικές πλατφόρμες λογισμικού για να συλλέξουμε , να επεξεργαστούμε αλλά και να αναλύσουμε τα μεγάλα δεδομένα. Σήμερα  οι εφαρμογές με το Spark είναι ευκολότερες να δημιουργηθούν, επειδή το προγραμματιστικό περιβάλλον είναι ενιαίο, συγκρίνοντας το με το παρελθόν που έπρεπε κάθε φορά να μεταφέρουμε  δεδομένα από το ένα σύστημα στο άλλο. Η ανάπτυξη εφαρμογών είναι ευκολότερη με το  Spark, όλες οι μηχανές και οι βιβλιοθήκες είναι ενσωματωμένες σε αυτό  και μπορούμε  να εκτελέσουμε τις συναρτήσεις στο ίδιο σύνολο δεδομένων. Ένα καλό παράδειγμα για να εκτιμήσουμε την αξία της ενοποιημένης μηχανής είναι τα έξυπνα  τηλέφωνα που χρησιμοποιούμε σήμερα. Αρχικά πριν την ανακάλυψη των έξυπνων τηλέφωνων, οι τεχνολογίες που ενσωματωθήκαν στα έξυπνα τηλέφωνα υπήρχαν για μεγάλο χρονικό διάστημα  και ήταν σε διαφορετικές συσκευές, όπως για παράδειγμα συσκευές gps, τηλέφωνο, φωτογραφική μηχανή . Όταν όλες αυτές οι συσκευές συνδυάστηκαν  σε μια συσκευή, αυτό οδήγησε σε νέες λειτουργίες και  δημιουργήθηκαν νέες εφαρμογές αξιοποιώντας όλες τις τεχνολογίες που συνδυάστηκαν. Για παράδειγμα εφαρμογές για βίντεο μηνύματα ή εφαρμογές για την  κυκλοφοριακή κίνηση σε κοντινούς δρόμους  [46].