Το Autism XR δημιουργεί ζευγάρια από μαθητές με αυτισμό, με εικονικούς ανθρώπους, που τους προπονούν μέσω κοινωνικών καταστάσεων. Μιλάμε με τον Marc Petz, τον καθηγητή πίσω από αυτό το βραβευμένο διαδικτυακό AR πρόγραμμα.
Όταν ο Marc Petz ήταν πρωτοετής δάσκαλος computer graphics/animation στο Kent Career Technical Center του Michigan, ένας συνάδελφος έδινε μάχη για να καλύψει τις ανάγκες ενός μαθητή με αυτισμό. Η τάξη του Petz κλήθηκε να αναπτύξει οπτικά ελκυστικές ιστορίες που θα μπορούσε να χρησιμοποιήσει ο μαθητής για να ασκήσει στοχοθετημένες κοινωνικές συμπεριφορές και κάπως έτσι γεννήθηκε το Autism XR.
Το διαδικτυακό AR, οι μαθητές συμμετέχουν σε σενάρια με εικονικούς ανθρώπους οι οποίοι μέσω της αναγνώρισης του προσώπου και της επεξεργασίας φυσικής γλώσσας, προπονούνται μέσω συγκεκριμένων κοινωνικών καταστάσεων. Η πρώτη εκδοχή του Autism XR, ενός πρωτότυπου εικονικής πραγματικότητας που βασίζεται σε εφαρμογές, μπήκε στους 10 εθνικούς φιναλίστ στο Solve for Tomorrow Tech for Good της Samsung. Τώρα ανανεώνεται ως πρόγραμμα AR για γενική χρήση.
Ο Petz εργάζεται επίσης σε ένα παιδικό βιβλίο για περιβάλλοντα μάθησης χωρίς αποκλεισμούς με τη συνάδελφο Mary Musto και γράφει διαδραστικές ιστορίες με τα παιδιά του μέσω μιας startup, που ονομάζεται Kit Tales. Μιλήσαμε μαζί του πρόσφατα για να μάθουμε περισσότερα. Εδώ είναι επεξεργασμένα και συμπυκνωμένα αποσπάσματα από τη συνομιλία μας.
Marc, εξήγησέ μας πώς εξελίχθηκε το Autism XR.
Αποφασίσαμε να αλλάξουμε την κατεύθυνση της ιδέας σε ένα πλήρως διαδικτυακό διαδραστικό περιβάλλον AR, το οποίο αποτελεί σήμερα μια πειραματική πλατφόρμα. Με ορισμένους από τους τρέχοντες περιορισμούς που σχετίζονται με το Google ARCore, το WebXR και τις τεχνολογίες τηλεφώνου, αναγκαστήκαμε να αυτοσχεδιάσουμε. Ένα παράδειγμα είναι το στοιχείο ανίχνευσης ματιών της εφαρμογής. Δεν είμαστε σε θέση να χωρίσουμε την κατανομή της μπροστινής και οπίσθιας κάμερας, ενώ υπάρχει ενεργή συνεδρία AR στον browser. Εξαιτίας αυτού, έπρεπε να χρησιμοποιήσουμε σχετικές συντεταγμένες όπου βρίσκεται η κάμερα σε αντίθεση με την παρακολούθηση οφθαλμών σε πραγματικό χρόνο.
Πόσα σενάρια περιλαμβάνονται στην τρέχουσα εκδοχή της εφαρμογής; Και ποια αποδείχθηκαν πολύ χρήσιμα;
Υπάρχουν επί του παρόντος εννέα σενάρια που έχουν δημιουργηθεί και ένα hot-to/tutorial σενάριο. Ένα από τα δύο ερευνητικά σενάρια χρησιμοποιήθηκε σε μια μικρή ερευνητική μελέτη σε πολλαπλές αίθουσες διδασκαλίας με φοιτητές ανώτερης σχολικής ηλικίας. To σενάριο "Ξεκινήστε μια συζήτηση με κάποιον που γνωρίζετε" αποδείχτηκε εξαιρετικά χρήσιμο και παράγει εκπληκτικά αποτελέσματα.
Ο Marc Petz στην τάξη
Χρησιμοποιήσατε voice actors;
Όχι, το μεγαλύτερο μέρος της φωνής του χαρακτήρα ήταν από τη γυναίκα μου, τα παιδιά μου και εμένα. Μερικοί φοιτητές συνέβαλαν επίσης στη δράση. Κατέγραψα όλο το voice acting με ένα μικρό φορητό στούντιο που έχτισα για το σκοπό αυτό.
Είναι σημαντικό να σημειωθεί ότι αυτό το πρόγραμμα λειτουργεί χωρίς ειδικό εξοπλισμό. Δεν χρειάζονται ακουστικά VR ή γυαλιά τροποποιημένα με AR, όσο η συσκευή χρήστη μπορεί να εκτελέσει το WebXR. Είδαμε σίγουρα μια ευκαιρία να οικοδομήσουμε ένα εργαλείο που θα μπορούσε να ωφελήσει πολλούς ανθρώπους και η εξάλειψη των φραγμών ήταν τεράστια προτεραιότητα. Ο εξοπλισμός high-end VR και AR προσφέρει πολλά μεγάλα οφέλη, αλλά αποφασίσαμε νωρίς ότι θέλαμε τη λύση μας να είναι πολύ προσιτή, εύκολη στη χρήση και οικονομικά προσιτή. Το WebXR είναι η πλατφόρμα που μας επιτρέπει να επιτύχουμε αυτούς τους στόχους.
Μιλήστε μας για το setup.
Το Autism XR χρησιμοποιεί το WebXR, η οποία εξακολουθεί να είναι μια πειραματική τεχνολογία που έχει κάποια βήματα που πρέπει να κάνουν οι χρήστες, εάν διαθέτουν συσκευή που το υποστηρίζει. Οι μεγαλύτεροι παίκτες αυτής της τεχνολογίας έχουν περιορίσει τις υποστηριζόμενες συσκευές στις περισσότερες νεότερες, πιο πρόσφατες κινητές συσκευές. Ένας εύκολος τρόπος να διαπιστώσετε εάν υποστηρίζεται μια συσκευή Android είναι να επισκεφθείτε το Google Play Store και να επιχειρήσετε να εγκαταστήσετε την εφαρμογή Google ARCore. Αν το Play Store το έχει διαθέσιμο, τότε το τηλέφωνό σας υποστηρίζει πλήρως το WebXR.
Με την εγκατάσταση του ARCore πρέπει να εγκαταστήσουμε το πειραματικό πρόγραμμα περιήγησης του Chrome Canary στην συσκευή. Ο περιηγητής του Canary έχει ενεργοποιημένη όλη την τεχνολογία XR (αντίθετα με τον κύριο πρόγραμμα περιήγησης Chrome) και βρήκαμε ότι η έκδοση 70 είναι η πιο σταθερή για την τρέχουσα κατασκευή μας.
Μόλις εγκατασταθεί η εφαρμογή Google ARCore και το πρόγραμμα περιήγησης, τι κάνετε στη συνέχεια;
Αφού ολοκληρωθεί η εγκατάσταση του προγράμματος περιήγησης Google Chrome Canary v70, πληκτρολογήστε Chrome: // flag στο πρόγραμμα περιήγησης Canary v70. Αναζητήστε το WebXR ενώ βρίσκεστε στη σελίδα Chrome: // flag και ενεργοποιήστε όλα τα αποτελέσματα που επιστρέφονται από την αναζήτηση. Αυτό θα επιτρέψει στη συσκευή σας να χρησιμοποιεί το περιεχόμενο του WebXR μέσω του προγράμματος περιήγησης. Εάν ήταν σε θέση να ολοκληρώσετε με επιτυχία τα τρία πρώτα βήματα, τότε είστε έτοιμοι να ανοίξετε το πρόγραμμα περιήγησης Chrome Canary v70 και να πλοηγηθείτε στο marcpetz.com και να αρχίσετε να χρησιμοποιείτε την διαδικτυακή εφαρμογή.
Autism XR
Ποια στοιχεία μηχανικής μάθησης έχετε ενσωματώσει στην εφαρμογή και πώς βελτιώνουν την εμπειρία;
Χρησιμοποιούμε το TensorFlow. Το χρησιμοποιούμε για να δημιουργήσουμε ένα συστατικό αναγνώρισης προσώπου / συναισθηματικής συμπεριφοράς στην εφαρμογή. Αυτό το τμήμα της εφαρμογής δεν έχει ακόμη εφαρμοστεί πλήρως, λόγω της πρόκλησης που αντιμετωπίζουμε στη χρήση της εμπρόσθιας και οπίσθιας κάμερα. Η τρέχουσα κατασκευή της συναισθηματικής ανίχνευσης λειτουργεί καλά και έτσι πιστεύω ότι από τη στιγμή που θα είναι πλήρως ενσωματωμένη στην εφαρμογή, θα ενισχύσει σημαντικά την εμπειρία της εκμάθησης, προάγοντας τους χρήστες να ασκούν κατάλληλες εκφράσεις του προσώπου και συναισθηματικές απαντήσεις σε διάφορες καταστάσεις.
Συνεργάστηκε με τη Mary Musto, σύμβουλο καθηγητή στο Kent ISD. Έχετε αντλήσει πληροφορίες από συγκεκριμένες ακαδημαϊκές έρευνες;
Η εμπειρία και το ιστορικό της ήταν ένα αναπόσπαστο κομμάτι στην ανάπτυξη περιεχομένου που λειτουργεί. Υπήρξε περιορισμένη έρευνα στο θέμα του VR / AR και του αυτισμού, αλλά διαπιστώσαμε ότι πολλές από τις μελέτες έδειξαν πολλά υποσχόμενα αποτελέσματα σχετικά με τις δυνατότητες που έχει η τεχνολογία για τη βελτίωση της επικοινωνίας και των κοινωνικών συμπεριφορών για όσους έχουν την εν λόγω διαταραχή.
Πώς δοκιμάσατε το πρόγραμμα;
Ήμασταν σε θέση να λάβουμε την έγκριση από την σχολική περιοχή μας για να διεξαγάγαμε μια πολύ μικρή ερευνητική μελέτη για την επικύρωση του προγράμματος και πόσο αποτελεσματική μπορεί να είναι για τη βελτίωση στοχευμένων συμπεριφορών. Παρόλο που η έρευνά μας μπορεί να θεωρηθεί ασήμαντη λόγω λίγων συμμετεχόντων, τα αποτελέσματα που είχαμε ήταν αξιοσημείωτα και δικαιολογεί σίγουρα μια εκτεταμένη έρευνα. Οι μαθητές βελτίωσαν τη στοχοθετημένη συμπεριφορά από την εκπαίδευση και επίσης γενικεύσαν τη μαθησιακή συμπεριφορά από την εκπαίδευση σε άλλες περιπτώσεις.
Μπορείτε να μοιραστείτε μαζί μας κάποια σχόλια;
Φτιάξαμε ερωτηματολόγια μετά την ολοκλήρωση της έρευνας και όλοι οι μαθητές που συμμετείχαν στη μελέτη ανέφεραν ότι απολάμβαναν τη χρήση της εφαρμογής και ήταν διασκεδαστικό και εύκολο στη χρήση. Έδωσαν θετικές αξιολογήσεις σχετικά με τη βελτίωση της στοχοθετημένης συμπεριφοράς και συνέστησαν σε άλλους να χρησιμοποιήσουν την εφαρμογή. Επίσης ανέφεραν ότι θα ήθελαν να το χρησιμοποιήσουν για άλλες κοινωνικές δεξιότητες και συμπεριφορές.
Τι έρχεται στο για το Autism XR;
Αυτή τη στιγμή αναζητούμε χρηματοδότηση για να συνεχίσουμε να αναπτύσσουμε την εφαρμογή. Μέχρι στιγμής έχει αναπτυχθεί πλήρως από μια μικρή ομάδα μαθητών γυμνασίου και φοιτητών και στόχος μας είναι να κρατήσουμε τους σπουδαστές που συμμετέχουν στην ανάπτυξη. Στόχος μας είναι να συνεχίσουμε να αναπτύσσουμε το Autism XR με ένα όραμα ότι πρόκειται για μια εφαρμογή που τελικά θα βοηθήσει τους ανθρώπους και θα βελτιώσει τη ζωή τους.
Πηγή: PCMagazine
Δεν υπάρχουν σχόλια:
Δημοσίευση σχολίου