Πέρυσι, μια ομάδα γερμανών επιστημόνων υπολογιστών έκανε τα κύματα επιδεικνύοντας έναν νέο αλγόριθμο υπολογιστή που θα μπορούσε να μετατρέψει οποιαδήποτε ψηφιακή ακίνητη εικόνα σε έργο τέχνης που μιμείται τα ζωγραφικά στυλ των δασκάλων όπως ο Vincent van Gogh, ο Pablo Picasso και ο Edvard Munch. Αν και ένα εντυπωσιακό κατόρθωμα, εφαρμόζοντας την ίδια τεχνική στις κινούμενες εικόνες, φαινόταν εξοργιστικό εκείνη τη στιγμή. Αλλά τώρα, μια άλλη ομάδα ερευνητών το έχουν καταλάβει, γρήγορα και αδιάλειπτα την παραγωγή κινούμενων ψηφιακών αριστουργημάτων, γράφει ο Carl Engelking για το Discover .
σχετικό περιεχόμενο
- Αυτή η Κινούμενη Ταινία Σχετικά με το Βαν Γκογκ γίνεται πλήρως από ελαιογραφίες
- Αυτό το Τεχνητό Νευρωνικό Δίκτυο δημιουργεί παράλογες Γραμμές Ανάληψης
Σε μια επίδειξη βίντεο, οι προγραμματιστές παρουσιάζουν τις καλλιτεχνικές ικανότητες του αλγορίθμου, μεταμορφώνοντας σκηνές από ταινίες και τηλεοπτικές εκπομπές, όπως το Ice Age και την Miss Marple, σε ζωγραφιές όπως κινούμενα σχέδια με το πάτημα ενός ποντικιού. Αλλά η ανάπτυξη του αλγορίθμου δεν ήταν μικρό επίτευγμα.
Για να δημιουργήσει μια τέτοια λεπτομερή μεταμόρφωση, ο επιστήμονας πληροφορικής Leon Gatys και οι συνεργάτες του στο Πανεπιστήμιο του Tübingen ανέπτυξαν έναν αλγόριθμο βαθιάς μάθησης που τρέχει από ένα τεχνητό νευρωνικό δίκτυο. Με τη μίμηση των τρόπων που οι νευρώνες στον ανθρώπινο εγκέφαλο κάνουν συνδέσεις, αυτά τα συστήματα μηχανικής μάθησης μπορούν να εκτελούν πολύ πιο περίπλοκα καθήκοντα από κάθε παλιό φορητό υπολογιστή.
Εδώ είναι πώς λειτουργεί: όταν κοιτάζετε μια εικόνα μιας ζωγραφικής ή βλέπετε μια ταινία στο φορητό σας υπολογιστή, βλέπετε τον υπολογιστή σας να αποκωδικοποιεί τις πληροφορίες σε ένα αρχείο και να τις παρουσιάζει με τον κατάλληλο τρόπο. Αλλά όταν οι εικόνες αυτές υποβάλλονται σε επεξεργασία μέσω ενός νευρικού δικτύου, ο υπολογιστής είναι σε θέση να πάρει τα πολλά διαφορετικά επίπεδα πληροφοριών που περιέχονται σε αυτά τα αρχεία και να τα διαχωρίσει κομμάτια ανά κομμάτι.
Για παράδειγμα, ένα στρώμα μπορεί να περιέχει τις πληροφορίες για τα βασικά χρώματα στη Starry Night της van Gogh, ενώ το επόμενο προσθέτει λίγο περισσότερες λεπτομέρειες και υφή και ούτω καθεξής, σύμφωνα με την MIT Technology Review . Το σύστημα μπορεί στη συνέχεια να αλλάξει κάθε διαφορετικό στρώμα ξεχωριστά πριν τα βάλει μαζί για να δημιουργήσουν μια εντελώς νέα εικόνα.
"Μπορούμε να χειριστούμε και τις δύο παραστάσεις ανεξάρτητα για να παράγουμε νέες εικόνες με αντιληπτική σημασία", γράφει ο Gatys σε μια μελέτη που δημοσιεύτηκε στο server prepress arXiv.
Εφαρμόζοντας αυτό το σύστημα της βασισμένης σε στρώματα μάθησης στους πίνακες Picasso και van Gogh, για να αναφέρουμε μερικούς, οι ερευνητές ήταν σε θέση να αναπτύξουν έναν αλγόριθμο που «δίδαξε» τον υπολογιστή να ερμηνεύει όλες αυτές τις πληροφορίες κατά τρόπο που διαχωρίζει το περιεχόμενο ενός ζωγραφική από το ύφος της. Μόλις κατάλαβε πώς ο van Gogh χρησιμοποίησε πινελιές και χρώμα, τότε θα μπορούσε να εφαρμόσει αυτό το στυλ σαν ένα φίλτρο Photoshop σε μια εικόνα και να το αναδημιουργήσει αποτελεσματικά στο εικονιστικό του στυλ, γράφει ο Matt McFarland για την Washington Post . Αλλά η εφαρμογή αυτής της τεχνικής στο βίντεο παρουσίασε μια εντελώς νέα σειρά προβλημάτων.
«Στο παρελθόν, η χειροκίνητη ανασύνταξη μιας εικόνας σε ένα συγκεκριμένο καλλιτεχνικό στυλ απαιτούσε έναν επαγγελματία καλλιτέχνη και πολύ καιρό», γράφει ο Manuel Ruder και η ομάδα του από το Πανεπιστήμιο του Freiburg στη νέα τους μελέτη, που δημοσιεύθηκε επίσης στο arXiv. "Κάνοντας αυτό για μια σειρά βίντεο με το ένα χέρι ήταν πέρα από τη φαντασία."
Όταν ο Ruder και οι συνάδελφοί του προσπαθούσαν αρχικά να εφαρμόσουν τον αλγόριθμο στα βίντεο, ο υπολογιστής ανακάτωσε το gobbledygook. Τελικά, συνειδητοποίησαν ότι το πρόγραμμα αντιμετώπιζε κάθε πλαίσιο του βίντεο ως χωριστή ακίνητη εικόνα, η οποία προκάλεσε την αδράνεια του βίντεο. Για να ξεπεράσουμε αυτό το ζήτημα, οι ερευνητές έβαλαν περιορισμούς στον αλγόριθμο που κράτησε τον υπολογιστή από το να παρεκκλίνει πάρα πολύ μεταξύ των πλαισίων, γράφει ο Engelking. Αυτό επέτρεψε στο πρόγραμμα να εγκατασταθεί και να εφαρμόσει ένα συνεπές στυλ σε ολόκληρο το βίντεο.
Ο αλγόριθμος δεν είναι τέλειος και συχνά έχει προβλήματα με το χειρισμό μεγαλύτερης και ταχύτερης κίνησης. Ωστόσο, αυτό εξακολουθεί να αποτελεί σημαντικό βήμα προς τα εμπρός στους τρόπους με τους οποίους οι υπολογιστές μπορούν να αποδώσουν και να αλλάξουν βίντεο. Ενώ είναι σε πρώιμα στάδια, οι μελλοντικοί αλγόριθμοι ενδέχεται να είναι σε θέση να εφαρμόσουν αυτό το αποτέλεσμα σε βίντεο που έχουν ληφθεί μέσω μιας εφαρμογής smartphone ή ακόμα και να εκδώσουν εκδόσεις εικονικής πραγματικότητας των αγαπημένων σας έργων ζωγραφικής, αναφέρουν οι εκθέσεις της MIT Technology Review .
Η ιδέα να βράσει το στυλ του καλλιτέχνη σε ένα σύνολο σημείων δεδομένων μπορεί να κακοποιήσει μερικούς ανθρώπους, ανοίγει επίσης τις πόρτες σε όλα τα νέα είδη τέχνης που δεν πίστευαν ποτέ ποτέ πριν.
