Σάββατο 24 Ιανουαρίου 2015

Πως Λειτουργεί ο Νους

Βασικός Εξοπλισµός: Γιατί υπάρχουν τόσα πολλά ροµπότ στα µυθιστορήµατα, αλλά κανένα στην πραγµατική ζωή; Θα µπορούσα να πληρώσω πολλά για ένα ροµπότ που θα µπορούσε να µαζεύει τα πιάτα ή να κάνει απλές δουλειές. Όµως δεν θα το κάνω µέσα σ’ αυτόν τον αιώνα και προφανώς ούτε στον επόµενο. Φυσικά, υπάρχουν ροµπότ που συγκολλούν ή βάφουν σε τράπεζες συναρµολογήσεως και τριγυρίζουν στις αίθουσες των εργαστηρίων. Η ερώτησή µου αφορά στις µηχανές που περπατάνε, µιλάνε, βλέπουν και σκέφτονται πολλές φορές καλύτερα απ’ ότι τα αφεντικά τους.
Από το 1920, όταν ο Karel Capek εφηύρε τη λέξη ροµπότ στο έργο του «R.U.R.» οι συγγραφείς τα έπλασαν µε τη φαντασία τους: ο Speedy, ο Cutie και ο Dave στο «I, Robot» του Isaac Asimov, ο Robbie στο «Μονοµαχία δύο κόσµων», το δονούµενο κουτί στο «Χαµένοι στο διάστηµα», οι daleks στο «Doctor Who», η Rosie η υπηρέτρια στο «The Jetsons», ο Nomad στο «Star Trek», ο Hymie στο «Get Smart», οι ανέκφραστοι µπάτλερ και οι διαπληκτιζόµενοι µικροέµποροι στον «Υπναρά», ο R2D2 κι ο C3PO στον «Πόλεµο των άστρων», ο Εξολοθρευτής στον «Εξολοθρευτή», ο Υπολοχαγός Data στο «Σταρ Τρεκ: Η επόµενη γενιά» και οι ευφυολόγοι ταινιοκριτικοί στο «Mystery Science Theater 3000».
Αυτό το κεφάλαιο δεν αφορά στα ροµπότ αλλά στην ανθρώπινη νόηση. Θα προσπαθήσω να εξηγήσω τι είναι ο νους, από πού προήλθε και πώς µας επιτρέπει να βλέπουµε, να σκεφτόµαστε, να αισθανόµαστε, να αλληλεπιδρούµε και να επιδιώκουµε υψηλότερες αναζητήσεις όπως η τέχνη, η θρησκεία και η φιλοσοφία. Στην πορεία θα προσπαθήσω να ρίξω φως σε καθαρά ανθρώπινες ιδιαιτερότητες. Γιατί οι αναµνήσεις φθίνουν; Πώς το µακιγιάζ αλλάζει την εµφάνιση ενός προσώπου; Πώς προκύπτουν τα εθνολογικά στερεότυπα και πότε γίνονται παράλογα; Γιατί οι άνθρωποι χάνουν την ψυχραιµία τους; Τι κάνει τα παιδιά να είναι πειραχτήρια; Γιατί οι ανόητοι ερωτεύονται; Τι µας κάνει να γελάµε; Και γιατί οι άνθρωποι πιστεύουν στα φαντάσµατα και στα πνεύµατα;
Όµως το σηµείο εκκίνησης για µένα είναι το χάσµα ανάµεσα στα φανταστικά ροµπότ και στην πραγµατικότητα επειδή υποδεικνύει το πρώτο βήµα που πρέπει να κάνουµε για να γνωρίσουµε τον εαυτό µας, το να εκτιµήσουµε τον τροµερά περίπλοκο σχεδιασµό πίσω από κατορθώµατα νοητικής ζωής τα οποία θεωρούµε δεδοµένα. Ο λόγος για τον οποίο δεν υπάρχουν ανθρωπόµορφα ροµπότ δεν έγκειται στο ότι η βασική ιδέα για έναν µηχανικό του νου βρίσκεται σε λάθος δρόµο αλλά στο ότι τα προβλήµατα µηχανικής που εµείς οι άνθρωποι επιλύουµε όταν βλέπουµε, περπατάµε, σχεδιάζουµε και ακολουθούµε το ηµερήσιό µας πρόγραµµα είναι πολύ πιο γοητευτικά από το να προσγειωθεί κανείς στο φεγγάρι ή να ανακαλύψει τον ανθρώπινο γονότυπο.
Η φύση άλλη µια φορά έχει στη διάθεσή της ευφυείς λύσεις τις οποίες οι µηχανικοί δεν µπορούν ακόµα να αναπαραγάγουν. Όταν ο Άµλετ λέει, «Τι αριστούργηµα ο άνθρωπος! Τι ευγενικό το πνεύµα του! Τι απεριόριστη η ικανότητά του! Η µορφή και η κίνησή του, τι έκφραση, τι θαύµα!» δεν θα έπρεπε να µας προκαλεί δέος ο Shakespeare, ο Mozart, ο Einstein ή ο Kareem Abdul-Jabbar, αλλά ένα παιδί τεσσάρων ετών που µας ζητάει να τοποθετήσουµε ένα παιχνίδι σε ένα ράφι.
Σε ένα καλά σχεδιασµένο σύστηµα, τα συστατικά του µέρη δεν είναι τίποτα άλλο παρά µαύρα κουτιά, που λειτουργούν ως δια µαγείας. Κάτι ανάλογο συµβαίνει και µε τον νου. Η ικανότητα µε την οποία συλλογιζόµαστε τον κόσµο, δεν έχει την δυνατότητα να στραφεί µέσα στην ίδια ή σε άλλες για να ελέγξει τι είναι αυτό που την υποκινεί. Αυτό µας καθιστά θύµατα µιας ψευδαίσθησης, νοµίζοντας ότι η ψυχολογία µας προέρχεται από µια θεϊκή δύναµη, από µια µυστηριακή ουσία ή από τον παντοδύναµο θεό.
Κατά τη Εβραϊκή παράδοση των Golem, µια φιγούρα από πηλό πήρε σάρκα και οστά χάρη σε µια επιγραφή µε το όνοµα του Θεού. Το αρχέτυπο αυτό αντηχεί σε πολλές ιστορίες µε ροµπότ. Το άγαλµα της Γαλάτειας ζωντάνεψε ως απάντηση της Αφροδίτης στις προσευχές του Πυγµαλίωνα κι ο Πινόκιο ήρθε στη ζωή από τη Γαλάζια Νεράιδα. Οι σύγχρονες εκδοχές του αρχετύπου του Golem εµφανίζονται σε κάποιες λιγότερο φανταστικές ιστορίες της επιστήµης. Όλη η ανθρώπινη ψυχολογία βασίζεται σε µια µοναδική, παντοδύναµη αρχή: έναν µεγάλο εγκέφαλο, κουλτούρα, γλώσσα, κοινωνικοποίηση, µάθηση, περιπλοκότητα, αυτο-οργάνωση, δυναµική των νευρωνικών δικτύων.
Πρέπει να γίνει σαφές ότι ο νους δεν προέρχεται από κάποια θεϊκή ουσία ή µια θαυµατοποιό δύναµη. Ο νους, όπως το διαστηµόπλοιο «Apollo», είναι σχεδιασµένος για να επιλύει πολλά µηχανικά προβλήµατα και γι’ αυτό είναι εφοδιασµένος από συστήµατα υψηλής τεχνολογίας, το καθένα από τα οποία είναι προορισµένο να αντιµετωπίζει τα δικά του εµπόδια. Θα εκθέσω αυτά τα προβλήµατα τα οποία αποτελούν τις σχεδιαστικές αναζητήσεις για την κατασκευή ενός ροµπότ, καθώς και ένα από τα βασικά ζητήµατα της ψυχολογίας.
Γι’ αυτό πιστεύω ότι η ανακάλυψη των τεχνικών προκλήσεων που πραγµατοποιήθηκε από τη γνωσιακή επιστήµη και την τεχνητή νοηµοσύνη και ήρθε αντιµέτωπη µε τη γήινη νοητική δραστηριότητα, καθίσταται µια από τις µεγαλύτερες αποκαλύψεις της επιστήµης, µια αφύπνιση της φαντασίας ανάλογη µε τη γνώση ότι το σύµπαν αποτελείται από δισεκατοµµύρια γαλαξίες ή ότι µια σταγόνα λιµνάζοντος νερού σφύζει από ζωή.
 
Η Πρόκληση της Κατασκευής Ροµπότ: Τι χρειάζεται για να φτιάξουµε ένα ροµπότ; Ας αφήσουµε στην άκρη τις εξαιρετικά δύσκολες ανθρώπινες ικανότητες, όπως είναι ο υπολογισµός της τροχιάς των πλανητών και ας ξεκινήσουµε µε τις απλούστερες, όπως η όραση, το περπάτηµα, το κράτηµα, η σκέψη για αντικείµενα και ανθρώπους και ο σχεδιασµός ενεργειών.
Στις ταινίες συχνά βλέπουµε κάποιες σκηνές µέσα από τα µάτια ενός ροµπότ χάρη στα κινηµατογραφικά τεχνάσµατα όπως η παραµόρφωση της οπτικής γωνίας των 180 µοιρών (fish eye) ή το σταυρόνηµα. Αυτό είναι ενδιαφέρον για µας τους θεατές που έχουµε λειτουργικά µάτια και εγκέφαλο, αλλά ανώφελο για το εσωτερικό ενός ροµπότ. Το ροµπότ δεν στεγάζει µέσα του ένα πλήθος από ανθρωπάκια –ανθρωπάρια- που κοιτάζουν την εικόνα και λένε στο ροµπότ τι βλέπουν. Αν µπορούσατε να δείτε µε τα µάτια ενός ροµπότ, το αποτέλεσµα δεν θα έµοιαζε µε σκηνή από ταινία, αλλά µε το εξής:
225 221 216 219 219 214 207 218 219 220 207 155 136 135
213 206 213 223 221 223 216 195 156 141 130 206 217 210
130 240 238 233 232 235 255 246 168 156 144 129 127 136

τεχνική που αναπαράγει την οπτική που δηµιουργούν τα pixel.

Κάθε αριθµός αντιπροσωπεύει τη φωτεινότητα µιας από τις εκατοµµύρια κουκίδες, από τις οποίες αποτελείται το οπτικό πεδίο. Τα µικρότερα νούµερα αντιστοιχούν στις σκουρότερες κουκίδες, ενώ τα µεγαλύτερα στις πιο φωτεινές. Τα νούµερα είναι τα πραγµατικά σήµατα, που προέρχονται από µια ηλεκτρονική κάµερα, καθώς εστιάζει πάνω σε ένα ανθρώπινο χέρι, παρ’ όλο που θα µπορούσαν να είναι τα σήµατα από την ενεργοποίηση κάποιων νευρικών ινών που µεταφέρονται από το µάτι προς τον εγκέφαλο καθώς ένας άνθρωπος κοιτάζει ένα χέρι.

Για τον εγκέφαλο ενός ροµπότ–ή ενός ανθρώπου-προκειµένου να αναγνωρίζει τα αντικείµενα και να µην σκοντάφτει πάνω τους, πρέπει να ξεπεράσει τους αριθµούς και να µαντέψει ποιο είδος αντικειµένου προκάλεσε την αντανάκλαση του φωτός και δηµιούργησε αυτούς τους αριθµούς. Το πρόβληµα είναι αρκετά δύσκολο.

Πως λειτουργεί ο Νους; Νευροεπιστήμη, εγκέφαλος, νους και συνείδηση: Αρχικά, το οπτικό σύστηµα πρέπει να εντοπίσει που τελειώνει το αντικείµενο και που αρχίζει το φόντο. Αλλά, ο κόσµος και τα αντικείµενα από τα οποία αποτελείται δεν είναι ένα χρωµατιστό βιβλίο µε µαύρα περιγράµµατα γύρω από µεµονωµένες περιοχές. Ο κόσµος, όπως προβάλλεται στα µάτια µας, είναι ένα ‘µωσαϊκό’ από µικρές κουκίδες διαφόρων αποχρώσεων.

Ίσως κάποιος θα µπορούσε να µαντέψει ότι το οπτικό κέντρο του εγκεφάλου ψάχνει για συγκεκριµένες περιοχές, όπου ένα σύνολο µεγάλων αριθµών (φωτεινότερη περιοχή) συνδέεται µε ένα σύνολο µικρών αριθµών (σκουρότερη περιοχή). Κάτι τέτοιο µπορούµε να διακρίνουµε και στον πίνακα µε τους αριθµούς. Μια νοητή γραµµή τον διατρέχει από πάνω δεξιά προς το κέντρο χαµηλά. ∆υστυχώς, τις περισσότερες φορές δεν έχουµε την δυνατότητα να διακρίνουµε τις άκρες ενός αντικειµένου, όταν αυτό καταλαµβάνει έναν άδειο χώρο. Η αντιπαράθεση µεγάλων και µικρών αριθµών µπορεί να οφείλεται σε πολλές διαφορετικές διατάξεις της ύλης. Αυτό το σχέδιο που επινόησαν οι ψυχολόγοι Pawan Sinha και Edward Adelson παρουσιάζει ένα πλαίσιο από ανοιχτόχρωµα και σκουρόχρωµα γκρι πλακάκια.

Στην πραγµατικότητα είναι ένα ορθογώνιο περίγραµµα σε µια µαύρη επιφάνεια κι εσείς βλέπετε ένα µέρος της κατασκευής. Στην επόµενη εικόνα η επιφάνεια έχει αφαιρεθεί και µπορείτε να δείτε ότι κάθε ζευγάρι εφαπτόµενων γκρι τετραγώνων προέρχεται από µια διαφορετική διάταξη των αντικειµένων.

Πως λειτουργεί ο Νους, αντίληψη – χρώματα

Μεγάλοι αριθµοί δίπλα σε µικρούς µπορεί να σηµαίνουν ότι ένα αντικείµενο στέκεται µπροστά από ένα άλλο, ότι ένα σκούρο χαρτί βρίσκεται πάνω σε ένα λευκό, ότι µια επιφάνεια είναι βαµµένη µε δύο αποχρώσεις του γκρι, ότι δύο αντικείµενα εφάπτονται. Επίσης µπορεί να αναπαριστούν ένα γκρι σελοφάν πάνω σε µια λευκή σελίδα, το εσωτερικό ή το εξωτερικό µιας γωνίας, όταν συναντώνται δύο τοίχοι, ή µία σκιά. Ο εγκέφαλος πρέπει να λύσει µε κάποιο τρόπο το πρόβληµα της αναγνώρισης τρισδιάστατων αντικειµένων µέσω των κόκκων που προβάλλονται στον αµφιβληστροειδή καθώς και το πρόβληµα του προσδιορισµού του είδους του κάθε κόκκου (σκιά ή χρώµα, πτυχή ή επιφάνεια, διαυγές ή θαµπό) µέσω της γνώσης του αντικειµένου στο οποίο αυτός ανήκει.

Οι πραγµατικές δυσκολίες δεν έχουν αντιµετωπιστεί ακόµα. Αφού κατατάξουµε τον οπτικό κόσµο σε αντικείµενα, καλούµαστε να µάθουµε από ποιο υλικό είναι κατασκευασµένα, για παράδειγµα θα πρέπει να είµαστε σε θέση να ξεχωρίζουµε το χιόνι από το κάρβουνο. Με µια πρώτη µατιά το πρόβληµα φαίνεται απλό. Αν οι µεγάλοι αριθµοί προέρχονται από φωτεινές περιοχές και οι µικρότεροι από σκοτεινές, τότε ο µεγάλος αριθµός ισοδυναµεί µε το λευκό, άρα µε το χιόνι και ο µικρός µε το µαύρο και κατ’ επέκταση µε το κάρβουνο. Σωστό; Λάθος. Η ποσότητα φωτός που αντανακλάται σε ένα σηµείο του αµφιβληστροειδούς δεν εξαρτάται µόνο από το πόσο ανοιχτόχρωµο ή σκουρόχρωµο είναι το αντικείµενο, αλλά και από το πόσο λαµπερό ή µουντό είναι το φως, που πέφτει πάνω σε αυτό.

Ένας µετρητής φωτός, όπως αυτοί που χρησιµοποιούν οι φωτογράφοι, θα έδειχνε ότι περισσότερο φως αντανακλάται από το εξωτερικό περίβληµα ενός κοµµατιού από κάρβουνο, παρά από το εσωτερικό µέρος µιας µπάλας χιονιού. Γι’ αυτό οι άνθρωποι απογοητεύονται τόσο συχνά από τις φωτογραφίες τους και γι’ αυτό η φωτογραφία είναι µια τόσο σύνθετη τέχνη. Η κάµερα δεν ψεύδεται. Αν δεν επέµβουµε, αποτυπώνει τις εξωτερικές λήψεις σαν γάλα και τις εσωτερικές σαν λάσπη. Οι φωτογράφοι, και µερικές φορές τα µικροτσίπ µέσα στην κάµερα, αποδίδουν µια ρεαλιστική εικόνα µε τεχνάσµατα όπως ο ρυθµιζόµενος χρονοδιακόπτης, το άνοιγµα του φακού, οι ταχύτητες, τα φλας κι οι χειρισµοί κατά την εµφάνιση.

Το οπτικό µας σύστηµα επιτυγχάνει πολύ περισσότερα. Με κάποιο τρόπο µας επιτρέπει να αναγνωρίζουµε το λαµπερό εξωτερικό χρώµα του κάρβουνου ως µαύρο και το µουντό εσωτερικό χρώµα του χιονιού ως άσπρο. Αυτό είναι ένα θετικό αποτέλεσµα, γιατί η συνειδητή µας γνώση για το χρώµα και τη φωτεινότητα ταιριάζει περισσότερο µε την εικόνα του κόσµου, όπως είναι στην πραγµατικότητα και λιγότερο µε το πώς παρουσιάζεται στα µάτια µας. Η χιονόµπαλα είναι µαλακή και υγρή και έτοιµη να λιώσει είτε βρίσκεται σε εσωτερικό είτε σε εξωτερικό χώρο. Επίσης τη βλέπουµε λευκή είτε βρίσκεται σε εσωτερικό είτε σε εξωτερικό χώρο.

Το κάρβουνο είναι πάντα σκληρό και βρόµικο, συνήθως καίει και πάντα το βλέπουµε µαύρο. Η αρµονία ανάµεσα στο πώς φαίνεται ο κόσµος και στο πώς είναι στην πραγµατικότητα, πρέπει να αποτελεί επίτευγµα µιας νευρωνικής µαγείας, γιατί το µαύρο και το άσπρο δεν αυτοπαρουσιάζονται απλώς στον αµφιβληστροειδή. Σε περίπτωση που είστε ακόµα δύσπιστοι, ορίστε ένα καθηµερινό παράδειγµα. Όταν η τηλεόραση είναι κλειστή, η οθόνη έχει ένα απαλό πρασινωπό γκρι χρώµα. Όταν είναι ανοιχτή, µερικές κουκίδες φωσφόρου εκπέµπουν φως δίνοντας χρώµα στις φωτεινές περιοχές της εικόνας. Στις σκοτεινές περιοχές οι κουκίδες δεν απορροφούν φως και χρώµα και παραµένουν γκρίζες.

Οι µαύρες περιοχές που βλέπετε στην πραγµατικότητα έχουν την απαλή απόχρωση που έχει κι η οθόνη όταν είναι κλειστή. Το µαύρο χρώµα βρίσκεται στη φαντασία µας, είναι ένα προϊόν του εγκεφαλικού κυκλώµατος που µας επιτρέπει να βλέπουµε το κάρβουνο σαν κάρβουνο. Οι κατασκευαστές τηλεοράσεων εκµεταλλεύτηκαν αυτήν την ιδέα του κυκλώµατος όταν σχεδίαζαν την οθόνη.

Το επόµενο πρόβληµα είναι η οπτική αντίληψη του βάθους. Τα µάτια µας έχουν τη δυνατότητα να µεταφράζουν τον τρισδιάστατο κόσµο µας σε ένα ζευγάρι δισδιάστατων εικόνων του αµφιβληστροειδούς, ενώ η τρίτη διάσταση αναδιαµορφώνεται από τον εγκέφαλο. Όµως οι κουκίδες στον αµφιβληστροειδή δεν δίνουν καµιά πληροφορία που να φανερώνει πόσο µακριά είναι µια επιφάνεια. Ένα γραµµατόσηµο πάνω στην παλάµη σας µπορεί να δηµιουργήσει τον ίδιο πίνακα αριθµών στον αµφιβληστροειδή σας, όπως ακριβώς και µια καρέκλα στην άλλη άκρη του δωµατίου ή ένα κτίριο εκατοντάδες µέτρα µακριά.

Μια κοµµένη σανίδα που γίνεται ορατή µετωπικά µπορεί να προβάλλει το ίδιο τραπέζιο σχήµα που προβάλλουν και διάφορες ανισόπλευρες επιφάνειες όταν τους δίνεται κάποια κλίση.

Μπορείτε να καταλάβετε την ισχύ αυτού του γεωµετρικού δεδοµένου και του νευρωνικού µηχανισµού που το επιβεβαιώνει, κοιτάζοντας έντονα για µερικά δευτερόλεπτα µια λάµπα ή µια φωτογραφική µηχανή όταν ανάβει το φλας. Έτσι αποχρωµατίζεται ένα τµήµα του αµφιβληστροειδούς σας. Αν τώρα κοιτάξετε τη σελίδα που βρίσκεται µπροστά σας, σχηµατίζεται µια δεύτερη εικόνα της που φαίνεται να είναι µερικά εκατοστά µακρύτερα. Αν κοιτάξετε τον τοίχο, η µετα-εικόνα τον δείχνει αρκετά µακρύτερο κι αν κοιτάξετε τον ουρανό έχει το µέγεθος ενός σύννεφου.

Τελικά, πώς µπορεί ένας οπτικός αυτόνοµος υποµηχανισµός να αναγνωρίζει τα αντικείµενα που απαρτίζουν τον κόσµο, ώστε να δηµιουργήσουµε ένα ροµπότ που να τα ονοµάζει ή να ανακαλεί τη χρήση τους; Μια προφανής λύση είναι να κατασκευάσουµε ένα πρότυπο ή ένα περίγραµµα που να αντιγράφει το σχήµα κάθε αντικειµένου. Όταν παρουσιάζεται ένα αντικείµενο, η προβολή του στον αµφιβληστροειδή θα ταιριάζει στο πρότυπό του, όπως µια στρογγυλή βίδα σε µια στρογγυλή τρύπα. Το πρότυπο θα πάρει το όνοµα του εκάστοτε σχήµατος – στην συγκεκριµένη περίπτωση, «το γράµµα P» – και κάθε φορά που το αντικείµενο θα ταιριάζει µε το πρότυπο, µέσω του δεύτερου θα προκύπτει και το όνοµα του αντικειµένου.

Μπορεί να αναγνωρίσει το Ρ ακόµα κι όταν δεν υπάρχει. Για παράδειγµα δίνει µια ψεύτικη επιβεβαίωση για το γράµµα R, όπως φαίνεται στο πρώτο τετράγωνο στην εικόνα, που ακολουθεί. Αποτυγχάνει επίσης να αναγνωρίσει το P όταν για παράδειγµα παρουσιάζεται µετατοπισµένο, αντεστραµµένο, πολύ µακριά, πολύ κοντά ή διαφορετικά γραµµένο.

Και βέβαια αυτά τα προβλήµατα προκύπτουν µε ένα απλό γράµµα του αλφαβήτου. Φανταστείτε να προσπαθήσουµε να σχεδιάσουµε έναν µηχανισµό αναγνώρισης µιας µπλούζας ή ενός προσώπου! Για να είµαστε ειλικρινείς, ύστερα από τέσσερις δεκαετίες έρευνας στην τεχνητή νοηµοσύνη, η τεχνολογία που αφορά στην αναγνώριση σχηµάτων έχει βελτιωθεί κατά πολύ. Μπορεί να διαθέτετε ένα πρόγραµµα που έχει τη δυνατότητα να «σαρώσει» µια σελίδα, να αναγνωρίσει την εκτύπωση και να τη µετατρέψει µε λογική ακρίβεια σε ένα αρχείο. Ακόµα όµως οι τεχνητοί µηχανισµοί αναγνώρισης δεν συναγωνίζονται τους ανθρώπινους.

Οι τεχνητοί είναι σχεδιασµένοι για απλές, εύκολα αναγνωρίσιµες λέξεις κι όχι για τον περίπλοκο πραγµατικό κόσµο. Οι παράξενοι αριθµοί στο κάτω µέρος των επιταγών είναι προσεκτικά σχεδιασµένοι ώστε το σχήµα τους να µην συγχέεται µε άλλα και τυπώνονται από ειδική συσκευή που τα τοποθετεί σε τέτοια προκαθορισµένη θέση ώστε να αναγνωρίζονται από τα πρότυπά τους. Όταν εγκατασταθούν στα κτίρια οι πρώτοι ανιχνευτές προσώπου µε σκοπό να αντικαταστήσουν τους θυρωρούς, δεν θα προσπαθήσουν καν να αποδώσουν το κιαροσκούρο του προσώπου σας, αλλά θα «σαρώσουν» τις άκρες και τις βασικές γραµµές της ίριδας ή τα αιµοφόρα αγγεία του αµφιβληστροειδούς σας.

Αντίθετα, ο εγκέφαλός µας κρατάει αρχείο για το σχήµα κάθε προσώπου που γνωρίζουµε (κάθε γράµµατος, ζώου, εργαλείου) και το αρχείο συνδυάζεται µε την εικόνα που προβάλλεται στον αµφιβληστροειδή ακόµα κι όταν αυτή παραµορφώνεται µε όλους τους πιθανούς τρόπους.

Ας δούµε ένα άλλο θαύµα της καθηµερινής ζωής, την κίνηση του σώµατος: Όταν θέλουµε να µετακινήσουµε µια µηχανή, τότε της βάζουµε ρόδες. Η ανακάλυψη του τροχού και κατά συνέπεια της ρόδας θεωρείται το µεγαλύτερο βήµα προόδου του πολιτισµού. Πολλά εγχειρίδια υπογραµµίζουν ότι κανένα ζώο δεν έχει αναπτύξει ρόδες και αναφέρουν το γεγονός για να δείξουν ότι συχνά η εξέλιξη αδυνατεί να βρει την ιδανική λύση σε ένα πρόβληµα µηχανικής. Αυτό όµως δεν αποτελεί καλό παράδειγµα. Ακόµα κι αν η φύση µπορούσε να προνοήσει για έναν τάρανδο µε ρόδες, θα επέλεγε να µην το κάνει.

Οι ρόδες είναι κατάλληλες για έναν κόσµο µε δρόµους και ράγες. Κολλάνε σε µαλακό, γλιστερό, απότοµο ή ανώµαλο έδαφος. Τα πόδια είναι καλύτερα. Οι ρόδες πρέπει να στρέφονται γύρω από έναν αλύγιστο άξονα, ενώ τα πόδια µπορούν να τοποθετηθούν σε µια σειρά από διαφορετικά πατήµατα όπως σε µια σκάλα. Επίσης τα πόδια πατάνε έτσι ώστε να αποφεύγουν τους κλυδωνισµούς και να υπερπηδούν τα εµπόδια. Ακόµα και σήµερα που η γη µοιάζει να έχει µετατραπεί σε έναν τεράστιο χώρο στάθµευσης, µόνο το µισό περίπου της επιφάνειάς της είναι προσπελάσιµο από οχήµατα µε ρόδες ή σιδηροδροµικές γραµµές, ενώ στο µεγαλύτερο µέρος της έχουν πρόσβαση οχήµατα µε πόδια, δηλαδή τα ζώα, τα οχήµατα που έχει σχεδιάσει η φυσική επιλογή.

Όµως τα πόδια κοστίζουν πολύ γιατί πρέπει να διαθέτουν και το κατάλληλο λογισµικό για να τα ελέγχει. Μια ρόδα αλλάζει σταδιακά τη θέση της µόνο µε ένα στρίψιµο και µπορεί συνέχει να σηκώνει βάρος. Ένα πόδι όµως πρέπει να αλλάζει τη θέση του ξαφνικά και, για να γίνει αυτό, το βάρος πρέπει να µετριάζεται. Οι µηχανισµοί που ελέγχουν το πόδι πρέπει να εναλλάσσονται προκειµένου να κρατάνε αφενός το πόδι στο έδαφος καθώς σηκώνει και µετακινεί το βάρος και αφετέρου να µεταθέτουν το βάρος µπροστά για να µπορέσει το πόδι να κινηθεί ελεύθερο.

Στο µεταξύ πρέπει να διατηρούν το κέντρο βάρους του σώµατος µέσα σε ένα νοητό πολύγωνο που διαγράφουν τα πόδια για να µη γέρνει το σώµα. Επιπλέον, οι µηχανισµοί πρέπει να ελαχιστοποιούν τις περιττές κινήσεις, οι οποίες ταλαιπωρούν τους αναβάτες των αλόγων. Στα κουρδιστά παιχνίδια που περπατάνε, αυτά τα προβλήµατα αντιµετωπίζονται µε έναν µηχανικό σύνδεσµο που µετατρέπει έναν περιστρεφόµενο άξονα σε κίνηση βηµατισµού. Τα παιχνίδια όµως δεν µπορούν να προσαρµοστούν στο έδαφος επιλέγοντας τα κατάλληλα πατήµατα.

Ακόµα κι αν λύναµε αυτά τα προβλήµατα, θα είχαµε ανακαλύψει µόνο πώς να ελέγχουµε ένα κινούµενο έντοµο. Ένα έντοµο µε έξι πόδια µπορεί πάντα να κρατάει τα τρία στο έδαφος, καθώς σηκώνει τα άλλα τρία. Είναι σταθερό οποιαδήποτε στιγµή. Ακόµα και τα ζώα µε τέσσερα πόδια, όταν δεν βρίσκονται σε γρήγορη κίνηση µπορούν ανά πάσα στιγµή να κρατάνε τα τρία στο έδαφος. Όµως σύµφωνα µε τη διατύπωση ενός µηχανικού «Η όρθια κίνηση του ανθρώπου είναι εξ ορισµού επισφαλής και απαιτεί έναν εξαιρετικό έλεγχο για να αποβεί λειτουργική».

Όταν περπατάµε, επανειληµµένα χάνουµε το βήµα µας και αποφεύγουµε την πτώση την τελευταία στιγµή. Όταν τρέχουµε, µοιάζουµε να απογειωνόµαστε. Αυτά τα ακροβατικά µας επιτρέπουν να κάνουµε αραιά ή ακανόνιστα βήµατα, τα οποία δεν θα µπορούσαν να µας κρατήσουν όρθιους, να στριµωχνόµαστε σε στενά δροµάκια και να υπερπηδάµε εµπόδια. Αλλά κανένας δεν έχει ανακαλύψει ακόµα πώς το κάνουµε.

Ο έλεγχος του βραχίονα παρουσιάζει µια νέα πρόκληση. Πιάστε τη λάµπα ενός αρχιτέκτονα και µετακινείστε την ευθεία και διαγώνια από κάτω αριστερά σας προς τα πάνω δεξιά σας. Κοιτάξτε τις ραβδώσεις καθώς η λάµπα κινείται. Παρ’ όλο που η λάµπα έχει ευθεία κατεύθυνση, κάθε ράβδωση σχηµατίζει ένα σύνθετο τόξο που άλλοτε χαρακτηρίζεται από έντονη κίνηση κι άλλοτε από στατικότητα, ενώ µερικές φορές η καµπυλόγραµµη κίνηση γίνεται ευθύγραµµη. Τώρα φανταστείτε ότι πρέπει να το κάνετε αντίστροφα. Χωρίς να κοιτάτε το φωτιστικό, πρέπει να χορογραφήσετε µια ακολουθία στροφών που να διαγράφει µια ευθεία κατεύθυνση της λάµπας.

Η τριγωνοµετρία είναι εξαιρετικά δύσκολη αλλά το χέρι σας είναι η λάµπα ενός αρχιτέκτονα κι ο εγκέφαλός σας λύνει χωρίς ιδιαίτερη προσπάθεια τις εξισώσεις κάθε φορά που δείχνετε. Κι αν ποτέ κρατήσετε τη λάµπα ενός αρχιτέκτονα από την κλείδωσή της, θα παραδεχτείτε ότι το πρόβληµα είναι ακόµα πιο δύσκολο απ’ αυτό που περιέγραψα. Η λάµπα γέρνει απ’ το βάρος της σαν να έχει κι η ίδια νου. Έτσι θα έκανε και το χέρι σας αν ο εγκέφαλος δεν αντιστάθµιζε το βάρος της λύνοντας ένα σχεδόν άλυτο πρόβληµα φυσικής.

Ένας ακόµα πιο αξιόλογος άθλος είναι ο έλεγχος του χεριού. Πριν από δύο χιλιάδες χρόνια περίπου ο Έλληνας φυσίατρος Γαληνός επεσήµανε την έξοχη φυσική µηχανική που χαρακτηρίζει το ανθρώπινο χέρι. Πρόκειται για ένα µοναδικό εργαλείο που χειρίζεται αντικείµενα εκπληκτικού φάσµατος µεγεθών, σχηµάτων και βάρους από ένα κούτσουρο µέχρι έναν κόκκο κεχριµπαριού. «Ο άνθρωπος χειρίζεται τα πάντα», τονίζει ο Γαληνός, «σαν να έχουν φτιαχτεί τα χέρια του για κάθε αντικείµενο ξεχωριστά». Το χέρι µπορεί να πάρει τη µορφή γάντζου (για να σηκώσουµε έναν κουβά), ψαλιδιού (για να κρατήσουµε ένα τσιγάρο), γροθιάς (για να κρατήσουµε ένα σφυρί), δίσκου (για να ανοίξουµε ένα δοχείο µε καπάκι) ή σφαίρας (για να κρατήσουµε µια µπάλα).

Επίσης µπορούµε να χρησιµοποιήσουµε και τα πέντε δάχτυλα (για να σηκώσουµε ένα δοχείο), τρία δάχτυλα (για να κρατήσουµε ένα µολύβι), τις άκρες δύο δαχτύλων (για να περάσουµε κλωστή σε µια βελόνα), ή την άκρη του ενός και την πλευρά του άλλου (για να κλειδώσουµε). Κάθε λαβή απαιτεί έναν ακριβή συνδυασµό εκτάσεων των µυών που προσαρµόζουν το χέρι στο σωστό σχήµα και το κρατούν σταθερό παρά το βάρος που έχει την τάση να το κάµπτει.

Φανταστείτε ότι κρατάτε ένα κουτί γάλα. Αν το κρατήσετε χαλαρά, θα πέσει. Αν το κρατήσετε πολύ σφιχτά θα το συνθλίψετε. Αν πάλι το ανακινήσετε ελαφρά, µπορείτε να χρησιµοποιήσετε αυτή την κίνηση των δαχτύλων σας ως κριτήριο για το πόσο γάλα περιέχει! Και δεν συζητάω για τη γλώσσα, ένα µαξιλαράκι χωρίς οστά το οποίο ελέγχεται µόνο από πιέσεις, που µπορεί να απελευθερώσει την τροφή από ένα πίσω δόντι και να αρθρώσει λέξεις όπως αµφιβληστροειδής ή άρθρο.

«Ένας κοινός άνθρωπος θαυµάζει τα ασυνήθιστα πράγµατα, ένας σοφός άνθρωπος θαυµάζει τα συνηθισµένα». Έχοντας στο µυαλό µας το γνωµικό του Κοµφούκιου, ας προχωρήσουµε στην εξέταση απλών ανθρώπινων λειτουργιών µε το ενθουσιώδες βλέµµα ενός κατασκευαστή ροµπότ που επιχειρεί να τις αναπαραγάγει. Υποθέστε ότι έχουµε κατασκευάσει ένα ροµπότ που µπορεί να βλέπει και να κινείται. Πώς θα διαχειριστεί αυτά που βλέπει; Πώς θα αποφασίσει µε ποιον τρόπο θα πράξει;

Ένα νοήµον oν δεν µπορεί να αντιµετωπίζει κάθε αντικείµενο που βλέπει σαν µια µοναδική οντότητα, διαφορετική από οτιδήποτε άλλο στο σύµπαν. Πρέπει να κατηγοριοποιήσει τα αντικείµενα έτσι ώστε να είναι σε θέση να ξαναχρησιµοποιήσει την σκληρά αποκτηθείσα γνώση για παρόµοια αντικείµενα στο µέλλον, που συνάντησε στο παρελθόν. Όµως, κάθε φορά που κάποιος επιχειρεί να φτιάξει ένα πρόγραµµα, µε βάση κάποια κριτήρια, για να συλλάβει όλα τα µέλη µιας κατηγορίας, η κατηγορία καταρρέει.

Ας αφήσουµε στην άκρη αφηρηµένες έννοιες όπως «η οµορφιά» ή «ο διαλεκτικός υλισµός» και ας πάρουµε την σηµασία µιας σχετικά απλής λέξης, όπως «ο εργένης». Ο εργένης είναι φυσικά ένας ενήλικος άντρας, που δεν έχει παντρευτεί ποτέ. Φανταστείτε όµως ότι µια φίλη σάς ζητάει να καλέσετε µερικούς εργένηδες στο πάρτι της. Τι θα συνέβαινε αν χρησιµοποιούσατε το συγκεκριµένο ορισµό για να αποφασίσετε ποιους από τους παρακάτω ανθρώπους θα καλέσετε;

• Ο Αντώνης ζει ευτυχισµένος µε την Μαρία τα τελευταία πέντε χρόνια. Έχουν µια κόρη δύο χρόνων και δεν έχουν παντρευτεί.

• Ο Γιώργος επρόκειτο να απελαθεί, έτσι κανόνισε µε τη φίλη του Βαρβάρα να κάνουν έναν εικονικό πολιτικό γάµο, ώστε να µπορέσει να παραµείνει στη χώρα. ∆εν έχουν ζήσει ποτέ µαζί. Εκείνος βγαίνει µε αρκετές γυναίκες και σκοπεύει να ακυρώσει το γάµο του µόλις βρει την γυναίκα που θα θέλει να παντρευτεί.

• Ο Βασίλης είναι 17 χρόνων. Ζει µε τους γονείς του και είναι µαθητής Γυµνασίου.

• Ο ∆άµων είναι 17 χρονών. Έφυγε από το σπίτι του στα 13 του, ξεκίνησε µια µικρή επιχείρηση και τώρα είναι ένας πετυχηµένος νεαρός επιχειρηµατίας, που απολαµβάνει τη ζωή ενός playboy σε ένα ρετιρέ.

• Ο Ανδρέας και ο Μιχάλης είναι οµοφυλόφιλοι εραστές, που ζουν µαζί εδώ και πολλά χρόνια.

• Ο Φαιζάλ έχει το δικαίωµα σύµφωνα µε τους νόµους της φυλής του να έχει τρεις συζύγους. Έχει αποκτήσει ήδη δύο και ενδιαφέρεται να γνωρίσει την επόµενη υποψήφια µνηστή του.

• Ο πατέρας Γρηγόριος είναι εφηµέριος του καθολικού καθεδρικού ναού του Groton στον Τάµεση.

Η λίστα, την οποία κατήρτισε ο επιστήµονας της πληροφορικής Terry Winograd, φανερώνει ότι ο υποτιθέµενος ορισµός της λέξης «εργένης» απλώς δεν συλλαµβάνει όλες τις πεποιθήσεις µας για το ποιος ανήκει στην κατηγορία αυτή.

Το να γνωρίζουµε ποιος είναι εργένης είναι ζήτηµα κοινής λογικής. Στην κοινή λογική όµως δεν υπάρχει τίποτα κοινό και δεδοµένο. Πρέπει µε κάποιο τρόπο να καλλιεργηθεί στον εγκέφαλο ενός ανθρώπου ή ενός ροµπότ. Η κοινή λογική δεν είναι απλώς ένα εγχειρίδιο για τη ζωή που µπορεί να διδαχθεί από έναν δάσκαλο ή να αποθηκευτεί σαν µια τεράστια βάση δεδοµένων. Καµία βάση δεδοµένων δεν περιέχει όλα τα στοιχεία που γνωρίζουµε και τα οποία δεν έχουµε ποτέ διδαχθεί. Ξέρετε ότι όταν ο Ίων βάζει το σκύλο του στο αυτοκίνητο δεν είναι πλέον στην αυλή. Όταν η Ελένη πηγαίνει στην εκκλησία, το µυαλό της είναι εκεί.

Όταν ο Θέµης βρίσκεται στο σπίτι σηµαίνει ότι έχει ανοίξει το δικό του σπιτικό, εκτός κι αν είναι το πατρικό του και δεν έχει φύγει ποτέ α Σούλα είναι ζωντανή στις 9π.µ. και ισχύει το ίδιο και στις 5µ.µ., τότε ήταν ζωντανή και το µεσηµέρι. Οι ζέβρες δεν φορούν εσώρουχα. Αν ανοίξουµε ένα καινούριο βαζάκι φυστικοβούτυρο δεν θα εξατµιστεί. Οι άνθρωποι δεν βάζουν ποτέ στα αφτιά τους θερµόµετρα για το κρέας. Ένα ποντίκι είναι µικρότερο από το όρος Κιλιµάντζαρο.

Άρα το να παραγεµίσουµε ένα σύστηµα µε τρισεκατοµµύρια πληροφορίες δεν το καθιστά νοήµον. Πρέπει να το εφοδιάσουµε µε µια µικρότερη λίστα κεντρικών εννοιών και ένα σύνολο κανόνων για να εξάγει συµπεράσµατα από αυτές. Είναι όµως εξαιρετικά δύσκολο να εµφυτευτούν οι κανόνες της κοινής λογικής, όπως είναι δύσκολο να εµφυτευτούν και οι κατηγορίες. Ακόµα κι οι πιο απλοί και σαφείς κανόνες αποτυγχάνουν να συλλάβουν την καθηµερινή µας συλλογιστική.

Ο Μιχάλης µένει στο Σικάγο κι έχει ένα γιο ονόµατι Φάνη. Η Μαρία µένει κι αυτή στο Σικάγο κι έχει επίσης ένα γιο ονόµατι Φάνη. Όµως ενώ το Σικάγο, όπου µένει ο Μιχάλης είναι ίδιο µε το Σικάγο, όπου µένει η Μαρία, ο Φάνης, ο γιος του Μιχάλη δεν είναι ίδιος µε τον Φάνη, το γιο της Μαρίας. Αν στο αυτοκίνητό σας υπάρχει µια τσάντα και µέσα σ’ αυτήν πέντε λίτρα γάλα, τότε υπάρχουν πέντε λίτρα γάλα µέσα στο αυτοκίνητο. Αν όµως βρίσκεται ένα άτοµο στο αυτοκίνητό σας και πέντε λίτρα αίµατος µέσα του, θα µας φαινόταν παράξενο να συµπεράνουµε ότι µέσα στο αυτοκίνητο βρίσκονται πέντε λίτρα αίµατος.

Ακόµα κι αν επρόκειτο να διατυπώσετε ένα σύνολο κανόνων για την εξαγωγή συµπερασµάτων που έχουν νόηµα, δεν θα ήταν εύκολο να τους εφαρµόσετε προς την ευφυή καθοδήγηση της συµπεριφοράς σας. Ένας άνθρωπος δεν εφαρµόζει µόνο έναν κανόνα σε κάθε συλλογισµό του, αλλά συνδυασµούς κανόνων. Ένα σπίρτο δίνει φωτιά, ένα πριόνι κόβει ξύλα και µια κλειδωµένη πόρτα ανοίγει µε ένα κλειδί. Γελάµε όµως µε κάποιον που ανάβει ένα σπίρτο για να κοιτάξει µέσα σε ένα ντεπόζιτο µε βενζίνη, µε κάποιον που πριονίζει το ένα πόδι πάνω στο οποίο στέκεται, ή µε κάποιον που κλειδώνει το αυτοκίνητο, αφήνει µέσα τα κλειδιά και για µια ώρα αναρωτιέται να βρει τρόπο για να βγάλει έξω την οικογένειά του. Ένας σκεπτόµενος άνθρωπος πρέπει να υπολογίσει όχι µόνο τις άµεσες, αλλά και τις έµµεσες συνέπειες µιας πράξης.

Ένας σκεπτόµενος άνθρωπος δεν είναι επίσης δυνατόν να προβλέπει όλες τις έµµεσες συνέπειες. Ο φιλόσοφος Daniel Dennett µας προτείνει να φανταστούµε ένα ροµπότ σχεδιασµένο για να φέρει µια µπαταρία από ένα δωµάτιο, στο οποίο επίσης βρίσκεται και µια ωρολογιακή βόµβα. Το ροµπότ τύπου 1 είδε ότι η µπαταρία βρισκόταν σε ένα µικρό βαγόνι κι ότι αν το τραβούσε έξω από το δωµάτιο θα µετέφερε και την µπαταρία µαζί µ’ αυτό.

∆υστυχώς, πάνω στο βαγόνι βρισκόταν και η βόµβα και το ροµπότ δεν µπόρεσε να συµπεράνει ότι τραβώντας το βαγόνι θα µετέφερε και τη βόµβα προς τα έξω. To ροµπότ τύπου 2 προγραµµατίστηκε για να υπολογίσει όλες τις δευτερογενείς συνέπειες των πράξεών του. Μόλις είχε ολοκληρώσει το συλλογισµό ότι µε το να τραβήξει το βαγόνι δεν θα αλλάξει το χρώµα των τοίχων του δωµατίου και αποδείκνυε ότι ο αριθµός των περιστροφών των τροχών θα ξεπερνούσε τον αριθµό των ίδιων των τροχών του βαγονιού, όταν η βόµβα εξερράγη.

Το ροµπότ τύπου 3 προγραµµατίστηκε για να διακρίνει ανάµεσα σε σχετικά και άσχετα συµπεράσµατα ως προς τη λειτουργία που πρέπει να επιτελέσει. Κάθισε εκεί και άρχισε να υπολογίζει εκατοµµύρια πιθανές εκβάσεις κατηγοριοποιώντας όλες τις σχετικές µε το έργο σε µια λίστα δεδοµένων που θα έπρεπε να ληφθούν υπόψη και όλες τις άσχετες σε µια λίστα δεδοµένων που µπορούν να αγνοηθούν όσο η βόµβα µετρούσε το χρόνο.

Ένα νοήµον ον πρέπει να εξάγει συµπεράσµατα απ’ αυτά που ήδη γνωρίζει, αλλά µόνο τα σχετικά συµπεράσµατα. Ο Dennett επισηµαίνει ότι αυτή η απαίτηση θέτει ένα σοβαρό πρόβληµα όχι µόνο για τη ροµποτική, αλλά και για την επιστηµολογία, την ανάλυση του τρόπου µε τον οποίο γνωρίζουµε. Το πρόβληµα διέφυγε της προσοχής πολλών γενεών φιλοσόφων οι οποίοι είχαν µέχρι τότε αρκεστεί στην απατηλή ευκολία της δικής τους κοινής λογικής. Μόνο όταν οι ερευνητές της τεχνητής νοηµοσύνης επιχείρησαν να προσοµοιώσουν την κοινή λογική µε τους υπολογιστές, προέκυψε το λεγόµενο σήµερα «πρόβληµα του πλαισίου». Παρ’ όλα αυτά, µε κάποιον άγνωστο τρόπο όλοι λύνουµε «το πρόβληµα του πλαισίου» κάθε φορά που χρησιµοποιούµε την κοινή µας λογική.

Ας φανταστούµε ότι µε κάποιο τρόπο ξεπερνάµε αυτές τις προκλήσεις και κατασκευάζουµε µια µηχανή µε όραση, κινητικό συντονισµό και κοινή λογική. Τώρα πρέπει να σκεφτούµε πώς θα χρησιµοποιήσει αυτές τις ικανότητες. Πρέπει να της δώσουµε κίνητρα.

Τι θα ήθελε ένα ροµπότ; Η κλασική απάντηση έχει δοθεί από τον Isaac Asimov, στο έργο του «Θεµελιώδεις Κανόνες της Ροµποτικής» «Τρεις νόµοι, που είναι χαραγµένοι βαθιά µέσα στον ποζιτρονικό εγκέφαλο του ροµπότ».

1. Ένα ροµπότ απαγορεύεται να πληγώσει άνθρωπο ή να επιτρέψει, λόγω δικής του αδράνειας, να πάθει κακό κάποιος άνθρωπος.

2. Ένα ροµπότ πρέπει να υπακούει στις εντολές των ανθρώπινων πλασµάτων, εκτός εάν αυτές οι εντολές έρχονται σε αντίθεση µε τον πρώτο νόµο.

3. Ένα ροµπότ πρέπει να προστατεύει την ύπαρξή του εφόσον η προστασία του δεν έρχεται σε αντίθεση µε τον πρώτο ή τον δεύτερο νόµο.

Ο Αsimov πολύ έξυπνα παρατήρησε ότι το ένστικτο της αυτοσυντήρησης, αυτή η καθολική βιολογική προσταγή, δεν γεννάται αυτόµατα σε ένα πολύπλοκο σύστηµα. Πρέπει να προγραµµατιστεί γι’ αυτό το σκοπό (στην προκειµένη περίπτωση τον τρίτο νόµο). Άλλωστε, είναι το ίδιο εύκολο να κατασκευάσουµε ένα ροµπότ που πηγαίνει … . Ίσως µάλιστα να είναι ευκολότερη. Αρκετές φορές, οι κατασκευαστές ροµπότ αντικρίζουν µε τρόµο τις δηµιουργίες τους καθώς διαµελίζονται µε ευθυµία ή συγκρούονται σε τοίχους, ενώ οι πύραυλοι «Κamikaze» κι οι έξυπνες βόµβες διεκδικούν ένα υψηλό ποσοστό ανάµεσα στις ευφυέστερες µηχανές του κόσµου.

Όµως η ανάγκη των άλλων δύο νόµων δεν είναι κατανοητή. Γιατί να δώσουµε σε ένα ροµπότ τη διαταγή να ακολουθεί εντολές – δεν αρκούν οι βασικές εντολές; Γιατί να το διατάξουµε να µην κάνει κακό – δεν θα ήταν ευκολότερο να µην χρειάζεται ποτέ να το διατάξουµε να µην κάνει κακό; Μήπως υπάρχει στο σύµπαν µια µυστηριώδης δύναµη που ωθεί τις οντότητες προς το κακό έτσι ώστε ένας ποζιτρονικός εγκέφαλος να πρέπει να προγραµµατιστεί να αντισταθεί σ’ αυτό; Μήπως τα ευφυή όντα αναπόφευκτα αναπτύσσουν προβληµατικές στάσεις;

Σε αυτή την περίπτωση ο Asimov, όπως ολόκληρες γενιές επιστηµόνων, όπως και όλοι εµείς, δεν κατάφερε να σταθεί αντικειµενικά απέναντι στις δικές του νοητικές διαδικασίες και να τις δει ως επινοήσεις σχετικά µε το πώς είναι διαρθρωµένος ο νους µας, κι όχι ως αναπόδραστους νόµους του σύµπαντος. Η δυνατότητα του ανθρώπου να πράττει το κακό δεν είναι κάτι που ο νους µας αποκλείει και είναι εύκολο να σκεφτούµε πως το κακό συµβαδίζει µε την ευφυΐα ως αναπόσπαστο µέρος της ίδιας της φύσης της.

Πρόκειται για ένα επαναλαµβανόµενο θέµα της πολιτιστικής µας παράδοσης: ο Αδάµ κι η Εύα που έφαγαν τον καρπό από το δέντρο της γνώσης, η φωτιά του Προµηθέα και το κουτί της Πανδώρας, ο οργισµένος Γκόλεµ, η συµφωνία του Φάουστ, ο Μαθητευόµενος Μάγος, οι περιπέτειες του Πινόκιο, ο Frankenstein, οι φονικοί πίθηκοι και ο στασιαστής HAL της ταινίας «2001:Η Οδύσσεια του ∆ιαστήµατος». Από το 1950 και κατά τη διάρκεια της δεκαετίας του 1980, αµέτρητες ταινίες συνέλαβαν έναν κοινό φόβο απέναντι στην ιδέα ότι τα εξωτικά κατασκευάσµατα της εποχής µας θα µπορούσαν να γίνουν εξυπνότερα και δυνατότερα και κάποια µέρα να στραφούν εναντίον µας.

Τώρα που οι υπολογιστές έχουν όντως γίνει εξυπνότεροι και δυνατότεροι, το άγχος έχει εξασθενήσει. Οι σηµερινοί πανταχού παρόντες, ή δικτυωµένοι υπολογιστές διαθέτουν µια πρωτοφανή ικανότητα να πράξουν το κακό, εάν ποτέ χρειαστεί. Όµως αυτό θα µπορούσε να προέλθει µόνο από το απρόβλεπτο χάος, ή από την κακία του ανθρώπου µε τη µορφή ιών.

∆εν ανησυχούµε πλέον για ηλεκτρονικούς δολοφόνους ή ανατρεπτικές µηχανορραφίες σιλικόνης, επειδή αρχίζουµε να εκτιµούµε ότι το κακό – όπως η όραση, ο κινητικός συντονισµός κι η κοινή λογική – δεν αποτελεί φυσικό επακόλουθο του υπολογισµού, αλλά είναι κάτι που πρέπει να το προγραµµατίσουµε. Ο υπολογιστής που τρέχει το Word Perfect στο γραφείο σας, θα συνεχίσει να συµπληρώνει παραγράφους όσο λειτουργεί. Το λογισµικό του δεν πρόκειται να διαφθαρεί ύπουλα όπως το πορτρέτο του Ντόριαν Γκρέι.

Ακόµα κι αν µπορούσε, γιατί να θέλει να το κάνει; Προς τι; Για περισσότερες δισκέτες; Για να ελέγχει το εθνικό σύστηµα σιδηροδροµικών σταθµών; Για να ικανοποιήσει την επιθυµία να διαπράξει αλόγιστη βία απέναντι στους επισκευαστές των εκτυπωτών; Και δεν θα έπρεπε να ανησυχεί για τα αντίποινα των τεχνικών που µε ένα κατσαβίδι θα µπορούσαν να το κάνουν να τραγουδάει αξιολύπητα ‘‘A bicycle built for Τwo’’;

Ίσως ένα δίκτυο υπολογιστών θα µπορούσε να ανατρέξει στην ασφάλεια των αριθµών και να συνωµοτήσει υπέρ µιας οργανωµένης κατάληψης της εξουσίας – αλλά τι θα έκανε έναν υπολογιστή να πάρει την πρωτοβουλία να καταστρέψει διεθνή πακέτα δεδοµένων και να ρισκάρει ένα πρώιµο µαρτύριο; Και τι θα απέτρεπε την υπονόµευση του συνασπισµού από ανυπότακτους στρατιώτες και αντιρρησίες συνείδησης; Η επιθετικότητα, όπως και κάθε άλλη πλευρά του ανθρώπου την οποία θεωρούµε δεδοµένη, αποτελεί ένα προκλητικό πρόβληµα µηχανικής.

Υπάρχουν, όµως, και ευγενέστερα κίνητρα. Με ποιο τρόπο θα σχεδιάζατε ένα ροµπότ που να υπακούει στην εντολή του Asimov σύµφωνα µε την οποία ποτέ δεν επιτρέπεται να πάθει κακό κάποιος άνθρωπος λόγω της αδράνειας του ροµπότ; Η νουβέλα του Michael Frayn ‘‘The Tin Men’’ (1965) εκτυλίσσεται στον Τοµέα ∆εοντολογίας ενός εργαστηρίου ροµποτικής κι οι µηχανικοί Macintosh, Goldwasser και Sinson ελέγχουν τον αλτρουισµό των ροµπότ τους.

Ακολούθησαν κατά γράµµα το υποθετικό δίληµµα που αναφέρει κάθε εγχειρίδιο ηθικής φιλοσοφίας κατά το οποίο δύο άνθρωποι βρίσκονται σε µία ναυαγοσωστική βάρκα για ένα άτοµο και θα πεθάνουν κι οι δύο εκτός εάν πέσει στο νερό ο ένας απ’ τους δύο. Έτσι τοποθετούν κάθε ροµπότ µαζί µε άλλον έναν επιβάτη σε µια σχεδία την οποία ρίχνουν σε µια δεξαµενή και παρακολουθούν τι θα συµβεί.

Κατά την πρώτη δοκιµή, ο Samaritan 1 έπεσε στο νερό µε µεγάλη προθυµία για να σώσει όµως οτιδήποτε βρισκόταν δίπλα του, από 42 κιλά φασόλια µέχρι 72 κιλά υγρά φύκια. Ύστερα από έντονη συζήτηση πολλών εβδοµάδων, ο Macintosh παραδέχτηκε ότι η έλλειψη κρίσης ήταν µη ικανοποιητική και εγκατέλειψε τον Samaritan1 για να προωθήσει τον Samaritan 2, ο οποίος θα θυσίαζε τον εαυτό του µόνο για έναν οργανισµό τουλάχιστον τόσο πολύπλοκο όσο ο ίδιος.

Η σχεδία σταµάτησε κι έκανε µερικές περιστροφές λίγα εκατοστά πάνω απ’ το νερό.

«Ρίξτε την» φώναξε ο Macintosh. Η σχεδία έπεσε στο νερό µε έναν απότοµο κρότο. Ο Sinson κι ο Samaritan έµειναν τελείως ακίνητοι. Σταδιακά η σχεδία σταθεροποιήθηκε στο νερό µέχρι που ένα µικρό κύµα άρχισε να βρέχει το πάνω µέρος της. Αµέσως ο Samaritan έσκυψε µπροστά και άρπαξε το κεφάλι του Sinson. Με τέσσερις απλές κινήσεις µέτρησε το µέγεθος του κρανίου του και µετά σταµάτησε για να κάνει τον υπολογισµό. Όταν τελείωσε, µε ένα αποφασιστικό κλικ, κύλησε µέχρι την άκρη της σχεδίας και βυθίστηκε στον πάτο της δεξαµενής χωρίς δισταγµό. Εντούτοις, καθώς τα ροµπότ Samaritan 2 ανέπτυσσαν την ηθική συµπεριφορά που περιγράφουν τα φιλοσοφικά βιβλία, άρχισε να γίνεται όλο και πιο αµφίβολο αν όντως είχαν ηθική.

Ο Macintosh εξήγησε γιατί δεν έδεσε απλώς µε ένα σκοινί το αυτοθυσιαζόµενο ροµπότ ώστε να ανασυρθεί ευκολότερα: «∆εν ήθελα να γνωρίζει ότι θα σωθεί. Κάτι τέτοιο θα ακύρωνε την απόφασή του να θυσιαστεί….Έτσι, πού και πού αφήνω κάποιο µέσα αντί να το ψαρεύω για να δείξω στα άλλα ότι µιλάω σοβαρά. Αυτή την εβδοµάδα αχρήστευσα δύο». Αν συλλογιστούµε τι προϋποθέτει ο προγραµµατισµός της καλοσύνης σε ένα ροµπότ, βλέπουµε όχι µόνο πόσος µηχανισµός είναι αναγκαίος για να είναι κανείς καλός, αλλά και πόσο δύσκολο είναι να εργαστούµε µε µια τόσο αφηρηµένη έννοια.

Και τι θα µπορούσαµε να πούµε για το πιο ενδιαφέρον κίνητρο απ’ όλα; Οι άβουλοι υπολογιστές της pop κουλτούρας του 1960 δεν δελεάζονταν µόνο από τον αλτρουισµό και τη δύναµη όπως βλέπουµε στο τραγούδι ‘‘Automation’’ του κωµικού Alan Sherman σε διασκευή της µελωδίας του ‘‘Fascination’’:

Ήταν αυτοµατισµός, το ξέρω.

Αυτό ήταν που κινούσε το εργοστάσιο. Ήταν IBM, ήταν Univac.

Ήταν όλα αυτά τα γρανάζια που σφυροκοπούσαν ρυθµικά, αγάπη µου.

Νόµιζα ότι ο αυτοµατισµός ήταν καλός.

Μέχρι που αντικαταστάθηκες από µια δεκάτονη µηχανή.

Ένας υπολογιστής µας χώρισε, αγάπη µου,

Ο αυτοµατισµός µου ράγισε την καρδιά…

Ήταν αυτοµατισµός, µου είπαν,

Γι’ αυτό µε απέλυσαν και είµαι έξω, στο κρύο. Πού να ήξερα ότι όταν το 503

Άρχισε να ανοιγοκλείνει τα βλέφαρα, το έκανε για µένα, αγάπη µου;

Νόµιζα ότι ήταν απλώς κάποια παρεξήγηση Όταν ήρθε δειλά και κάθισε στα πόδια µου.

Όταν όµως µου είπε «σ’ αγαπώ» και µε αγκάλιασε, αγάπη µου Τότε τράβηξα… την πρίζα του.

Πέρα από όλη την φεγγαροχτυπηµένη τρέλα της, η αγάπη δεν είναι ούτε ζιζάνιο, ούτε σύγκρουση, ούτε δυσλειτουργία. Ο νους µας δεν είναι ποτέ τόσο υπέροχα συγκεντρωµένος όσο όταν ερωτευόµαστε και πρέπει να γίνονται πολύπλοκοι υπολογισµοί που έχουν ως αποτέλεσµα την περίεργη λογική της έλξης, της ερωτικής τρέλας, της ερωτοτροπίας, της ντροπαλότητας, της παράδοσης, της αφοσίωσης, της κακίας, του φλερτ, της ζήλιας, της εγκατάλειψης και του χωρισµού. Και στο τέλος, όπως συνήθιζε να λέει η γιαγιά µου, κύλησε ο τέντζερης και βρήκε το καπάκι.

Οι περισσότεροι άνθρωποι –συµπεριλαµβανοµένων όλων των προγόνων µας – καταφέρνουν να ζευγαρώσουν ώστε να φέρουν στον κόσµο γερά παιδιά. Σκεφτείτε πόσες προσπάθειες προγραµµατισµού θα χρειάζονταν για να προσοµοιωθεί αυτό!

Ο σχεδιασµός ενός ροµπότ αποτελεί ένα είδος συνειδησιακής αφύπνισης. Έχουµε την τάση να υποβαθµίζουµε την ευκολία της νοητικής µας ζωής. Ανοίγουµε τα µάτια µας και αντικρίζουµε οικεία αντικείµενα. Κινούµε τα µέλη µας κατά βούληση και έτσι σώµατα και αντικείµενα κινούνται µέσα στο χώρο. Ξυπνάµε από ένα όνειρο και επιστρέφουµε σε έναν ασφαλή προβλέψιµο κόσµο. Ο Έρωτας τεντώνει το τόξο του και αφήνει ελεύθερο το βέλος του.

Σκεφτείτε όµως τι χρειάζεται ένα κοµµάτι ύλης για να επιτύχει αυτά τα απρόβλεπτα αποτελέσµατα και τότε θα αντιληφθείτε την ψευδαίσθηση. Η όραση, η κίνηση, η κοινή λογική, η βία, η ηθικότητα κι η αγάπη δεν είναι τυχαία, ανεξερεύνητα στοιχεία µιας νοήµονος ουσίας, ούτε µια αναπόδραστη επεξεργασία πληροφοριών. Κάθε τέτοιο στοιχείο είναι ένα επίτευγµα επιτελούµενο από ένα σχεδιασµό υψηλού επιπέδου. Κρυµµένος πίσω από τα πέπλα της συνείδησης φαντάζει σαν ένας τροµερά σύνθετος µηχανισµός –οπτική ανάλυση, συστήµατα καθοδήγησης της κίνησης, προσοµοίωση του κόσµου, βάσεις δεδοµένων για ανθρώπους και πράγµατα, προγράµµατα στοχοθεσίας, λύση συγκρούσεων και πολλά άλλα.

Οποιαδήποτε εξήγηση για τη λειτουργία του νου η οποία τρέφει ευσεβείς πόθους να παραπέµπει σε µια µοναδική µεγαλειώδη δύναµη ή σε ένα ελιξίριο του νου όπως ο «πολιτισµός», η «µάθηση», ή η «αυτο-οργάνωση», ακούγεται επιφανειακή και δεν ανταποκρίνεται στις απαιτήσεις του ανηλεούς σύµπαντος το οποίο αντιµετωπίζουµε µε τόση επιτυχία.

Η πρόκληση της κατασκευής ροµπότ παραπέµπει σε έναν νου παραγεµισµένο µε πρωτότυπα εξαρτήµατα, αν και αυτό µπορεί να δίνει την εντύπωση ενός επιχειρήµατος που έχει διατυπωθεί εκ του ασφαλούς. Μπορούµε όντως να βρούµε στοιχεία αυτής της πολυπλοκότητας όταν κοιτάζουµε ευθέως τον µηχανισµό του νου και τα µέρη που τον απαρτίζουν; Πιστεύω πως ναι, και αυτό που βλέπουµε είναι τόσο προκλητικό όσο και η ίδια η πρόκληση των ροµπότ.

Όταν, για παράδειγµα, οι οπτικές περιοχές καταστρέφονται, ο οπτικός κόσµος δεν είναι απλώς θαµπός ή διάτρητος. Συγκεκριµένες πτυχές της οπτικής εµπειρίας εξαφανίζονται ενώ άλλες παραµένουν άθικτες. Ορισµένοι ασθενείς βλέπουν ολόκληρο το περιβάλλον, προσέχουν όµως µόνο το µισό. Τρώνε µόνο από τη δεξιά πλευρά του πιάτου, ξυρίζουν µόνο το δεξί µάγουλο και ζωγραφίζουν ένα ρολόι µε δώδεκα ψηφία στριµωγµένα στο δεξί µισό. Άλλοι ασθενείς χάνουν την αίσθηση του χρώµατος, αλλά δεν βλέπουν τον κόσµο σαν µια ασπρόµαυρη ταινία.

Οι επιφάνειες τους φαίνονται µουτζουρωµένες και γκρίζες, ενώ η διάθεση κι η λίµπιντό τους µειώνεται. Άλλοι µπορούν να δουν τα αντικείµενα να αλλάζουν θέσεις, αλλά δεν µπορούν να τα δουν να µετακινούνται – ένα σύνδροµο το οποίο κάποτε ένας φιλόσοφος προσπάθησε να µε πείσει ότι ήταν λογικά αδύνατο! Η σταγόνα δεν κυλάει στην τσαγιέρα, αλλά µοιάζει µε σταλακτίτη. Το φλιτζάνι δεν γεµίζει σταδιακά µε τσάι, αλλά τη µια στιγµή είναι άδειο και την άλλη ξαφνικά γεµίζει.

Άλλοι ασθενείς δεν µπορούν να αναγνωρίσουν τα αντικείµενα που βλέπουν. Ο κόσµος τους είναι σαν ένας τρόπος γραφής που δεν µπορούν να αποκρυπτογραφήσουν. Αντιγράφουν πιστά ένα πουλί αλλά το αναγνωρίζουν ως κούτσουρο. Ένας αναπτήρας αποτελεί µυστήριο µέχρι να ανάψει. Όταν προσπαθούν να καθαρίσουν τον κήπο, ξεριζώνουν τα τριαντάφυλλα. Μερικοί ασθενείς µπορούν να αναγνωρίσουν άψυχα αντικείµενα, όχι όµως πρόσωπα.

Ο ασθενής συµπεραίνει ότι το πρόσωπο στον καθρέφτη πρέπει να είναι δικό του, αλλά δεν έχει την αίσθηση της αναγνώρισης του εαυτού. Στο πρόσωπο του John F. Kennedy αναγνωρίζει τον Martin Luther King και ζητάει από τη σύζυγό του να φορέσει µια κορδέλα σε ένα πάρτι προκειµένου να τη βρει όταν έρθει η ώρα να φύγουν. Ακόµα πιο παράξενη είναι η περίπτωση του ασθενούς που αναγνωρίζει το πρόσωπο αλλά όχι το άτοµο· βλέπει τη σύζυγό του σαν έναν απίστευτα πειστικό απατεώνα.

Αυτά τα σύνδροµα οφείλονται σε κάποιο ατύχηµα, συνήθως σε εγκεφαλικό, σε µια ή περισσότερες από τις τριάντα εγκεφαλικές περιοχές που αποτελούν το οπτικό σύστηµα των πρωτευόντων. Ορισµένες περιοχές είναι εξειδικευµένες ως προς το χρώµα και τη µορφή ενός αντικειµένου, άλλες ως προς τη θέση του, άλλες ως προς τη φύση του, ενώ άλλες ως προς την κίνησή του. Ένα ροµπότ µε όραση δεν µπορεί απλώς να κατασκευαστεί µε το οπτικό φάσµα των 180 µοιρών (fish-eye) που χρησιµοποιείται στις ταινίες και δεν µας εκπλήσσει το γεγονός ότι ούτε οι άνθρωποι είναι φτιαγµένοι έτσι. Όταν παρατηρούµε το περιβάλλον, δεν αντιλαµβανόµαστε τα πολλά επίπεδα του µηχανισµού που βρίσκεται πίσω από την ενοποιηµένη µας οπτική εµπειρία µέχρι κάποια νευρολογική ασθένεια να µας φανερώσει αυτήν την εξειδίκευση.

Μια άλλη προέκταση της προοπτικής µας προέρχεται από τις εκπληκτικές οµοιότητες ανάµεσα στους µονοζυγωτικούς διδύµους, που µοιράζονται τον ίδιο γενετικό κώδικα που είναι υπεύθυνος για τον νου τους. Οι εγκέφαλοί τους είναι εντυπωσιακά όµοιοι, όχι µόνο ως προς αδρά χαρακτηριστικά όπως ο δείκτης νοηµοσύνης και γνωρίσµατα προσωπικότητας σαν τον νευρωτισµό και την εσωστρέφεια. Μοιάζουν στα ταλέντα όπως η ορθογραφία και τα µαθηµατικά, στις απόψεις σε ζητήµατα όπως το φυλετικό, η θανατική ποινή κι οι εργαζόµενες µητέρες, στην επιλογή επαγγέλµατος, στις συνήθειες, στα ελαττώµατα, στα θρησκευτικά πιστεύω και στην επιλογή συντρόφου.

Οι µονοζυγώτες µοιάζουν πολύ περισσότερο απ’ ό,τι οι διζυγώτες που µοιράζονται µόνο µισό από τον γενετικό τους κώδικα και το πιο εντυπωσιακό είναι ότι µοιάζουν σχεδόν το ίδιο τόσο όταν µεγαλώνουν χωριστά όσο κι όταν µεγαλώνουν µαζί. Οι µονοζυγωτικοί δίδυµοι που χωρίζονται κατά τη γέννηση µοιράζονται χαρακτηριστικά όπως το να µπαίνουν στο νερό ανάποδα και µόνο µέχρι τα γόνατα, να απέχουν από τις εκλογές επειδή αισθάνονται ελλιπώς πληροφορηµένοι, να απαριθµούν µε εµµονή ό,τι εµπίπτει στο οπτικό τους πεδίο, να ηγούνται του εθελοντικού πυροσβεστικού σώµατος και να αφήνουν διάσπαρτα στο σπίτι µικρά ερωτικά σηµειώµατα στις συζύγους τους.

Οι άνθρωποι θεωρούν αυτές τις ανακαλύψεις εκπληκτικές, αν όχι απίστευτες. Τα ευρήµατα γεννούν σπέρµατα αµφιβολίας στην ιδέα του αυτόνοµου ‘‘εγώ’’ που όλοι νιώθουµε να πλανάται γύρω από το σώµα µας, κάνοντας επιλογές καθώς προχωράµε στη ζωή και καθώς επηρεαζόµαστε όχι µόνο απ’ το προηγούµενο αλλά και απ’ το παρόν περιβάλλον. Σίγουρα ο νους δεν είναι εξαρχής εφοδιασµένος µε τόσα πολλά µικρά κοµµάτια γνώσης ώστε να µας προειδοποιεί να τραβάµε το καζανάκι πριν και αφού χρησιµοποιήσουµε την τουαλέτα ή να φταρνιζόµαστε παιχνιδιάρικα σε γεµάτα µε κόσµο ασανσέρ, για να αναφέρω άλλα δύο χαρακτηριστικά που µοιράζονται οι µονοζυγωτικοί δίδυµοι που µεγαλώνουν χωριστά. Αλλά προφανώς το κάνει.

Οι σηµαντικές επιδράσεις των γονιδίων παρουσιάζονται στα αποτελέσµατα πλήθους ερευνών και αναδεικνύονται ανεξάρτητα από τον τρόπο µε τον οποίο ερευνώνται: συγκρίνοντας διδύµους που έχουν µεγαλώσει ξεχωριστά και διδύµους που έχουν µεγαλώσει µαζί, συγκρίοντας µονοζυγωτικούς και διζυγωτικούς διδύµους, ή συγκρίνοντας υιοθετηµένα και φυσικά παιδιά. Παρά τις κριτικές, τα αποτελέσµατα δεν είναι προϊόντα σύµπτωσης, απάτης ή λεπτών οµοιοτήτων µέσα στο οικογενειακό περιβάλλον (όπως π.χ. γραφεία υιοθεσίας που προσπαθούν να εντάξουν µονοζυγώτες διδύµους αδελφούς σε οικογένειες που και οι δύο ενθαρρύνουν το να µπαίνει κανείς ανάποδα στη θάλασσα).

Βέβαια, τα ευρήµατα µπορούν να παρερµηνευτούν µε πολλούς τρόπους, όπως µε το να φανταζόµαστε ότι υπάρχει ένα γονίδιο υπεύθυνο για να αφήνουµε µικρά ερωτικά σηµειώµατα σε διάφορες µεριές του σπιτιού ή µε το να συµπεραίνουµε ότι οι άνθρωποι µένουν ανεπηρέαστοι από τις εµπειρίες τους. Και επειδή αυτή η έρευνα µπορεί να µετρήσει µόνο το πώς οι άνθρωποι διαφέρουν µεταξύ τους, µας δίνει λίγες πληροφορίες για το σχεδιασµό του νου ο οποίος είναι κοινός σε όλους τους φυσιολογικούς ανθρώπους. Όµως µε το να αποδεικνύεται το πόσο διαφοροποιείται ο νους ως προς την έµφυτη δοµή του, οι ανακαλύψεις µάς διαφωτίζουν για το πόσα πολλά δοµικά στοιχεία πρέπει να τον αποτελούν.

Δεν υπάρχουν σχόλια :

Δημοσίευση σχολίου