Περιοχές Απόφασης και Εκπαίδευση Αισθητήρων

Θέμα 4: Περιοχές Απόφασης και Εκπαίδευση Αισθητήρων

Θεωρήστε ότι έχετε το σύνολο διδιάστατων δεδομένων (x,y) που φαίνονται στο παρακάτω σχήμα.

Υπάρχουν συνολικά 7 κλάσεις δεδομένων, η  κόκκινη, η  ροζ, η  πράσινη, η  καφέ, η  μπλε, η  μωβ  και η
κίτρινη. Παρατηρείτε ότι με τη βοήθεια των γραμμών απόφασης Α, Β και Γ, οι κλάσεις διαχωρίζονται,
δηλαδή  σε  κάθε  περιοχή  από  αυτές  που  ορίζονται  μέσω  των  γραμμών  απόφασης,  να  υπάρχουν
δεδομένα  μόνο  μίας  κλάσης.  Πρέπει  να  επιλύσετε  αυτό  το  πρόβλημα  της  κατηγοριοποίησης  μέσω
ενός δικτύου αισθητήρων που ακολουθούν τη συνάρτηση McCulloch-Pits με εξόδους 1 και 0.
Α. Επιλογή αρχιτεκτονικής [5 μονάδες]
(i)  Ποια από τις τρεις αρχιτεκτονικές δικτύου αισθητήρων, που φαίνονται στη συνέχεια, η 1, η 2
ή  η  3,  είναι  η  ελάχιστη  δυνατή  για  να  επιλύσει  το  προηγούμενο  πρόβλημα;  Υπόψη,  οι
αισθητήρες Α, Β και Γ του κρυφού επιπέδου, αντιστοιχούν στις γραμμές απόφασης Α, Β και Γ
του προηγούμενο σχήματος. Αιτιολογήστε την απάντησή σας.

(ii)  Υποθέστε τώρα ότι οι κλάσεις  ροζ  και  μπλε  ενοποιούνται σε μία, την  ροζ-ή-μπλε, οι κλάσεις 

πράσινη  και  μωβ  ενοποιούνται  στην  πράσινη-ή-μωβ  και  οι  κλάσεις  καφέ  και  κίτρινη

ενοποιούνται στην καφέ-ή-κίτρινη. Δηλαδή, πλέον, έχουμε 4 κλάσεις δεδομένων, την  κόκκινη, 

την ροζ-ή-μπλε, την πράσινη-ή-μωβ και την καφέ-ή-κίτρινη. Απαντήστε πάλι στο προηγούμενο 

ερώτημα, αιτιολογώντας την απάντησή σας, δηλαδή ποια είναι η ελάχιστη αρχιτεκτονική που 

επιλύει το νέο πρόβλημα.

(iii)  Τέλος, ενοποιήστε και τις τρεις νέες κλάσεις που προέκυψαν στο προηγούμενο βήμα (ροζ-ή-μπλε,  πράσινη-ή-μωβ,  καφέ-ή-κίτρινη) σε μία, την  όχι-κόκκινη. Οπότε, πλέον, έχετε μόνο δύο 

κλάσεις  δεδομένων,  την  κόκκινη  και  όχι-κόκκινη.  Απαντήστε  πάλι  στο  ίδιο  ερώτημα,  περί 

ελάχιστης αρχιτεκτονικής.

Β. Καθορισμός βαρών και κατωφλίων αισθητήρων κρυφού επιπέδου 

Ανεξάρτητα  από  την  απάντησή  σας  στο  Α  (iii),  για  το  πρόβλημα  με  τις  δύο  κλάσεις  δεδομένων, 

καθορίστε τα βάρη από τις εισόδους στους αισθητήρες του κρυφού επιπέδου, καθώς και τα κατώφλια 

(με εισόδους -1) των αισθητήρων αυτών.

Γ. Καθορισμός βαρών και κατωφλίων αισθητήρων εξόδου 

Για την αρχιτεκτονική που επιλέξατε στην απάντηση σας στο Α (iii),  πρέπει να εκπαιδεύσετε και τους 

αισθητήρες  εξόδου,  δηλαδή  να  υπολογίσετε  τα  βάρη  από  τους  αισθητήρες  Α,  Β  και  Γ  προς  τους 

αισθητήρες εξόδου, καθώς και τα κατώφλια (με εισόδους  -1) των αισθητήρων εξόδου. Για το σκοπό 

αυτό, να χρησιμοποιήσετε τα πρότυπα (3,-1), που ανήκει στην κλάση  κόκκινη  και (-1,2), (-1,5), (5,3), 

(14,-3), (3,-3) και (-2,-4), που ανήκουν στην κλάση όχι-κόκκινη. Αρχικά, βρείτε ποιος είναι ο πίνακας 

αλήθειας που πρέπει να επιλύουν οι αισθητήρες εξόδου για τα προηγούμενα πρότυπα (υποθέστε ότι η 

κλάση  κόκκινη  αντιστοιχεί  στο  1  και  η  όχι-κόκκινη  στο  0)  και  στη  συνέχεια,  εκπαιδεύστε  τους 

αισθητήρες  εξόδου,  μέσω  του  αλγορίθμου  διόρθωσης  σφάλματος  για  εκπαίδευση  αισθητήρων 

(παράγραφος 2.3.1, σελ. 47, Τόμος Β’). Θεωρήστε ότι ο ρυθμός εκπαίδευσης εί ναι  n=0.3  και ότι οι 

αρχικές τιμές των βαρών  από τους κόμβους Α και Β προς όλους τους κόμβους εξόδου είναι 1, των 

βαρών  από  τον  κόμβο  Γ  προς  όλους  τους  κόμβους  εξόδου  είναι  -1  και  των  κατωφλίων  όλων  των 

κόμβων εξόδου είναι 0.5.

----------------

Α.

i.               Υπάρχουν 7 κλάσεις δεδομένων  που διαχωρίζονται με 3 γραμμές. Επομένως το κρυφό επίπεδο θα αποτελείται από 3 κόμβους. Ακόμη η έξοδος θα έχει 3 κόμβους επειδή οι κλάσεις είναι 7 και 2³=8. Από όλα τα παραπάνω καταλέγουμε ότι η αρχιτεκτονική του δικτύου είναι η 1.

ii.              Οι κλάσεις δεδομένων είναι λιγότερες, Οι ροζ μπλε ενοποιούνται σε μια το ίδιο και  η πράσινη με την μωβ όπως και οι η καφέ και κίτρινη. Τώρα οι κλάσεις είναι 4. Επομένως για την έξοδο θα χρειαστούμε 2 κόμβους διότι 2²=4. Παρόλο την ενοποίηση οι γραμμές που θα χρειαστούμε να χωρίσουμε τα δεδομένα μας παραμένουν 3 επομένως το κρυφό επίπεδο θα έχει πάλι τρεις κόμβους. Επομένως καταλέγουμε στην αρχιτεκτονική του δικτυού τής φωτογραφίας 2.

iii.            Οι κλάσεις είναι 2  μια κλάση είναι οι κόκκινες και η δεύτερη είναι όχι κόκκινη . Θα χρειαστούμε 1 κόμβο για να τις αναπαραστήσουμε στην έξοδο(πχ 1 κόκκινη και 0 για όχι κόκκινή ) . Ακόμα παρατηρούμε πως οι 3 γραμμές παραμένουν και εδώ στο κρυφό επίπεδο θα έχει τρία επίπεδα δηλαδή η αρχιτεκτονική του δικτύου είναι οι φωτογραφία 3.

Β.

Ξεκινάμε με την Α είναι.

Η ευθεία Α είναι x=1 δηλαδή

 

Χ₁-1=0

Δηλαδή είναι w₁=1  και w₂=0 και w₀=1.

Για την ευήθεια Β από το σχήμα  παρατηρούμε ότι είναι η ευθεία y=-2

δηλαδή

 

Δηλαδή είναι w₁=0  και w₂=1 και w₀=-2.

Για την ευθεία Γ

Η ευθεία διέρχεται από τα σημεία (χ1,χ2)= (6,0) & (0,3) δηλαδή ισχύει χ₂=αχ₁+β και για το σημείο (6,0) εχουμε

0*χ₂=6α+β

Και για το σημείο (0,3) έχουμε

3=0*χ₁+β  

Δηλαδή

=>  -3=6α=> α=1/2

Και η ευθεία είναι

 Μπορούμε να πολλαπλασιάσουμε με 2 για να μην εχουμε κλάσμα . Επομένως εχουμε

2y=-x+6 και όπου y=x₂ Τελικά έχουμε 2 x₂=-x₁+6 =>

2 x₂+x₁-6=0    δηλαδή είναι

2 x₂+x₁+6*(-1)=0

Επομένως έχουμε  

Δηλαδή είναι w₁=1  και w₂=2 και w₀=6.

Γ.

Είσοδος (x,y) του ΤΝΔ	(3,-1)	(-1,2)	(-1,5)	(5,3)	(14,3)	(3,3)	(-2,-4)
Επιθυμητή έξοδος του ΤΝΔ (αισθητήρας Δ)	1	0	0	0	0	0	0

Αρχικά θα υπολογίσουμε τον πίνακα αλήθειας που να επιλύουν οι αισθητήρες Α Β Γ και Δ (έξοδος).

Ξεκινάμε με το (3,1) που ανήκει στην κλάση κόκκινη και πρέπει να έχει έξοδος 1.

Ο αισθητήρας Δ που είναι και η έξοδος έχει τρεις εισόδους, χωρίς το κατώφλι , που είναι οι εξοδοι από τους αισθητήρες Α,Β,Γ. Αυτό σημαίνει πως πρέπει να  βρούμε τις εξόδους από αισθητήρες Α,Β,Γ ώστε να δημιουργήσουμε τον πίνακα αλήθειας

Ξεκινάμε με το πρότυπο K₀=(3,1).

Με επιθυμητή εξοδο d(0)=1

Για τον αισθητήρα Α : x₁-1

 >0 Και θα έχει έξοδο 1

Για τον αισθητήρα Β:X₁+2

 >0 Και θα έχει έξοδο 1

Για τον αισθητήρα Γ: x₁₊2 x₂ -6

 <0 0="" o:p="">

Δηλαδή το  το πρότυπο (3,1) θα έχει έξοδο  [1 1 0]

Συνεχίζουμε με το πρότυπο (-1.2) που έχει επιθυμητή έξοδο d(1)=0

 K₁=(-1,2).

Για τον αισθητήρα Α : x₁-1

 <0 0="" o:p="">

Για τον αισθητήρα Β:X₂+2

 >0 Και θα έχει έξοδο 1

Για τον αισθητήρα Γ: x₁+2 x₂ -6

 <0 0="" o:p="">

Δηλαδή το  πρότυπο (-1,2) θα έχει είσοδο στον αισθητήρα Δ   [0 1 0] για κάθε νευρώνα

Συνεχίζουμε με το πρότυπο (-1.5) που έχει επιθυμητή έξοδο d(2)=0

 K₂=(-1,5).

Για τον αισθητήρα Α : x₁-1

 <0 0="" o:p="">

Για τον αισθητήρα Β:X₂+2

 >0 Και θα έχει έξοδο 1

Για τον αισθητήρα Γ: x₁+2 x₂ -6

 >0 Και θα έχει έξοδο 1

Δηλαδή το  πρότυπο (-1,5) θα έχει είσοδο στον αισθητήρα Δ   [0 1 1] για κάθε νευρώνα

Συνεχίζουμε με το πρότυπο (5,3) που έχει επιθυμητή έξοδο d(3)=0

 K₃=(5,3).

Για τον αισθητήρα Α : x₁-1

 >0 Και θα έχει έξοδο 1

Για τον αισθητήρα Β:X₂+2

 >0 Και θα έχει έξοδο 1

Για τον αισθητήρα Γ: x₁+2 x₂ -6

 >0 Και θα έχει έξοδο 1

Δηλαδή το  πρότυπο (5,3) θα έχει είσοδο στον αισθητήρα Δ   [1 1 1]

Συνεχίζουμε με το πρότυπο (5,3) που έχει επιθυμητή έξοδο d(4)=0

 K₄=(14,-3).

Για τον αισθητήρα Α : x₁-1

 >0 Και θα έχει έξοδο 1

Για τον αισθητήρα Β:X₂+2

 <0 0="" o:p="">

Για τον αισθητήρα Γ: x₁+2 x₂ -6

 >0 Και θα έχει έξοδο 1

Δηλαδή το  πρότυπο (14,-3) θα έχει είσοδο στον αισθητήρα Δ   [1 0 1]

Συνεχίζουμε με το πρότυπο (3,-3) που έχει επιθυμητή έξοδο d(5)=0

 K₅=(3,-3).

Για τον αισθητήρα Α : x₁-1

 >0 Και θα έχει έξοδο 1

Για τον αισθητήρα Β:X₂+2

 <0 0="" o:p="">

Για τον αισθητήρα Γ: x₁+2 x₂ -6

 <0 0="" o:p="">

Δηλαδή το  πρότυπο (3,-3) θα έχει είσοδο στον αισθητήρα Δ   [1 0 0]

Τελειώνουμε  με το πρότυπο (-2,-4) που έχει επιθυμητή έξοδο d(6)=0

 K₅=(-2,-4).

Για τον αισθητήρα Α : x₁-1

 <0 0="" o:p="">

Για τον αισθητήρα Β:X₂+2

 <0 0="" o:p="">

Για τον αισθητήρα Γ: x₁+2 x₂ -6

 <0 0="" o:p="">

Δηλαδή το  πρότυπο (-2,-4) θα έχει είσοδο στον αισθητήρα Δ   [0 0 0] 

Υπολογίσαμε για το πρότυπο (3,1) την έξοδο από τους αισθητήρες Α, Β, Γ παράδειγμα για τον αισθητήρα Α υπολογίσαμε ότι είναι 1.

Είσοδος (x,y) του ΤΝΔ	(3,-1) Ι1	(-1,2) Ι2	(-1,5) Ι3	(5,3) Ι4	(14,-3) Ι5	(3,-3) Ι6	(-2,-4) Ι7
Έξοδος αισθητήρα Α	1	0	0	1	1	1	0
Έξοδος αισθητήρα Β	1	1	1	1	0	0	0
Έξοδος αισθητήρα Γ	0	0	1	1	1	0	0
Επιθυμητή έξοδος του ΤΝΔ (αισθητήρας Δ)	1	0	0	0	0	0	0

Εκπαίδευση αισθητήρα Δ.

1^οςΚύκλος εκπαίδευσης.

I₁

Εισάγουμε το πρώτο διάνυσμα μαζί με το κατώφλι Ι₁=[1 1 0 -1] και τα βάρη από την εκφώνηση που είναι

W=[1 1 -1 0.5]  η έξοδος u δένεται από την σχέση

U(n)=W(n)* I₁=1+1+0-0.5=2-0.5=1.5>0 επομένως έξοδος 1   Επιθυμητή έξοδος d(0)=1 και

                                                                                το δ(1)=d(1)-output =0-0 => δ(1)=0 (Σωστά) τα βάρη Δεν αλλάζουν.

I₂

Εισάγουμε το δεύτερο  διάνυσμα μαζί με το κατώφλι Ι₂=[0 1 0 -1] και τα βάρη είναι

W=[1 1 -1 0.5]  η έξοδος u δένεται από την σχέση

U(n)=W(n)* I₂=0+1+0-0.5=1-0.5=0.5>0 επομένως έξοδος 1 .

                                         Επιθυμητή έξοδος d(2)=0  και  δ(2)=d(2)-output(1) =0-1 => δ(2)=-1 #0  Τα βάρη αλλάζουν.

Υπολογίζουμε τις μεταβολές των βαρών

ΔW₁=n*δ(2)*x₁=0,3**(-1)*0=0                                                    ΔW₂=n*δ(2)*x₂=0,3**(-1)*1=-0,3

ΔW₃=n*δ(2)*x₃=0,3**(-1)*0=0

Δθ=n*δ(2)*θ=0,3**(-1)*(-1)=0,3

Υπολογίζουμε τα νέα Βάρη.

W_I1n=W_1old+ ΔW₁=1+0=1

W_I2n=W_2old+ ΔW₂=1-0,3=0.7

W_I3n=W_3old+ ΔW₃=-1+0=-1

θ_I3n=θ_3old+ Δθ=0,5+0,3=0,8

Δηλαδή τα βάρη έχουν αλλάξει σε 

Συνεχίζουμε με Ι3

I₃

Εισάγουμε το τρίτο διάνυσμα   μαζί με το κατώφλι Ι₃=[0 1 1 -1] και τα βάρη είναι

W=[1 0.7  -1  0.8]^Τ  η έξοδος u δένεται από την σχέση

U(n)=W(n)* I₃=<0 b="">έξοδος 0

         Επιθυμητή έξοδος d(3)=0 και  δ(3)=d(3)-output(3) =0-0 => δ(3)= 0 

 τα βάρη Δεν αλλάζουν

I₄

Εισάγουμε το τέταρτο  διάνυσμα   μαζί με το κατώφλι Ι₄=[1 1 1 -1] και τα βάρη είναι

W=[1 0.7  -1  0.8]^Τ  η έξοδος u δένεται από την σχέση

U(n)=W(n)* I₄=<0 b="">έξοδος 0

επομένως πρέπει να

Επιθυμητή έξοδος d(4)=0 και  δ(4)=d(4)-output(4) =0-0 => δ(4)= 0 

τα βάρη Δεν αλλάζουν

Το I₅

το πέμπτο  διάνυσμα   μαζί με το κατώφλι Ι₅=[1 0 1 -1] και τα βάρη είναι

W=[1 0.7  -1  0.8]^Τ  η έξοδος u δένεται από την σχέση

U(n)=W(n)* I₅=<0 b="">έξοδος 0

Επιθυμητή έξοδος d(5)=0 και  δ(5)=d(5)-output(5) =0-0 => δ(5)= 0

τα βάρη Δεν αλλάζουν

Το I₆

το έκτο  διάνυσμα   μαζί με το κατώφλι Ι₆=[1 0 0 -1] και τα βάρη είναι

W=[1 0.7  -1  0.8]^Τ  η έξοδος u δένεται από την σχέση

U(n)=W(n)* I₆=>0 επομένως έξοδος 1

Επιθυμητή έξοδος d(6)=0 και  δ(6)=d(6)-output(6) =0-1 => δ(6)= -1 #0  Τα βάρη αλλάζουν.

Υπολογίζουμε τις μεταβολές των βαρών

ΔW₁=n*δ(2)*x₁=0,3**(-1)*1=-0,3

ΔW₂=n*δ(2)*x₂=0,3**(-1)*0=0

ΔW₃=n*δ(2)*x₃=0,3**(-1)*0=0

Δθ=n*δ(2)*θ=0,3*(-1)*(-1)=0,3

Υπολογίζουμε τα νέα Βάρη.

W_I1n=W_1old+ ΔW₁=1-0,3=0,7

W_I2n=W_2old+ ΔW₂=0,7+0=0,7

W_I3n=W_3old+ ΔW₃=-1+0=-1

θ_I3n=θ_3old+ Δθ=0,8+0,3=1,1

Δηλαδή τα βάρη έχουν αλλάξει σε 

I₇

Εισάγουμε το τελευταίο διάνυσμα   μαζί με το κατώφλι Ι₇=[0 0 0 -1] και τα βάρη είναι

η έξοδος u δένεται από την σχέση

U(n)=W(n)* I₇=<0 b="">έξοδος 0

Επιθυμητή έξοδος d(7)=0 και  δ(7)=d(7)-output(7) =0-0 => δ(7)= 0

Τα βάρη δεν αλλάζουν.

Έχει τελειώσει ο πρώτος κύκλος εκπαίδευσης ( μια Εποχή).

Θα επιχειρήσουμε και το δεύτερο κύκλο με τα βάρη που υπολογίσαμε  και εάν οι τιμές διαχωριζωνται τότε σε αυτόν τον κύκλο  θα σταματήσουμε

2^οςΚύκλος εκπαίδευσης.

Το I₁

(n)=W(n)* I₁=>0 επομένως έξοδος 1   Επιθυμητή έξοδος Επιθυμητή έξοδος d(0₂)=1 και

                                                                                το δ(1₂)=d(1₂)-output(1₂) =0-0 => δ(1₂)=0

(Σωστά) τα βάρη Δεν αλλάζουν.

I₂

Εισάγουμε το δεύτερο  διάνυσμα μαζί με το κατώφλι Ι₂=[0 1 0 -1] και τα βάρη είναι

U(n)=W(n)* I₂=<0 b="">έξοδος 0

.

                                      Επιθυμητή έξοδος d(2₂)=0  και  δ(2₂)=d(2₂)-output(2₂) =0-0 => δ(2₂)=0

Τα βάρη ΔΕΝ αλλάζουν.

I₃

Εισάγουμε το τρίτο διάνυσμα   μαζί με το κατώφλι Ι₃=[0 1 1 -1] και τα βάρη είναι

W=[0,7  0.7  -1  1,1]^Τ  η έξοδος u δένεται από την σχέση

U(n)=W(n)* I₃=<0 b="">έξοδος 0

         Επιθυμητή έξοδος d(3₂)=0 και  δ(3₂)=d(3₂)-output(3₂) =0-0 => δ(3₂)= 0 

 τα βάρη Δεν αλλάζουν

I₄

Εισάγουμε το τέταρτο  διάνυσμα   μαζί με το κατώφλι Ι₄=[1 1 1 -1] και τα βάρη είναι

W=[0,7  0.7  -1  1,1]^Τ    η έξοδος uδένεται από την σχέση

U(n)=W(n)* I₄=<0 b="">έξοδος 0

επομένως

Επιθυμητή έξοδος d(4₂)=0 και δ(4₂)=d(4₂)-output(4₂) =0-0 => δ(4₂)= 0 

τα βάρη Δεν αλλάζουν

Το I₅

το πέμπτο  διάνυσμα   μαζί με το κατώφλι Ι₅=[1 0 1 -1] και τα βάρη είναι

W=[0,7  0.7  -1  1,1]^Τ    η έξοδος u δένεται από την σχέση

U(n)=W(n)* I₅=<0 b="">έξοδος 0

Επιθυμητή έξοδος d(5₂)=0 και  δ(5₂)=d(5₂)-output(5₂) =0-0 => δ(5₂)= 0

τα βάρη Δεν αλλάζουν

Το I₆

το έκτο  διάνυσμα   μαζί με το κατώφλι Ι₆=[1 0 0 -1] και τα βάρη είναι

W=[0,7  0.7  -1  1,1]^Τ    η έξοδος u δένεται από την σχέση

U(n)=W(n)* I₆=<0 b="">έξοδος 0

Επιθυμητή έξοδος d(6₂)=0 και  δ(6₂)=d(6₂)-output(6₂) =0-0 => δ(6)= 0

τα βάρη Δεν αλλάζουν

Το Ι7 το έχουμε υπολογίσει στον προηγούμενο κύκλο . Επομένως τα βάρη που πρέπει να έχουν οι κόμβοι Α Β Γ και κατώφλι είναι  [0,7   0,7  -1   1,1]^Τ .