Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực...
Transcript of Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực...
![Page 1: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/1.jpg)
International Research Institute MICAMultimedia, Information, Communication & Applications
UMI 2954
Hanoi University of Science and Technology
1 Dai Co Viet - Hanoi - Vietnam
Mạng neuron
và ứng dụng trong xử lý tín hiệu
Mạng neuron
và ứng dụng trong xử lý tín hiệu
Giảng viên
Trần Thị Thanh Hải
![Page 2: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/2.jpg)
22
Bài 7:
Phương pháp huấn luyện
MLP
(Multi Layer Perceptron)
![Page 3: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/3.jpg)
3
Giới thiệu
Trong bài trước, chúng ta đã biết cách huấn
luyện mạng neuron perceptron 1 lớp (1 đầu vào
và một đầu ra)
Đối với perceptron, việc tính toán đạo hàm là khả
thi vì chỉ có một lớp
Trong các bài toán thực tế đòi hỏi mạng neuron
có cấu trúc phức tạp hơn, nhiều lớp hơn
Khi đó việc tính toán đạo hàm của hàm mục tiêu
là rất phức tạp
![Page 4: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/4.jpg)
4
Mục tiêu của bài học
Giới thiệu một giải pháp để tính toán đạo hàm
của hàm mục tiêu với mạng đa lớp sử dụng kỹ
thuật lan truyền ngược (Backpropagation)
Thực hành thông qua một ví dụ
![Page 5: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/5.jpg)
5
Các hạn chế của mạng Perceptron 1 lớp
Perceptron: mạng 1 lớp đầu vào và một lớp đầu
ra, không có hidden layer
Mạng perceptron không thể phân loại các dữ
liệu có phân tách phi tuyến (XOR function)
![Page 6: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/6.jpg)
6
Khắc phục hạn chế của Perceptron 1 lớp
Thực tế có nhiều mạng đa lớp có thể giải
quyết bài toán XOR
Một lời giải:
Thiết kế 2 neuron để tạo ra hai bao đóng
Thêm một neuron sau đó để kết hợp hai bao
đóng lại thành một (toán tử AND)
![Page 7: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/7.jpg)
7
Giải pháp cho toán tử XOR
![Page 8: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/8.jpg)
88
Giải pháp cho toán tử XOR
![Page 9: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/9.jpg)
9
Xấp xỉ hàm (function approximation)
Ngoài ứng dụng trong phân lớp, các mạng
neuron đa lớp cũng được sử dụng để tạo ra các
hàm xấp xỉ trong các hệ thống điều khiển
![Page 10: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/10.jpg)
10
Xấp xỉ hàm (approximate function)
Giả thiết các thông số của mạng như sau
![Page 11: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/11.jpg)
11
Xấp xỉ hàm (approximate function)
Giả thiết các thông số của mạng như sau
![Page 12: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/12.jpg)
12
Xấp xỉ hàm (approximate function)
Đây là xấp xỉ hàm hai bước. Nếu ta thêm các
trọng số thì sẽ làm thay đổi hình dáng của đáp
ứng.
![Page 13: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/13.jpg)
13
Mạng đa tầng
Mạng với 1 tầng ẩn có thể biểu diễn bất kỳ hàm
Boolean nào
Khả năng của mạng nhiều tầng đã được khám
phá từ lâu, tuy nhiên chỉ đến những năm 80
người ta mới biết cách để huấn luyện các mạng
này
Mạng nhiều tầng, mỗi tầng có hàm kích hoạt
tuyến tính thì vẫn chỉ có thể biểu diễn các hàm
tuyến tính
Để biểu diễn các hàm phi tuyến thì các hàm
kích hoạt phải là hàm phi tuyến
![Page 14: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/14.jpg)
1414
Multilayer Network
![Page 15: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/15.jpg)
1515
Huấn luyện mạng MLP
![Page 16: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/16.jpg)
16
Giải thuật huấn luyện mạng MLP
Giải thuật GD được sử dụng
Tuy nhiên việc tính toán Gradient của hàm mục
tiêu trên tất cả các tầng là rất phức tạp
Giải thuật Backpropagation cho một giải pháp
hiệu quả và đơn giản để tính toán đạo hàm của
hàm mục tiêu theo trọng số và bias ở các tầng
khác nhau
http://neuralnetworksanddeeplearning.com/chap2.html
![Page 17: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/17.jpg)
17
Giải thuật huấn luyện mạng MLP
Sử dụng kỹ thuật lan truyền ngược
Kỹ thuật này được nghiên cứu đề xuất nhiều
lần bởi các nhà khoa học
Bryson an Ho [1969]
Werbos [1974]
Parker [1985]
Rumelhart et al. [1986]
![Page 18: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/18.jpg)
18
Chain Rule
![Page 19: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/19.jpg)
19
Gradient calculation
![Page 20: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/20.jpg)
20
Steepest Descent
![Page 21: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/21.jpg)
21
Jacobian Matrix
![Page 22: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/22.jpg)
22
Backpropagation (Sensitivities)
![Page 23: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/23.jpg)
23
Initialization (last layer)
![Page 24: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/24.jpg)
24
Summary
![Page 25: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/25.jpg)
25
Ví dụ: Xấp xỉ hàm
![Page 26: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/26.jpg)
26
Kiến trúc của mạng
![Page 27: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/27.jpg)
27
Khởi tạo các thông số của mạng
![Page 28: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/28.jpg)
28
Dữ liệu huấn luyện mạng
Chuẩn bị tập dữ liệu huấn luyện: lấy mẫu
hàm với 21 điểm trong khoảng [-2, 2] (các chấm
tròn trên hình vẽ), các điểm cách đều 0.2
![Page 29: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/29.jpg)
29
Huấn luyện mạng
Bắt đầu với điểm p = 1 (điểm thứ 16)
Đầu ra của lớp thứ nhất:
![Page 30: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/30.jpg)
30
Huấn luyện mạng
Bắt đầu với điểm p = 1 (điểm thứ 16)
Đầu ra của lớp thứ hai:
Giá trị của hàm lỗi
![Page 31: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/31.jpg)
31
Huấn luyện mạng
Tính đạo hàm của các hàm truyền đạt
Lớp thứ nhất:
Lớp thứ 2:
![Page 32: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/32.jpg)
32
Lan truyền ngược
Ở lớp thứ 2:
Lan truyền ngược về lớp thứ nhất:
![Page 33: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/33.jpg)
33
Cập nhật trọng số
![Page 34: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/34.jpg)
34
Thảo luận về kỹ thuật lan truyền ngược
Lựa chọn kiến trúc mạng
Mạng đa lớp có thể sử dụng để xấp xỉ bất kỳ một
hàm nào nếu có đủ số neuron trong mỗi lớp ẩn
Tuy nhiên, bao nhiêu layers và bao nhiêu units là
đủ để đạt được một hiệu quả nhất định
Ví dụ: cần xấp xỉ hàm, với i = 1, 2, 4, 8
Khi i tăng, hàm trở nên phức tạp vì có nhiều chu
kỳ của sóng sin trong khoảng [-2, 2]
![Page 35: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/35.jpg)
35
Thảo luận về kỹ thuật lan truyền ngược
Nếu sử dụng kiến trúc mạng 1-3-1, kết quả thu
được sau quá trình huấn luyện mạng như sau:
Khi i=1,2,4: mạng
đạt được đúng
với hàm ban đầu
Khi i = 8, không
xấp xỉ được đúng
với hàm ban đầu,
hàm chỉ xấp xỉ
được 1 đoạn
![Page 36: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/36.jpg)
36
Thảo luận về kỹ thuật lan truyền ngược
I = 6
Số neuron ở
lớp ẩn tăng
lên đã cho
phép xấp xỉ
tốt nhất hàm
đã cho
![Page 37: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/37.jpg)
37
Độ hội tụ
Giả sử ta muốn xấp xỉ hàm sau với kiến trúc 1-3-1
Thảo luận về kỹ thuật lan truyền ngược
Tại bước lặp thứ 5 cho kết
quả tốt nhất
![Page 38: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/38.jpg)
38
Thảo luận về kỹ thuật lan truyền ngược
Nếu khởi tạo không tốt, có thể rơi vào cực trị địa
phương và không cho lời giải mong muốn:
![Page 39: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/39.jpg)
39
Thảo luận về kỹ thuật lan truyền ngược
Tính khái quát hóa (generalization)
Thông thường mạng đa lớp được huấn luyện với
một số mẫu hữu hạn
Ví dụ để xấp xỉ hàm
Số mẫu là 11 trong khoảng [-2, 2]
Mạng có kiến trúc 1-2-1 Mạng 1-2-1 có 7
tham số, Có 11
cặp dữ liệu
![Page 40: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/40.jpg)
40
Thảo luận về kỹ thuật lan truyền ngược
Tính khái quát hóa (generalization)
Thông thường mạng đa lớp được huấn luyện với
một số mẫu hữu hạn
Ví dụ để xấp xỉ hàm
Số mẫu là 11 trong khoảng [-2, 2]
Mạng có kiến trúc 1-9-1 Mạng 1-9-1 có
nhiều tham số:
(18 weights và 10
bias
Tuy nhiên lại chỉ
có 11 cặp dữ liệu
![Page 41: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/41.jpg)
41
Thảo luận về kỹ thuật lan truyền ngược
Tính khái quát hóa (generalization)
Mạng phải có số tham số ít hơn số điểm dữ liệu
trong bộ huấn luyện
Don’t use a bigger network when a
smaller network will work
![Page 42: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/42.jpg)
42
Cross Entropy error function
![Page 43: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/43.jpg)
43
Bài tập thảo luận
Cho hai lớp sau:
Hai lớp có phân tách tuyến tính không ?
Thiết kế mạng neuron để phân tách lớp này
![Page 44: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/44.jpg)
44
Bài 1
Quy ước ô xanh có giá trị là 1, ô trắng có giá
trị là -1
Khi đó hai lớp dữ liệu sẽ có các mẫu như
sau
![Page 45: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/45.jpg)
45
Bài 1
Nếu dữ liệu phân tách tuyến tính, sẽ tồn tại
một siêu phẳng phân tách, nghĩa là có ma
trận W và b thỏa mãn:
![Page 46: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/46.jpg)
46
Bài 1
Hai điều kiện đầu bị mâu thuẫn
Hai điều kiện sau cũng bị mâu thuẫn:
Vì vậy bài toán này không phân tách tuyến
tính
![Page 47: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/47.jpg)
47
Bài 1
Có nhiều mạng để phân tách dữ liệu này
Đây là một ví dụ
![Page 48: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/48.jpg)
48
Bài tập thảo luận
Cho hai lớp sau:
Hãy thiết kế mạng neuron để phân tách hai lớp
dữ liệu này
![Page 49: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/49.jpg)
49
Lời giải: Tầng thứ nhất
![Page 50: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/50.jpg)
50
Lời giải: Tầng thứ 2
![Page 51: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/51.jpg)
51
Lời giải: tầng thứ 3
![Page 52: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/52.jpg)
52
Thực hành matlab
Gọi Nntoolbox trong matlab
Viết một CT tạo 4 lớp dữ liệu, sử dụng mạng
neuron 2 lớp để phân lớp 4 lớp dữ liệu này
![Page 53: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/53.jpg)
53
CSDL MINIST
Dữ liệu: MNIST
Trainning set: 60.000 images
Validation set: 10.000 images
Kích thước ảnh: 28x28
![Page 54: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/54.jpg)
54
Code matlab MLP for MNIST
Code: https://github.com/Myasuka/matlab-
mnist-two-layer-perceptron
2 layer perceptron
28x28 inputs
10 output units (10 different digits)
Stochastic training
Sum square error function
Error back propagation
![Page 55: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/55.jpg)
55
Hàm huấn luyện
![Page 56: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/56.jpg)
56
Hàm truyền đạt và đạo hàm
![Page 57: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/57.jpg)
57
Hàm validation
![Page 58: Mạng neuron - mica.edu.vn · và ứngdụngtrong xửlý tín hiệu Giảngviên ... Thực tế có nhiều mạng đa lớp có thể giải quyếtbài toán XOR Mộtlờigiải:](https://reader030.fdocument.pub/reader030/viewer/2022040707/5e07200b7c729f34607ad131/html5/thumbnails/58.jpg)
58
Tài liệu tham khảo
https://cs231n.github.io/neural-networks-1/
https://medium.com/@karpathy/yes-you-should-
understand-backprop-e2f06eab496b
https://cs231n.github.io/optimization-2/
Chương 11 của Neural Network Design