Khái niệm Softmax Function và những tính chất của hàm Softmax

Khái niệm Softmax Function nó được sử dụng phổ biến trong lĩnh vực công nghệ nội dung, cụ thể là Machine Learning (Học máy). Qua bài viết dưới đây sẽ bổ sung thêm nhiều thông tin đến bạn đọc, cùng tìm đọc nhé.

Khái niệm Softmax Function​

Softmax Function dịch ra Tiếng Việt là hàm trung bình mũ. Hàm softmax tính toán xác suất xuất hiện của một sự kiện. Nói một bí quyết khái quát, hàm softmax sẽ tính khả năng hiện diện của một class trong tổng số toàn bộ các class có khả năng hiện diện. Sau đó, xác suất này sẽ được dùng để chọn lựa class mục đích cho các input.

Cụ thể, hàm softmax biến vector k chiều có các thành quả thực bất kỳ thành vector k chiều có thành quả thực có tổng bằng 1. Giá trị nhập có khả năng dương, âm, bằng 0 hoặc lớn hơn 1, nhưng hàm softmax sẽ luôn biến chúng thành một giá trị dao động (0:1].

Như vậy, chúng có thể được gọi là “xác suất”. Nếu một trong các giá trị nhập cực kì nhỏ hoặc âm, hàm softmax biến chúng thành 1 xác suất nhỏ. Còn nếu một giá trị nhập lớn thì nó sẽ được chuyển thành một xác suất lớn. Tuy nhiên xác suất luôn lớn hơn 0 và nhỏ hơn 1, hoặc bằng 1.

• Hàm Softmax được sử dụng trong mô hình hồi quy logistic chia loại.
• Trong xây dựng neural network (mạng thần kinh nhân tạo), hàm softmax được sử dụng trong nhiều lớp.

Xem thêm :Web Application là gì? Sự khác nhau giữa Web Application và Website

Lịch sử hàm Softmax

Hàm Softmax được dùng lần đầu trước cả sự hiện diện của Machine Learning. Thật chất, nó được mượn từ cơ học vật lý và cơ học thống kê. Ở hai môn học này, hàm Softmax được nhắc tới với tên gọi phân phối Boltzmann và phân phối Gibbs. Nó được trình bày bởi nhà vật lý học và triết học người Úc Ludwig Boltzmann năm 1868.

Tính chất của hàm Softmax

Từ định nghĩa về hàm softmax, chúng ta có khả năng đoán được tính chất của nó. Phía dưới là một vài tính chất của hàm softmax:

• Xác suất sẽ luôn nằm trong khoảng (0:1].
• Tổng tất cả các xác suất bằng 1.

Ích lợi của Softmax Function

• Khái niệm Softmax Function hàm softmax là tối ưu khi tính toán xác suất tối ưu trong tham số mô hình.
• Tính chất của hàm softmax khiến hàm hợp lý với sự thông dịch xác suất, rất có ích trong Machine Learning (Học máy).
• Chuẩn hóa softmax là một bí quyết để giảm thiểu ảnh hưởng của những thành quả cực trị hay dữ liệu ngoại lai trong dữ liệu mà không phải chỉnh sửa dữ liệu ban đầu.

Xem thêm: Thiết kế website chuyên nghiệp, chuẩn BoSa | Cánh Cam

Công thức hàm Softmax

Nguyên lý đằng sau hàm Softmax khá dễ dàng. Với một số số cho trước

• Tính hàm lũy thừa số e, với số mũ là những số đã cho
• Tính tổng các lũy thừa đó. Đấy sẽ là mẫu số.
• Dùng lũy thừa của mỗi số là tử số
• Xác suất sẽ là tử số/mẫu số

Viết ngắn gọn lại, ta được phương pháp hàm Softmax:

Phương pháp hàm Softmax

Kí hiệu	Ý nghĩa
	giá trị vector nhập vào cho hàm softmax, (từ z0 đến zk)
	toàn bộ các thành quả z đều là thành quả vector nhập cho hàm softmax. Chúng có khả năng là bất cứ số thực nào, số dương, số âm hay số 0. Chẳng hạn như một mạng thần kinh nhân tạo có khả năng có giá trị vector ra là (-0.62, 8.12, 2.53). Đây không phải là phân phối xác suất đúng. Đấy là tại sao ta cần đến hàm softmax.
	Hàm lũy thừa chuẩn mực được ứng dụng cho mỗi thành quả nhập. Nó sẽ đưa ra một giá trị dương lớn hơn 0. Thành quả này sẽ rất nhỏ nếu giá trị nhập là âm, và cực kì lớn nếu giá trị nhập dương. Tuy vậy, nó sẽ không cố định vào khoảng thời gian (0:1]. Đây là yêu cầu của một xác suất.
	Dòng phía dưới của phương pháp là một cụm chuẩn hóa. Nó đảm bảo rằng tổng của các thành quả ra sẽ luôn bằng 1 và dao động (0:1]. Như vậy, sẽ xuất hiện phân phối xác suất chuẩn xác.
	Số class trong một phân loại nhiều class.

Áp dụng của Softmax Function

Khái niệm Softmax Function vì hàm softmax tính toán sự cung cấp xác suất của một vector nên nó thường được sử dụng trong những phương thức phân loại đa lớp trong lĩnh vực Machine Learning, Deep Learning và Data Science (Khoa học dữ liệu). Softmax function tính toán xác suất của một lớp trên tổng số các lớp. Xác suất tính được sẽ giúp quyết định lớp chính xác cho một thành quả đầu vào. Softmax function được sử dụng nhiều nhất trong:

• Hồi quy logistic, hay còn gọi là hồi quy softmax.
• Mạng nơ-ron nhân tạo.

Xem thêm :Tổng kết 4 phương pháp rèn luyện tư duy lập trình mới nhất 2020

Qua bài viết trên của Coder.com.vn đã cung cấp các thông tin về khái niệm Softmax Function và những tính chất của hàm Softmax. Hy vọng những thông tin trên của bài viết sẽ hữu ích với các bạn đọc, cùng tham khảo nhé.

Mỹ Phượng – Tổng hợp & chỉnh sửa

Tham khảo ( vn.got-it.ai, ladigi, … )