Câu hỏi Tại sao BIAS lại cần thiết trong ANN? Chúng ta có nên có BIAS riêng biệt cho mỗi lớp không?


Tôi muốn tạo ra một mô hình dự đoán phản ứng tương lai của tín hiệu đầu vào, kiến ​​trúc của mạng của tôi là [3, 5, 1]:

  • 3 đầu vào,
  • 5 nơ-ron trong lớp ẩn, và
  • 1 nơron trong lớp đầu ra.

Câu hỏi của tôi là:

  1. Chúng ta có nên BIAS riêng biệt cho mỗi lớp ẩn và đầu ra không?
  2. Chúng ta có nên gán trọng số cho BIAS ở mỗi lớp (khi BIAS trở thành giá trị gia tăng cho mạng của chúng ta và gây ra gánh nặng cho mạng)?
  3. Tại sao BIAS luôn được đặt thành một? Nếu eta có các giá trị khác nhau, tại sao chúng ta không đặt BIAS với các giá trị khác nhau?
  4. Tại sao chúng ta luôn sử dụng hàm log sigmoid cho các hàm phi tuyến tính, chúng ta có thể sử dụng tanh?

16
2017-08-24 12:03


gốc


Tham khảo [this previous] [1] post. Nó có một lời giải thích tốt đẹp. [1]: stackoverflow.com/questions/2480650/… - Rashmika Nawaratne


Các câu trả lời:


Vì vậy, tôi nghĩ rằng nó sẽ rõ ràng nhất của điều này lên nếu chúng tôi đã bước trở lại và thảo luận về vai trò của các đơn vị thiên vị có nghĩa là để chơi trong một NN.

Đơn vị thiên vị có nghĩa là cho phép các đơn vị trong mạng của bạn tìm hiểu ngưỡng thích hợp (tức là sau khi đạt đến tổng số đầu vào nhất định, bắt đầu gửi kích hoạt dương), vì thông thường, tổng số đầu vào dương có nghĩa là kích hoạt dương.

Ví dụ, nếu đơn vị thiên vị của bạn có trọng số -2 với một số nơron x, thì nơron x sẽ cung cấp một sự kích hoạt dương nếu tất cả các đầu vào khác cộng lại lớn hơn -2.

Vì vậy, với điều đó làm nền, câu trả lời của bạn:

  1. Không, một đầu vào thiên vị luôn đủ, vì nó có thể ảnh hưởng đến các tế bào thần kinh khác nhau tùy thuộc vào trọng lượng của nó với từng đơn vị.
  2. Nói chung, có trọng số thiên vị đi tới mọi đơn vị không đầu vào là một ý tưởng hay, vì nếu không, những đơn vị không có trọng số thiên vị sẽ có ngưỡng sẽ luôn bằng 0.
  3. Kể từ khi ngưỡng, một khi đã học nên nhất quán trong các thử nghiệm. Hãy nhớ sự thiên vị thể hiện cách mỗi đơn vị tương tác với đầu vào; nó không phải là đầu vào.
  4. Bạn chắc chắn có thể và nhiều người làm. Bất kỳ chức năng sqaushing thường hoạt động như một chức năng kích hoạt.

10
2017-08-25 00:59