Requisitos previos necesarios para leer libros en redes neuronales (y entenderlos)

Question

He estado tratando de aprender acerca de las redes neuronales por un tiempo, y puedo entender algunos tutoriales básicos en línea, y he podido obtener porciones de Neural Computing - An Introduction pero incluso allí, estoy acotando muchas de las matemáticas, y se vuelve completamente sobre mi cabeza después de los primeros capítulos. Incluso entonces es el menos libro "math-y" que puedo encontrar.

No es que tenga miedo de las matemáticas ni nada, es solo que no he aprendido lo que necesito, y no estoy seguro de lo que necesito exactamente. Actualmente estoy inscrito en mi universidad local, trabajando para ponerme al día en las clases que necesito para ingresar al MS en Comp. Programa de ciencia (mi licenciatura está en Business/Info. Sys.) Y no he llegado muy lejos. De acuerdo con las descripciones de los cursos de la universidad, los NN en realidad están cubiertos en un curso de Ingeniería Eléctrica sobre Reconocimiento de Patrones (me parece extraño que este curso sea EE), que tiene algunos prerrequisitos de EE que no necesito ingresar al MS Comp. . Sci. Programa.

Estoy muy interesado en este tema, y ​​sé que eventualmente quiero aprender mucho más sobre él, el problema es que no sé lo que necesito saber primero. Éstos son los temas que creo que podría necesitar, pero esto es sólo especulación de la ignorancia:

• individual Cálculo variable (he tenido Calc I y II, así que creo que estoy cubierto aquí, simplemente lista para lo completo)
• Multi variable Cálculo
• Álgebra lineal (yo no he tomado esta formalmente aún, pero en realidad puedo entender muchos de los conceptos de lo que he logrado asimilar en Wikipedia y otros sitios)
• Matemática discreta (otro No he tomado formalmente, pero aprendí una parte de mí
• Gráfico Theo ry
Teoría
• Probabilidad
• estadística bayesiana
• Circuito Diseño
• Otros matemáticas?
• Otros temas borrador sci

Obviamente hay un componente de la neurociencia aquí también, pero en realidad no han tenido ningún problema para entender libros cuando hablan de ello como se aplica a NN de, en gran parte debido a que su conceptual

En resumen, ¿alguien puede trazar una ruta semi-clara que uno necesita para entender realmente, leer un libro y finalmente implementar redes neuronales?

Answer 1

Si desea una lista de los cursos de la universidad que se necesita para entender el libro, aquí está:

• Cálculo (I, II y III)
• Ecuaciones diferenciales
• Álgebra Lineal
• Estadísticas (o una buena cobertura de Bayes)

sin embargo, lo hicieron muy bien en mis clases NN sin Dif. Eq. y solo tenía que buscar conceptos que aún no había estudiado.

Puede adoptar el enfoque de recuadro negro como el anterior, pero si realmente desea comprender las matemáticas y la implementación de las redes, tendrá que estudiar. Va a ser una curva de aprendizaje empinada para captar completamente las redes más avanzadas sin importar lo que haga. Puedes tomar las clases anteriores primero, o puedes comenzar a leer el libro y buscar todo lo que no entiendes en la wikipedia, y luego de esos artículos leer todo lo que tienes que leer para entenderlos, etc. Encontrarás eso, De cualquier manera, eventualmente pasará ese vistazo inicial y las cosas serán más fáciles.

Sería bueno que nos dijera por qué quiere aprender redes neuronales. No he encontrado un solo uso para ellos en mi carrera profesional, aunque no soy desarrollador de juegos ni desarrollador de telecomunicaciones.

Answer 2

No puede implementar "redes neuronales": terminará implementando un tipo específico de NN (por ejemplo, perceptron). Hay muchos tipos diferentes de NN, cada uno más adecuado para un tipo específico de tarea, y cada tipo utiliza algunos conceptos matemáticos (y no solo matemáticos) que son específicamente solo para ese tipo en particular. Por ejemplo, las máquinas Boltzmann usan conceptos de termodinámica estadística (fundada por Boltzmann).

En cuanto a su pregunta: sin un objetivo claro, no hay una ruta clara (ni siquiera "semi-clara").

Answer 3

I segunda idea de zvrba que se establece un objetivo claro. Algunas preguntas orientadoras: a. ¿Desea estudiar las NN como un modelo de redes biológicas o como una herramienta computacional? b. ¿Estás interesado en su aspecto de aprendizaje? memoria asociativa? ¿procesamiento de la señal? c. ¿Quieres entender la teoría compleja? o solo lo suficiente para escribir software de simulación?

Además, comenzaría pequeño: implemente un perceptron en su lenguaje de programación favorito. La matemática no es tan mala, y probablemente te concentre en tus próximos pasos. Use un conjunto de datos de clasificación binaria, por ejemplo UCI's tic-tac-toe endgame.

Answer 4

Para las redes neuronales básicos, respaldo prórroga, las cosas más importantes son:

• Cálculo

• Álgebra Lineal

• Básica Estadísticas/Probabilidad

Si solo buscas temas más específicos (s ayuda que ya se tomó Calc, así que voy a dejar que fuera), aquí hay algunos temas que serán de utilidad para conocer, aunque no necesariamente directamente aplicable a la construcción de una red neuronal:

• Resolución de sistemas de ecuaciones lineales (que iba a aprender esto en un curso de Álgebra lineal)

• regresión por mínimos Cuadrados

• teoría de optimización

Debe darse cuenta de que hay varios otros métodos que se pueden usar para resolver ciertos problemas junto con las redes neuronales.

A menudo el aspecto más difícil de resolver un problema es determinar el mejor método para usar.