Ejemplo de código de propagación de Loopy Belief

Question

¿Alguien sabe de un código de trabajo que ejemplifica el algoritmo de suma de producto para la creencia (de bucle) para Bayesian Networks? He recorrido la tierra durante un par de días, pero no he tenido mucha suerte. Soy indiferente al idioma en el que se encuentra.

Todos los documentos que he encontrado sobre el tema están llenos de expresiones matemáticas arcaicas y absurdamente ambiguas. No parece un algoritmo difícil, pero no puedo estar seguro porque algunas de las partes más difíciles se pasan por alto demasiado.

Alternativamente, un ejemplo que usa números reales (en lugar de nombres de variables) probablemente también lo haga.

Answer 1

Implementé el algoritmo de propagación de creencias de Pearl para Bayesian Networks. También es compatible con la propagación de bucle, ya que terminará cuando los valores de creencia informados converjan dentro de 0.001.

Todo el código está en Java, y se puede encontrar en mi Google code pen-ui svn repo.

Esto no explícitamente hacer una gráfica de los factores.

La clase "Soporte" tiene una función principal y un par de métodos estáticos que crean redes pequeñas con las que puede jugar. En particular, implementé la red Burlar-FreightTruck-Alarm de tres nodos que se encuentra en el libro de Napolitano, y mis números salen. (Sin promesas más allá de eso!)

Answer 2

Estoy en una situación similar. Estoy utilizando el libro "Reconocimiento de patrones y aprendizaje automático" de Christopher M. Bishop para una introducción teórica, aunque quiero usar el algoritmo en otro contexto. El capítulo sobre "max-product" y "sum-product" describe la propagación de creencias, aunque es muy matemática.

Todavía estoy buscando un pequeño ejemplo numérico, así que si encuentra uno, estaría muy interesado.

Mientras tanto, puede echar un vistazo a libDAI, una biblioteca de código abierto que implementa BP.

Answer 3

Estoy implementando un algoritmo de propagación de gráficos/creencias en Clojure, pero el código aún no está listo. (Mi código también eleva las redes bayesianas de la lógica proposicional de primer orden/lógica de orden superior.)

De todos modos, me gustaría compartir algunos consejos:

1. En primer lugar, tenga en cuenta que a pesar de la marginación se denota como sumatoria, sus propiedades son diferentes de la sumatoria. En particular, conmuta con productos de tablas de probabilidad (conocidas como potenciales). Es por eso que en la derivación matemática, las sumas y los productos pueden intercambiarse, mientras que en la aritmética ordinaria no pueden.

2. Tenga en cuenta que en el algoritmo de Pearl, los mensajes que van en sentido ascendente y descendente son diferentes: las probabilidades van en sentido ascendente y las probabilidades van en sentido descendente. (Esta es la razón por la cual la regla de Bayes funciona en la derivación de la propagación de creencias).

3. En el algoritmo de gráfico de factores, los mensajes son CPT (tablas de probabilidad condicional) como P (A | K). Los CPT de P (A | K) y P (K | A) y P (A, K) contienen esencialmente la misma información. En un nodo terminal, tenemos que marginar y condicionar el CPT sobre las variables apropiadas. Esto parece estar oscurecido en las notaciones matemáticas.