Es probable que utilice la API de depuración y coloque los ganchos de depuración en puntos clave de la aplicación para atrapar eventos. Incluso puede hacer lo que quiera usando ollydbg.
EDIT: Acabo de mirar el sitio y vi los videos de demostración y diría que casi con certeza lo hacen a través de la API de depuración. Es probable que coloquen puntos de interrupción en el objetivo en los puntos de entrada de la función deseada. Cuando se desencadena un evento trampa, parece que utilizan una llamada RPC para notificar al usuario de su API y permitirles ver lo que sucedió y modificar potencialmente algunas cosas. Envío de lo que debe hacer a continuación también en una llamada RPC. Un diseño agradable, pero solo un depurador glorificado.
Ya conocía OllyDbg, pero nunca lo usé realmente, y nunca pensé que podría hacerlo. – Jazz