Como dijo MSN, se usan en diferentes casos. CGAffineTransform se utiliza para la manipulación en 2-D de NSViews, UIViews y otros elementos 2-D Core Graphics.
CATransform3D es una estructura de Core Animation que puede realizar manipulaciones 3D más complejas de CALayers. CATransform3D tiene la misma estructura interna que una matriz de vistas de modelos OpenGL, lo que tiene sentido cuando se da cuenta de que Core Animation se basa en OpenGL (los CALayers son envoltorios para texturas OpenGL, etc.). Descubrí que esta similitud de la estructura interna, combinada con algunas funciones de ayuda agradables que ofrece Apple, puede permitirle hacer algunas optimizaciones de OpenGL, ya que publico here.
Cuando se trata de elegir qué usar, pregúntese si va a trabajar con vistas directamente en un espacio 2-D (CGAffineTransform) o con las capas subyacentes de Core Animation en 3-D (CATransform3D). Uso CATransform3D con más frecuencia, pero eso es porque paso mucho tiempo con Core Animation.
2D Affine suele ser de 3 de ancho x 2 de alto (con una identidad implícita invisible en la fila inferior). – plinth
Estaba teniendo un problema con la velocidad de fotogramas/parpadeo reducido y esto lo solucionó. –