#2 Hacerlo en tiempo real se llama "realidad aumentada" y creo que aún no han llegado a hacerlo. Eso sí, en "diferido", se pueden hacer cosas super chulas con las redes neuronales. Busca aquí en mediatize, hemos enviado muchas noticias sobre el tema en el último año.