AprilTag y ArUco markers: los marcadores fiduciales y su uso en la robótica

Cuando un robot percibe su entorno, muchas veces necesita saber dónde se encuentran los objetos y cuál es su posición respecto a ellos. Por ejemplo, para encontrar su estación de carga, localizar una pieza que debe tomar o identificar una zona de trabajo.

Una de las opciones más económicas para esto es utilizar una cámara 2D. Sin embargo, las imágenes nos proporcionan píxeles, no distancias ni posiciones en el espacio.

Un cuarto de laboratorio instrumentado con marcadores: cada uno es una referencia con identidad y posición conocidas. Foto: dataset STAR-loc, CC BY 4.0.

Una forma de resolverlo es utilizando marcadores fiduciales, imágenes similares a códigos QR con patrones diseñados para ser detectados por algoritmos de visión.

Al conocer el tamaño del marcador y utilizar una cámara calibrada, podemos estimar su posición (x, y, z) y orientación (roll, pitch, yaw) respecto a la cámara. Además, cada patrón contiene un ID que permite identificar el marcador y utilizarlo como punto de referencia.

Existen diferentes tipos de marcadores fiduciales, entre los que destacan AprilTag y ArUco, cada uno con distintas familias de patrones.

Qué es un marcador

Un marcador fiducial se parece a un código QR, pero es mucho más simple. En lugar de guardar un texto, guarda un número pequeño que lo identifica, y está diseñado para detectarse de lejos y medirse con precisión, no para leerse de cerca.

Un marcador tiene tres partes, y cada una cumple una función:

• El borde negro. Es lo primero que busca el detector, porque se distingue de lejos y en ángulo, antes de que los bits se puedan leer.
• La rejilla de bits. Son las celdas blancas y negras del interior. Por ejemplo, en la familia 36h11 de AprilTag la rejilla es de 6 × 6 celdas, y su patrón codifica el ID del marcador.
• La zona blanca alrededor. Debe tener al menos el ancho de una celda. Sin ella, el borde negro se confunde con el fondo y el detector no lo encuentra.

Lo que realmente usamos para medir son las cuatro esquinas del borde. Con su posición en píxeles, el tamaño real del marcador y la calibración de la cámara, se puede calcular dónde está el marcador en el espacio. Por eso un marcador doblado, brillante o con una esquina tapada da una posición incorrecta o ninguna.

Los bits no son simplemente el ID escrito en binario, sino un código con corrección de errores. En la familia 36h11 hay 36 bits y dos IDs válidos difieren siempre en al menos 11 de ellos. Si la iluminación o el desenfoque cambian algunos bits, el detector puede corregirlos o descartar la lectura, pero no entrega un ID equivocado. Esto es lo que permite confiar en el marcador para mover un robot.

Los dos tipos más usados son AprilTag, desarrollado en la Universidad de Michigan y muy extendido en ROS 2, y ArUco, desarrollado en la Universidad de Córdoba e incluido en OpenCV. Ambos se detectan con el mismo tipo de algoritmo, y OpenCV puede leer los dos. También existe el tablero ChArUco, que no es un marcador sino un tablero de ajedrez con un ArUco en cada casilla blanca; es la opción habitual para calibrar cámaras.

Un tablero ChArUco impreso: el ajedrez aporta las esquinas y los ArUco identifican cada una. Foto: OpenCV, Apache-2.0.

De píxeles a coordenadas 3D

La detección usa técnicas clásicas de visión por computadora, sin redes neuronales, por lo que funciona en tiempo real en un procesador normal. El detector convierte la imagen a escala de grises, aplica un umbral adaptativo para separar lo claro de lo oscuro aunque la iluminación no sea uniforme, busca figuras de cuatro lados, rectifica el interior de cada una y lee sus bits. Si el resultado corresponde a un ID válido, refina la posición de las esquinas con una precisión menor a un píxel. Hasta aquí todo ocurre en la imagen: el detector entrega un ID y cuatro esquinas en píxeles.

Qué es una pose

Imaginemos una línea que sale desde el centro del lente de la cámara. La pose del marcador son seis números medidos respecto a esa línea: qué tan adelante está, qué tan a un lado y qué tan arriba, además de cómo está girado en cada uno de los tres ejes. Con esta información el robot sabe a dónde dirigirse y con qué orientación llegar. Un marcador más cercano o más grande ocupa más píxeles, y por eso da una pose más precisa.

De las esquinas a la pose

Una cámara calibrada proyecta cada punto del espacio a un píxel de la imagen según la ecuación

$$s\,\begin{bmatrix} u \\ v \\ 1 \end{bmatrix} = K\,[\,R \mid t\,]\begin{bmatrix} X \\ Y \\ 0 \\ 1 \end{bmatrix}$$

donde $K$ describe la lente (los parámetros intrínsecos) y $R$ y $t$ son la rotación y la traslación entre la cámara y el marcador, es decir, la pose. Las esquinas tienen coordenadas conocidas en el marcador, porque es un cuadrado de lado $L$, y coordenadas medidas en la imagen. Encontrar $R$ y $t$ a partir de esas correspondencias es el problema conocido como PnP. Para un marcador cuadrado y plano se usa el método IPPE, disponible en OpenCV como SOLVEPNP_IPPE_SQUARE.

La ambigüedad del plano

Cuando los cuatro puntos están en un mismo plano, dos poses distintas pueden producir casi la misma imagen. Un marcador inclinado hacia la izquierda y otro inclinado hacia la derecha se ven prácticamente iguales si están de frente y a media distancia. No es un error del algoritmo, sino una consecuencia de la geometría. IPPE devuelve las dos soluciones con su error de reproyección; cuando ambas se parecen, la orientación puede cambiar de una a otra entre un cuadro y el siguiente. La forma de evitarlo es colocar marcadores que no estén en el mismo plano, o apoyarse en otra fuente de información, como la odometría, un segundo marcador o una segunda cámara.

Precisión y calibración

La posición se estima bien a corta distancia y empeora conforme el marcador se aleja, porque ocupa menos píxeles. La orientación es lo más delicado: de frente, por la ambigüedad del plano, y muy inclinado, porque el ruido en las esquinas se convierte en grados de error. Además, nada de esto funciona sin calibrar la cámara. Sin los parámetros intrínsecos y la distorsión del lente, el detector encuentra las esquinas correctamente, pero las convierte a metros usando un modelo de lente que no corresponde al real. La calibración se hace una sola vez por cámara y resolución, con un tablero ChArUco y varias fotos desde distintos ángulos.

También hay situaciones en las que la detección falla o engaña: cuando hay movimiento y las esquinas salen borrosas, cuando un reflejo cae sobre una celda, cuando el marcador está doblado o sobre una superficie curva, cuando una esquina queda tapada, o cuando el tamaño declarado no coincide con el impreso. Por ejemplo, un marcador impreso al 97 % de su tamaño da distancias un 3 % más cortas, siempre y sin ningún aviso. Por eso, antes de permitir que una pose mueva un motor, conviene verificar que el error de reproyección sea bajo y estable, que la distancia y el ángulo estén dentro del rango esperado, que no haya saltos entre cuadros y que la pose esté expresada en el marco que el controlador espera.

Lo que entrega el detector: cada marcador con su ID y sus tres ejes, ya en metros. Captura: TagSLAM, Apache-2.0.

Del marcador al robot

El detector entrega la pose del marcador respecto a la cámara, $T_{cam \leftarrow tag}$. Sin embargo, lo que el robot necesita es la posición del marcador respecto a su propia base. Para obtenerla se componen las dos transformaciones:

$$T_{base \leftarrow tag} = T_{base \leftarrow cam}\; T_{cam \leftarrow tag}$$

En ROS 2 esta cadena de transformaciones se maneja con tf2. La cámara publica su imagen junto con su calibración, el detector publica un marco por cada marcador, y el componente que la consume, por ejemplo el acoplamiento a la estación de carga de Nav2, la localización o el planificador del brazo, pide la transformación que necesita con su marca de tiempo. Un error frecuente está en los ejes: el marco óptico de la cámara mira a lo largo de $z$, mientras que el marco del cuerpo del robot mira a lo largo de $x$. Además, el eje $z$ del marcador apunta hacia dentro en AprilTag y hacia fuera en ArUco. Antes de combinar dos poses conviene confirmar en qué marco está cada una.

Calibración mano-ojo

Cuando la cámara va montada en la muñeca de un brazo, hace falta conocer la transformación fija entre la cámara y la brida del robot, y no es algo que se pueda medir con una regla. Se resuelve planteando la ecuación $AX = XB$: el brazo pasa por varias poses; en cada una se registra el movimiento de la brida, que el robot conoce, y el movimiento del marcador visto por la cámara, y $X$ es la única transformación consistente con todos los pares. OpenCV lo resuelve con calibrateHandEye y MoveIt lo integra en RViz. Para esta calibración el marcador debe estar cerca y de frente a la cámara.

El montaje real: cámara en la muñeca y tablero fijo en la mesa. Foto: MoveIt, BSD-3.

Varios marcadores

Si se cuenta con un mapa donde la pose de cada marcador es conocida, cada cuadro se resuelve como un solo problema PnP usando todas las esquinas visibles. Si el mapa no existe, TagSLAM lo construye optimizando al mismo tiempo las poses del robot y las de los marcadores. Más marcadores no siempre es mejor: uno lejano o muy inclinado aporta más ruido que información, y uno mal medido en el mapa afecta a los demás. Lo que ayuda son marcadores bien visibles y colocados en planos distintos.

Del marcador a la acción

El error de reproyección, es decir, la diferencia entre dónde deberían caer las esquinas según la pose calculada y dónde se detectaron, es el indicador de confianza. Si aumenta, algo está mal: la calibración, el tamaño declarado o un marcador doblado. Con una pose confiable, el caso típico de una estación de trabajo sigue siempre los mismos pasos:

1. El robot navega hasta una zona aproximada usando su mapa y su lidar.
2. Detecta el marcador de la estación.
3. Estima el error en posición y orientación respecto a donde debería estar.
4. Corrige su posición, verifica que quedó dentro de la tolerancia y solo entonces actúa.

En manipulación el marcador suele usarse dos veces. Una cámara fija en la base del robot da una pose aproximada y el brazo se acerca; después, una cámara en la muñeca vuelve a ver el marcador y corrige en lazo cerrado hasta la posición final.

Una estación real: un marcador en el estante para la pieza y otro en el piso para el acoplamiento. Foto: From Pixels to Shelf, CC BY 4.0.