Recientemente, el equipo de investigación y desarrollo de Homsh ¢s completó la integración en cascada de tres niveles del módulo de captura binocular MD31, la plataforma de computación de borde RK3588 y la placa aceleradora FPGA AXU9EGB,y publicó un informe técnico por etapasDesde la captura de una imagen de 640×480 grayscale del ojo por la cámara, a través de la evaluación de calidad, localización del iris, inferencia de características, coincidencia 1:N,a la visualización de los resultados de reconocimiento de nuevo en la pantalla esta tubería entera ahora se ejecuta completamente a través de tres placas de hardware.
Para Homsh, esto es más que otra prueba exitosa de integración.Significa que hemos migrado las capacidades de reconocimiento de iris que se ejecutan anteriormente en PC industriales Windows a una arquitectura de borde con menor consumo de energía, factores de forma más flexibles, y la capacidad de ser incorporado en varios dispositivos terminales.
Todo el sistema adopta una arquitectura en cascada: captura y recorte por cámara MD31, acceso y transmisión por RK3588, inferencia por AXU9EGB FPGA y retroalimentación visual por RK3588.Las salidas MD31 recortadas imágenes de un solo ojo para ambos ojos izquierdo y derecho; el RK3588 se ejecuta en Android ARM64, responsable del emparejamiento binocular, gestión de tareas y transmisión de red; el FPGA maneja la puerta de calidad y todos los algoritmos del iris,y envía los resultados de vuelta a la RK3588 para su visualización.
Esta división del trabajo tiene un significado más profundo: la captura de la cámara y la inferencia FPGA están completamente desacopladas, conectadas por una capa semántica de protocolo unificado.Cada conjunto de imágenes del ojo izquierdo y derecho está asociado con un ID de operación y un número de secuencia estrictamente incremental, asegurando que no haya confusión entre los cuadros de vista previa, los cuadros de re-intento y los cuadros de las tareas anteriores.tanto nuestra solución de Windows heredada y la nueva solución RK3588 comparten el mismo conjunto de protocolos FPGA y definiciones de resultados de inferencia, con un conjunto de servicios integrados que soportan dos generaciones de sistemas host.
Flujo general de datos de la cascada de tres niveles
El FPGA devuelve el estado de calidad, las identidades de los candidatos, las puntuaciones de similitud, las distancias, los umbrales y las duraciones de las etapas juntos, haciendo que todo el proceso de reconocimiento sea completamente visible para los usuarios.
La parte más pesada de la tubería se encuentra en el AXU9EGB basado en la placa FPGA Zynq UltraScale + MPSoC, y habilitado por Vitis AI 3.0 y aceleración de hardware DPU,se lleva a cabo la tubería de inferencia completa de siete pasos: desde la validación de la entrada, la localización de la pupila y el iris a través de un modelo circular de seis parámetros, el acceso de calidad, el desempaquetamiento de coordenadas polares Daugman,a la generación de características de iris de 512 dimensiones por la red profunda IResNet100, 1:N coincidiendo después de la normalización de L2, y finalmente devolviendo resultados junto con la latencia por etapa.
Habilitar una red profunda de cien capas para extraer características de manera estable en FPGA depende de una alineación estricta entre la cuantización del modelo, los conjuntos de datos de calibración y las distribuciones de imágenes de cámaras reales,así como un backend de aceleración de copia cero personalizado para el modelo circularEsto es exactamente lo que Homsh ha estado haciendo durante 15 años: integrar algoritmos en el hardware, para que el reconocimiento ocurra lo más cerca posible del dispositivo.
Pipeline de inferencia a bordo de siete pasos en FPGA
Las imágenes que fallan las comprobaciones de calidad se rechazan en el tercer paso, evitando el desperdicio de cálculo de características.Vector de características del iris de 512 dimensiones ¢ 7 pasos de la tubería de inferencia a bordo ¢ 326 pruebas acumuladas aprobadas
En cuanto a la lógica de uso, el sistema se adhiere al principio de "registro estricto, reconocimiento flexible".tanto las plantillas del ojo izquierdo y derecho del usuario deben pasar la puerta de calidad y ser inscritos con éxitoEn cambio, durante el reconocimiento, los ojos izquierdo y derecho se deducen por separado y se combinan:N con respecto a las plantillas del ojo izquierdo y derecho en la biblioteca de plantillas, respectivamente. Una coincidencia de cualquier imagen de ojo de una sola consulta con cualquier plantilla devuelve un resultado los usuarios no necesitan posicionar ambos ojos para el sistema; el ojo capturado se procesa.
Las fallas de calidad, los desajustes temporales o los errores de comunicación recuperables no terminan abruptamente la tarea. El sistema conserva el estado de la tarea y continúa esperando el siguiente conjunto de imágenes;después de la recuperación de la conexión, se reanuda desde el ID de operación y los números de secuencia reconocidos sin volver a enviar cuadros ya recibidos por el FPGA.latencia se devuelve a la interfaz, haciendo visible el éxito, el fracaso y las repeticiones a los usuarios.
El registro requiere plantillas binoculares completas, mientras que el reconocimiento solo requiere una coincidencia de cualquiera de los ojos, equilibrando la seguridad y la experiencia del usuario.
Lo que más nos enorgullece de este informe es su metodología, cada conclusión de verificación está claramente clasificada en cuatro tipos:"Verificado históricamente" de registros de integración anteriores, "Inferido" derivado de la lógica de implementación, y honestamente marcado "Para ser verificado" para elementos no confirmados temporalmente.150 pruebas de Python a bordo aprobadas, y las funciones de registro/reconocimiento y recuperación de conexiones completadas de la integración, todo ello está documentado en el informe.Los artículos que aún no han sido probados de nuevo en el sitio también están claramente marcados "Para ser verificados" en blanco y negro, sin ambigüedades.
El reconocimiento del iris es el negocio de la identidad, sin dejar espacio para "probablemente bien". Documentar las incertidumbres en papel es nuestro compromiso con nuestros clientes, y con nosotros mismos.
Tres cifras clave: características de 512 dimensiones generadas a través de la aceleración de DPU; todas las 176 pruebas automáticas de referencia de Windows aprobadas; 150 registros de pruebas de Python a bordo aprobados.
El juicio general del informe es que la solución actual ha sentado las bases para la demostración, integración y documentación por etapas,con límites arquitectónicos claros y una arquitectura de cascada global técnicamente factibleLas siguientes prioridades son igualmente claras: estabilidad de extremo a extremo, calidad de imagen en tiempo real, consistencia de desempaquetamiento de coordenadas polares y monitoreo de estado de circuito cerrado para el funcionamiento a largo plazo.mover la tubería de "funcional" a "estable y confiable", y luego a los productos listos para la producción.
Desde los chips de reconocimiento de iris desarrollados por ellos mismos, a la sinergia software-hardware entre algoritmos y FPGA, hasta la línea de reconocimiento completa de hoy integrada en dispositivos de borde,Homsh siempre ha creído que el futuro de la biometría está en el bordeEste informe gradual es otro paso hacia ese futuro.
