El futuro de las cámaras

La evolución de la tecnología de cámaras industriales y los sensores de imagen utilizados para aplicaciones de visión artificial, como la inspección de pantallas planas, placas de circuito impreso (PCB) y semiconductores, así como logística de almacenes, sistemas de transporte inteligente, monitoreo de cultivos y patología digital. ha impuesto nuevas demandas a las cámaras y sensores de imagen. La principal de ellas es la necesidad de equilibrar la unidad para una mayor resolución y velocidad con un menor consumo de energía y ancho de banda de datos. Y en algunos casos, también hay un impulso para la miniaturización.

En el exterior, se aloja una cámara con características de montaje y óptica. Si bien esto es importante para el usuario, existen desafíos importantes en el interior que afectan el rendimiento, la capacidad y el consumo de energía. El hardware, como los sensores de imagen y el procesador, así como el software, juegan un papel clave aquí.

A partir de lo que sabemos, ¿qué cambios veremos en cámaras, procesadores, sensores de imagen y procesamiento durante la próxima década? ¿Y cómo afectarán a nuestra calidad de vida?

Cuando elige un auto nuevo, una talla no sirve para todos. Lo mismo puede decirse de los sensores de imagen.

Es cierto que los sensores de imagen cada vez más grandes y potentes son muy atractivos para determinadas clases de aplicaciones de visión de alto rendimiento. En estos casos, el tamaño, el consumo de energía y el precio de los sensores de imagen utilizados en estas aplicaciones no son tan importantes como el rendimiento. La inspección de pantallas planas es un buen ejemplo. Algunos fabricantes de pantallas planas ahora están buscando defectos submicrónicos en pantallas de primera calidad. Eso es literalmente lo suficientemente pequeño como para detectar bacterias en la pantalla.

Las aplicaciones astronómicas terrestres y espaciales exigen un rendimiento aún mayor. Investigadores del Laboratorio Nacional Acelerador SLAC del Departamento de Energía de EE. UU. demostraron una solución de imágenes de 3 Gigapixeles, equivalente a cientos de cámaras actuales, utilizando una matriz de varios sensores de imagen más pequeños. Según SLAC, la "resolución de las imágenes es tan alta que podrías ver una pelota de golf desde unas 15 millas de distancia". Podemos inferir de este notable logro que el futuro de lo que pueden lograr los laboratorios de investigación del mundo es casi ilimitado.

Los miembros del equipo de la cámara LSST del Gran Telescopio Sinóptico de Exploración se preparan para la instalación de la lente L3 en el plano focal de la cámara, una matriz circular de sensores CCD capaces de generar imágenes de 3,2 megapíxeles. Imagen a través de Jacqueline Ramseyer Orrell/SLAC National Accelerator Laboratory

Pero no importa qué tan alta sea la resolución, podemos ver que las imágenes 2D bien establecidas están comenzando a quedarse sin capacidad. Los sistemas de inspección óptica avanzados en realidad no exigen mayor velocidad o más datos. Exigen más y sólo información útil.

Un puñado de tendencias en torno a la cantidad cada vez mayor de información necesaria para cada píxel está ganando terreno.

La captura de imágenes 3D proporciona una dimensión extra que ofrece más granularidad, detalle y capacidad de detección. Las aplicaciones como la inspección de baterías o, una vez más, la fabricación de pantallas de TV/portátiles/teléfonos están impulsando sensores de inspección óptica para recopilar aún más información. En este caso, incluso encontrar defectos 2D con una resolución submicrónica se está volviendo insuficiente, lo que nos obliga a averiguar su altura y posiblemente incluso su forma para determinar si las imágenes se ven afectadas por polvo limpiable, partículas duras o agujas, entre otras partículas.

Los desarrolladores de aplicaciones emplean diligentemente colores, ángulos y diferentes modalidades de imágenes, como 3D o polarización, que es otra dimensión de la luz, para satisfacer las necesidades de sus clientes. A su vez, los fabricantes de cámaras están trabajando arduamente para ofrecer las herramientas para el comercio.

La imagen hiperespectral es otra tendencia que se fortalece rápidamente. Como la mayoría de las técnicas de teledetección, las imágenes hiperespectrales utilizan el hecho de que todos los objetos, debido a sus estructuras electrónicas (para el espectro visible) y moleculares (para el espectro SWIR/MWIR) poseen una huella espectral única, basada en las longitudes de onda de luz visible e invisible que absorben y reflejan. Esto revela una multitud de detalles que no son visibles con los sistemas de imágenes en color normales (p. ej., humano o cámara). La capacidad de "ver" la química en los materiales tiene amplias aplicaciones en la exploración de minerales, gas y petróleo, en astronomía y en el control de llanuras aluviales y humedales. La alta resolución espectral, la separación y la velocidad son útiles en la inspección de obleas, la metrología y las ciencias de la salud.

En estos mercados, los fabricantes de sensores y cámaras están ampliando los límites en cuanto a velocidad, costo, resolución y capacidad. Estamos ampliando nuestra tecnología dentro del rango espectral, abarcando la detección de energía que comienza con rayos X y termina en imágenes térmicas de alta precisión, lo que permite que más aplicaciones accedan a estas tecnologías. Esta inspección más cuidadosa, rápida y precisa ayuda a los fabricantes a introducir una inspección del 100 % en, por ejemplo, alimentos, búsqueda de contaminantes, medición del contenido y detección de bacterias transmitidas por los alimentos.

El procesamiento de imágenes es intensivo en datos por naturaleza. Los generadores de imágenes de alta resolución, que funcionan a velocidades de cuadro extremadamente altas en la actualidad, pueden producir más de 16 GB/s de datos continuos. Luego, las aplicaciones requieren capturar, analizar y actuar sobre estos datos. La emergencia de la inteligencia artificial (IA) empuja aún más los límites de las necesidades de procesamiento.

Tomemos el ejemplo de una cámara basada en IA para la aplicación de semáforos.

Por lo general, estas aplicaciones se utilizan en el rango de un sensor de 10 megapíxeles, que opera alrededor de 60 fotogramas por segundo. Esto ofrece un flujo de datos continuo de solo 600 MB/s de datos.

Actualmente, el procesamiento de redes neuronales típico se basa en el uso de cuadros de imagen pequeños, del orden de 224x224 píxeles en color = 3*50 Kilo píxeles a 3*1 byte por píxel (150kB por cuadro). La CPU de una PC moderna puede permitir que una red neuronal de reconocimiento de objetos se ejecute a 20 cuadros por segundo, logrando un rendimiento de datos de ~3 MB/s. Este es un rendimiento de datos 200 veces menor que con las cámaras de tráfico, lo que limita la posibleaporteflujo de datos severamente.

Las soluciones de tráfico inteligente pueden combinar cámaras de video y térmicas con inteligencia artificial, análisis de video, radar y V2X con software de análisis de datos y administración de tráfico para ayudar a las ciudades a funcionar de manera segura y sin problemas. Imágenes a través de Teledyne FLIR

Es importante notar que elproducción El flujo debe verse como información, no solo como datos sin procesar. Siguiendo el ejemplo de un flujo de imágenes de 600 MB/s, el sistema realiza seguimiento, lectura y procesamiento para obtener unos números por escena. Podríamos ver una matrícula o, en una aplicación de clasificación, incluso simplemente "expulsar: sí o no", reduciendo el enorme flujo de datos a un solo bit.

Si bien esta no es una tarea fácil, si se logra, será muy atractiva para la captura, el procesamiento y el almacenamiento de datos posteriores. Para resolver estas restricciones de flujo de datos de entrada, debemos combinar una ingeniería de sensores inteligente, procesadores de IA avanzados y soluciones algorítmicas integradas.

La gran mayoría de las cámaras utilizan semiconductores tradicionales, como unidades centrales de procesamiento (CPU) o matrices de puertas programables en campo (FPGA). Las unidades más potentes pueden utilizar FPGA o unidades de procesamiento de gráficos (GPU) más potentes. Hasta ahora, este tipo de procesadores han podido seguir la Ley de Moore, pero el rendimiento pasado no garantiza el futuro.

Además, las GPU, CPU y FPGA consumen mucha energía y, en consecuencia, generan mucho calor. Hasta cierto punto, esto se puede gestionar con un buen diseño, pero necesitaremos un procesador y un procesamiento alternativos: arquitecturas para resolver los desafíos a largo plazo.

La computación cuántica y los procesadores fotónicos/electrónicos integrados se están alineando para cumplir con los requisitos de rendimiento/potencia más exigentes de cualquier aplicación de procesamiento de imágenes.

Sin embargo, hasta que esas tecnologías estén disponibles y sean comercialmente factibles, las arquitecturas de procesadores más nuevas, como la computación en memoria o la aceleración integrada y dedicada, seguirán superando los límites de lo que es posible.

Principalmente, los fabricantes deben considerar operaciones de tera por segundo por vatio (TOPS/W) al seleccionar el procesador adecuado para su sistema. Si bien esta es una cifra de mérito útil para la eficiencia energética bruta, debemos recordar que el requisito final es en realidad decisiones por vatio, una métrica que aún no existe.

En el lado del procesamiento, impulsado por gigantes como Microsoft, Apple y Google, estamos viendo avances en los algoritmos, tanto en velocidad como en capacidad. Las soluciones basadas en IA son cada vez más ligeras, pero más capaces y de mayor alcance. Las soluciones tradicionales basadas en algoritmos utilizan arquitecturas de procesador modernas con mayor eficiencia. La disponibilidad de herramientas comerciales de software de IA, que pueden integrarse en los flujos de implementación existentes, está conduciendo a una menor energía y costo, al mismo tiempo que aumenta las capacidades.

Junto con las tecnologías avanzadas de sensores de imagen, también estamos viendo el avance de soluciones de datos bajos, incluida la detección basada en eventos implementada espacial, temporalmente e incluso a nivel de fotones, por ejemplo, tubo multiplicador de fotones o CCD de multiplicación de electrones (EMCCD). reemplazos

La gama de cámaras Evolve incluye sensores EMCCD líderes en el mundo diseñados y fabricados por Teledyne e2v para eficiencia cuántica y bajo ruido de lectura. Los sensores están integrados en cámaras por Teledyne Photometrics para aplicaciones con muy poca luz, como imágenes de moléculas individuales y microscopía TIRF.

Los sensores basados ​​en eventos reaccionan al cambio, filtrando datos irrelevantes directamente en el sensor para enviar solo información de píxeles que han cambiado al procesador. Esto difiere de los sensores tradicionales basados ​​en cuadros, que registran y envían todos los píxeles para su procesamiento, sobrecargando así la canalización del sistema. A menudo nos referimos a este tipo de flujo de datos como procesamiento neuromórfico, ya que su arquitectura de procesamiento de datos imita las formas en que el cerebro humano procesa la información. Si bien el procesamiento neuromórfico se puede realizar en el procesador, si queremos lograr una reducción óptima del volumen de datos, debemos combinar un sensor basado en eventos con un procesador neuromórfico.

Hay otras formas inteligentes de reducir dinámicamente la transmisión de datos, incluidas las funciones de región de interés (ROI) inteligente y los algoritmos dinámicos de reducción de datos, que estamos empezando a surgir en sensores de gama alta.

La integración del comportamiento especializado de captura de datos con procesadores de alto rendimiento y algoritmos ligeros e inteligentes nos brinda la combinación crítica que necesitamos para tomar decisiones justo en el borde, donde ocurren los eventos y se necesita acción. Con este enfoque, incluso los sistemas de inspección óptica de alto rendimiento y alta información pueden operar de forma independiente sin conexiones de PC largas, lentas y costosas, lo que les permite reaccionar a los problemas más rápido con un 100% de monitoreo a un costo reducido.

En su totalidad, estos avances mejorarán la seguridad y la calidad de diversos productos, productos y bienes agrícolas, al mismo tiempo que reducirán los costos de producción.

Hay otro nivel de inspección que escapa a los métodos tradicionales.

A diferencia de los fabricantes de pantallas planas, que no quieren detectar bacterias en sus pantallas, hay casos en los que los usuarios necesitan ver bacterias en una resolución muy alta.

Aquí estamos utilizando tecnologías de microscopía de gran aumento, incorporando métodos que son ópticos, químicos, biológicos y computacionales para proporcionar información más profunda sobre la nanoestructura de nuestro mundo.

Los sensores de imagen han hecho posible inspeccionar el tejido humano en busca de células cancerosas. Si bien el método actual para detectar el cáncer en muestras de tejido es rudimentario y requiere la extracción quirúrgica de muestras de tejido, que luego se envían a un laboratorio para su estudio, una nueva técnica, la citometría celular, algún día permitirá a los médicos determinar si una muestra es cancerosa en casi en tiempo real, mientras el paciente todavía está en la mesa de operaciones. Con la capacidad de procesamiento acercándose al píxel, ahora podemos capturar la imagen de una célula y observar su ADN en un gran laboratorio en un entorno clínico. En el futuro, trasladaremos esta inspección celular casi en tiempo real de los grandes laboratorios a los laboratorios locales y, finalmente, a la mesa de operaciones.

Investigadores de la Universidad de Hong Kong desarrollaron técnicas de citometría de flujo de imágenes para reducir el tiempo y el costo de los análisis de sangre. Mediante el uso de imágenes de escaneo de línea de láser pulsado con el digitalizador de Teledyne SP Devices, pudieron procesar las enormes cantidades de datos resultantes (hasta 100 000 imágenes de una sola celda/s y 1 TB de datos de imagen en 1 o 2 minutos) cuando se combina con una profunda -aprendizaje de redes neuronales y análisis automatizado de "big-data".

Imagínese armar a un cirujano con las herramientas para completar el diagnóstico mientras se encuentra en medio de una operación. Un tumor podría clasificarse y extirparse en tiempo real, en lugar de imponer un período de espera estresante al paciente y obligar al médico a realizar una segunda cirugía. Eso es una verdadera mejora en la calidad de vida.

El tamaño presenta otra capa de desafío para el desarrollo de imágenes y visión. Las soluciones novedosas de alta capacidad son generalmente caras y grandes. Apuntar a tener un analizador de genómica en un escritorio durante la cirugía in vivo ejemplifica el desafío que debemos superar si queremos realizar soluciones más pequeñas y accesibles para los médicos y sus pacientes.

Los sensores de imagen ultrapequeños, las fuentes de luz y los procesadores para aplicaciones de cámaras en miniatura vienen al rescate. Los diminutos sensores de imagen CMOS con chip en la punta ofrecen a los cirujanos la visión mejorada que necesitan para realizar cirugías endoscópicas y laparoscópicas mínimamente invasivas de manera más eficiente que en el pasado. La cirugía guiada por robot se beneficia de manera similar de sensores de imagen compactos con un tamaño de píxel muy pequeño y una calidad de imagen optimizada para procedimientos médicos específicos.

Los sensores de imagen CMOS de "chip en la punta" para endoscopios y laparoscopios desechables y flexibles requieren sensores compactos con un tamaño de píxel muy pequeño y una calidad de imagen específicamente optimizada para la aplicación médica.

Con herramientas poderosas y efectivas disponibles para los médicos, los procedimientos médicos serán más rápidos, menos invasivos y más exitosos, lo que beneficiará a los pacientes, los médicos y la comunidad médica en general.

Los avances en la tecnología de detección de imágenes y cámaras tendrán un gran impacto no solo en la planta de producción o en el almacén o en los sistemas de transporte inteligente. Implementadas en drones o integradas en dispositivos portátiles, la próxima generación de cámaras utilizará la espectroscopia para decirnos si hay toxinas en nuestros productos o en nuestra agua potable, o si hay toxinas ambientales en el aire que respiramos.

Incluso las pruebas de reacción en cadena de la polimerasa (PCR) para enfermedades como el SARS-CoV-2 se realizarán de manera más fácil y económica a medida que se utilicen sensores de imagen de menor costo en las herramientas de diagnóstico molecular. Y la secuenciación del ADN, que alguna vez requirió grandes y costosas máquinas para secuenciar el genoma humano para determinar la ascendencia, será cada vez más accesible y asequible gracias a las innovaciones en imágenes y análisis.

Si bien no podemos pronosticar con un 100% de precisión, podemos hacer predicciones basadas en lo que sabemos sobre las demandas del mercado y la tecnología en evolución. Espere procesadores de IA cada vez más potentes que ofrezcan una mayor fuerza computacional a menor potencia y temperaturas más frías. En combinación con potentes soluciones algorítmicas, los proveedores de soluciones obtendrán acceso a una gama más amplia de aplicaciones adecuadas.

Las plataformas informáticas neuromórficas imitarán la eficiencia de la visión humana. Los algoritmos de software de IA más intuitivos entrenarán los modelos de visión artificial con más eficacia que nunca. Las imágenes hiperespectrales continuarán llevándonos debajo de la superficie de la Tierra. Y los sensores de imagen miniaturizados permitirán el diagnóstico molecular mientras el paciente aún está en cirugía.

Las cámaras han recorrido un millón de millas desde la invención de las primeras cámaras fotográficas a principios del siglo XVIII. Viajaremos millones más a medida que las innovaciones en cámaras y sensores de imagen informen nuestra capacidad para comprender el mundo que nos rodea y dentro de nosotros.

Escrito por Matthias Sonder, Teledyne DALSA