Un conjunto de datos abierto para el reconocimiento inteligente y la clasificación de condiciones anormales en la minería de tajo largo

Nov 21, 2023

Datos científicos volumen 10, número de artículo: 416 (2023) Citar este artículo

1687 Accesos

1 altmétrica

Detalles de métricas

La producción de minas de carbón subterráneas de la minería totalmente mecanizada presenta muchos problemas, como un entorno operativo deficiente, una alta tasa de accidentes, etc. Recientemente, la minería de carbón autónoma inteligente está reemplazando gradualmente el proceso de minería tradicional. La tecnología de inteligencia artificial es un área de investigación activa y se espera que identifique y advierta las condiciones anormales subterráneas para la minería inteligente de tajo largo. Es inseparable de la construcción de conjuntos de datos, pero el conjunto de datos de fondo de pozo todavía está en blanco en la actualidad. Este trabajo desarrolla un conjunto de datos de imágenes del frente minero subterráneo de tajo largo (DsLMF+), que consta de 138004 imágenes con anotaciones de 6 categorías de personal de la mina, placa de protección de soporte hidráulico, carbón grande, cable de remolque, comportamiento de los mineros y casco de seguridad de la mina. Todas las etiquetas del conjunto de datos están disponibles públicamente en formato YOLO y formato COCO. La disponibilidad y precisión de los conjuntos de datos fueron revisadas por expertos en el campo de las minas de carbón. El conjunto de datos es de acceso abierto y tiene como objetivo respaldar futuras investigaciones y avances en la identificación y clasificación inteligente de condiciones anormales para la minería subterránea.

El carbón seguirá siendo la fuente de energía dominante en todo el mundo durante las próximas décadas1. Las máquinas autónomas de minería de carbón en la minería de frente largo pueden ayudar o reemplazar a los humanos para completar el peligroso trabajo minero y lograr una producción segura y eficiente en la mina de carbón. Pero todavía necesita la participación humana para completar algunas tareas complejas. Sin embargo, la excavación subterránea de carbón en la minería de tajo largo totalmente mecanizada presenta muchos problemas, como un entorno operativo deficiente, un alto riesgo de desastres, una alta tasa de accidentes, etc. La minería de inteligencia se ha convertido en una de las formas importantes de abordar el trabajo subterráneo de alto riesgo y lograr el objetivo de una producción subterránea segura y eficiente2. Con el rápido desarrollo de la tecnología de inteligencia artificial, se espera que la situación anormal de los equipos, el medio ambiente y el personal logre una detección precisa y en tiempo real.

En un frente de trabajo totalmente mecanizado, el soporte hidráulico es indispensable para la producción segura de todo el frente. Como equipo principal para la minería de carbón totalmente mecanizada, el soporte hidráulico puede proporcionar una cara de trabajo segura y mover el transportador raspador y la cizalla en la cara de trabajo3. También puede soportar de manera confiable y efectiva el techo de la mina de carbón, aislar áreas minadas y evitar que la roca estéril entre en el frente de trabajo. De acuerdo con el proceso de extracción de carbón de la cara de carbón totalmente mecanizada, una vez que la placa de soporte hidráulico no está en su lugar o no se recupera por completo durante el proceso de trabajo, puede causar interferencia de movimiento entre el soporte hidráulico y la cizalla. Por lo tanto, es necesario encontrar el estado de la placa protectora de soporte hidráulico a tiempo y tratarlo en consecuencia. Para el frente minero de tajo largo totalmente mecanizado, el carbón de gran tamaño es fácil de causar bloqueo, retención y otros estados anormales del transportador raspador. Es necesario identificar y rastrear automáticamente el carbón grande para juzgar y advertir oportunamente el estado anormal del carbón grande. La línea de remolque se utiliza en frentes mineros totalmente mecanizados para garantizar el suministro de energía y el funcionamiento estable de la cizalla. Sin embargo, durante el proceso de operación, el cable de tracción se rompería o se retiraría de la ranura para cables debido al apilamiento de abrazaderas para cables, y el cable podría romperse, lo que provocaría una fuga eléctrica subterránea, que eventualmente podría provocar una descarga eléctrica. , gas, explosión de polvo de carbón, incendio y otros accidentes importantes de seguridad en minas de carbón. Por lo tanto, es necesario realizar un monitoreo del estado en tiempo real y un análisis inteligente del cable de remolque para garantizar que la falla del cable de remolque se detecte y maneje a tiempo.

Con el objetivo de proteger la seguridad del personal en el frente minero totalmente mecanizado, es necesario identificar y rastrear al personal de la mina para juzgar si se encuentra en un área segura. El personal que ingresa al área peligrosa debe ser detectado y ubicado oportunamente, se debe realizar el procesamiento de recordatorio de voz correspondiente y al mismo tiempo se debe detener el funcionamiento del equipo correspondiente. Excepto los trabajadores mineros que ingresan a áreas peligrosas, los mineros del carbón tendrán una variedad de posturas diferentes durante el trabajo. En el complejo entorno de trabajo, los comportamientos inseguros de los mineros también conducirán fácilmente a un aumento de accidentes de seguridad en las minas de carbón, y el comportamiento anormal del personal de fondo de pozo también requiere atención en cualquier momento. El casco de seguridad es un tipo de equipo de seguridad que los mineros del carbón deben usar en todo momento durante su trabajo. El área donde se extrae la veta de carbón hará que la presión se transfiera desde el soporte hidráulico a la pared de carbón, lo que puede aumentar la presión sobre la pared de carbón y eventualmente provocar el fenómeno de desconchado de la pared de carbón. La caída de carbón desde el techo y la colisión entre el personal y el equipo pueden provocar accidentes con lesiones. Por lo tanto, los cascos de seguridad están relacionados con la seguridad de los mineros del carbón en faenas mineras totalmente mecanizadas, y el uso del casco de seguridad por parte del personal de la mina de carbón también necesita monitoreo en tiempo real.

Los estados anteriores de la placa protectora de soporte hidráulico, carbón grande, cable de remolque, detección de trabajadores mineros, comportamiento personal y condición de uso del casco de seguridad son los contenidos clave de la detección e identificación de anomalías en un frente de minería de tajo largo totalmente mecanizado. Los vídeos de seguimiento en frente minero totalmente mecanizado son numerosos y se actualizan rápidamente. La condición anormal de la cara de trabajo fue juzgada por personal especializado a través de videovigilancia en tiempo real en el proceso de producción tradicional, esto puede resultar en que la condición anormal no se encuentre a tiempo debido a la fatiga visual durante el trabajo a largo plazo. Por lo tanto, es de gran importancia aplicar tecnología de inteligencia artificial al análisis, identificación y advertencia de estados anormales, que incluyen la placa protectora de soporte hidráulico, carbón grande, cable de remolque, el comportamiento de los mineros y el estado de uso del casco de seguridad. La detección de objetos mediante la minería de datos de inteligencia es inseparable de los conjuntos de datos y se requiere una gran cantidad de muestras para el entrenamiento para lograr una mejor generalización4,5,6. Por lo tanto, es muy necesario establecer un conjunto de datos de imágenes para identificar y advertir las condiciones anormales subterráneas del frente minero de tajo largo totalmente mecanizado. Teniendo en cuenta que los conjuntos de datos de fondo de pozo todavía están en blanco en la actualidad, este trabajo construye el conjunto de datos de imágenes DsLMF+ para el reconocimiento inteligente de condiciones anormales en el frente minero subterráneo de tajo largo, que consiste principalmente en la placa protectora de soporte hidráulico, carbón grande, cable de remolque, casco de seguridad para minas y mineros de carbón. y el comportamiento de los mineros en el frente totalmente mecanizado.

Currently, datasets are widely used in automatic driving, object detection, face recognition, natural language processing, text detection, medical and other fields7,8,9,800 individuals. J. Scientific data. 9, 529 (2022)." href="/articles/s41597-023-02322-9#ref-CR10" id="ref-link-section-d353769747e540"> 10. Algunos conjuntos de datos de detección de objetos ampliamente utilizados son los siguientes: (1) conjuntos de datos COCO con elementos de gran escala comúnmente utilizados como objetos de detección de objetivos11,12,13; (2) conjuntos de datos de COV con personas, animales comunes, vehículos de tráfico y muebles de interior como objetos de detección de objetivos14,15,16; (3) Conjunto de datos DOTA con aviones, barcos, tanques de almacenamiento, estadios de béisbol, canchas de tenis, canchas de baloncesto, pistas terrestres, puertos y puentes como objetos de detección de objetivos17,18,19; (4) conjunto de datos TT100K con vehículos comunes como objeto de detección de objetivos20,21,22; (5) Conjunto de datos WIDER FACE con expresión facial, iluminación y postura como objetos de detección de objetivos23,24,25; (6) Conjunto de datos en formato YOLO dedicado a la detección de objetivos26,27,28, etc. Además de estos conjuntos de datos comunes, también podemos personalizar el conjunto de datos a través del marco pytorch, pero el formato del conjunto de datos personalizado es complejo, diversificado y poco compartido29. Los conjuntos de datos de fondo de pozo todavía están en blanco en la actualidad, para construir y facilitar la promoción y aplicación del conjunto de datos de imágenes de la cara totalmente mecanizada en el campo de la minería de carbón inteligente, se debe tener en cuenta la compatibilidad y viabilidad del conjunto de datos de la mina de carbón.

Sobre la base del análisis del formato y método de producción de los conjuntos de datos de detección de objetos comúnmente utilizados anteriormente, la producción de los conjuntos de datos en este trabajo ha sido completada por personal que está familiarizado con la minería totalmente mecanizada en una mina de carbón. El software Labelimg se ha utilizado para completar la anotación de etiquetas de conjuntos de datos en el formato YOLO30, lo que lo hace conveniente para su uso en las actualmente populares redes de detección de objetivos de la serie YOLO. Al mismo tiempo, para ampliar el rango de aplicación de este conjunto de datos, el formato de etiqueta del conjunto de datos también se ha convertido al formato COCO mediante un script de conversión de formato de etiqueta y, por lo tanto, podría usarse en los métodos de detección de objetivos COCO actualmente populares. . Por supuesto, además del formato de etiqueta COCO y el formato de etiqueta YOLO, el resto del formato de etiqueta de datos también se puede convertir mediante el script de conversión de etiqueta.

El conjunto de datos de imágenes del frente minero de tajo largo totalmente mecanizado (DsLMF+) es de gran importancia para la aplicación de la detección de objetos utilizando la minería de datos de inteligencia en el campo de la mina de carbón, que se espera que sea capaz de identificar y advertir las condiciones anormales subterráneas. resolver los problemas del trabajo subterráneo peligroso e ineficiente y así acelerar la intelectualización de la mina de carbón.

El proceso de construcción del conjunto de datos de imágenes del frente minero subterráneo de tajo largo (DsLMF+) se muestra en la Fig. 1, que se divide principalmente en los siguientes tres pasos: (1) recopilación de datos de imágenes; (2) Filtrado de datos de imágenes; (3) Etiquetado de datos.

Descripción general del proceso de construcción de los conjuntos de datos DsLMF+.

Los vídeos originales de monitoreo subterráneo del frente de extracción de carbón totalmente mecanizado fueron ofrecidos por varias minas de carbón en la provincia china de Shaanxi, que luego fueron examinados y clasificados según los diferentes objetos objetivo. Firmamos un acuerdo de autorización de escena con Shaanxi Coal and Chemical Industry Group Sunjiacha Longhua Mining Co.,LTD, para garantizar que el conjunto de datos pueda divulgarse normalmente. Mientras tanto, el acuerdo también incluía la autorización para la divulgación de los retratos del personal de la mina, a fin de garantizar que los mineros que son fotografiados en la escena de la mina de carbón estuvieran al tanto de la divulgación del conjunto de datos. El equipo de adquisición de imágenes está compuesto por una cámara de red HD IVG-G5A y una lente Openmv IMX335 (1/2,8”). La distancia focal de la lente es de 2,02 mm y el ángulo de campo de visión es de 119,8°(D), 105,2°(H) y 87,2°(V). La cámara puede completar la adquisición de imágenes con una resolución máxima de 5 megapíxeles, la velocidad de cuadros es de 1~30 FPS y los formatos de video utilizados son video Flash (FLV) y MPEG-4. El software de procesamiento de video FFmpeg se utiliza para procesar los videos clasificados necesarios31 y recortar imágenes relevantes de acuerdo con las diferentes configuraciones de velocidad de fotogramas. Los conjuntos de datos DsLMF+ creados en este trabajo constan de 6 categorías, que son, respectivamente, mineros de carbón, carbón grande, cable de remolque, casco de seguridad para minas, placa protectora de soporte hidráulico y comportamientos de los mineros. Teniendo en cuenta que no hay ningún objeto objetivo que deba anotarse en algunos datos de imágenes originales, es decir, las imágenes no incluyen el personal de la mina, el carbón grande, la línea de remolque, la placa protectora de soporte hidráulico y otras categorías de objetivos que deben anotarse. Por lo tanto, se eliminaron algunos marcos de imágenes y las otras imágenes se ordenaron según las diferentes categorías, y las imágenes obtenidas se utilizaron como fuente de imagen original del conjunto de datos DsLMF+.

Luego se examinará la fuente de imagen original del conjunto de datos DsLMF+. El conjunto de datos DsLMF+ recopilado en este trabajo incluye principalmente el personal de la mina, la placa protectora de soporte hidráulico y de carbón de gran tamaño, la línea de remolque, el casco de seguridad de la mina y el comportamiento de los mineros, debido a que algunas imágenes en los conjuntos de datos originales pueden no tener un objetivo, tener un objetivo incompleto y Mala calidad de imagen que dificulta la identificación del objetivo, por lo que se deben eliminar aquellas imágenes en las que puedan existir algunos datos anormales.

Las imágenes anormales que deben procesarse incluyen principalmente las siguientes situaciones: 1) Cuando el frente minero totalmente mecanizado se ve afectado por factores ambientales severos, como alto nivel de polvo y neblina de agua, es difícil identificar a los mineros de carbón, los grandes soportes hidráulicos y de carbón. placa protectora, cable de remolque, casco de seguridad para minas y comportamientos de los mineros en las imágenes recopiladas. 2) Debido al campo de visión limitado de una cámara o la oclusión, la adquisición del objetivo es incompleta en el proceso de adquisición de imágenes, lo que da como resultado que solo se incluyan características locales del objetivo en las imágenes adquiridas. 3) Cuando el frente minero completamente mecanizado deja de funcionar, la cámara aún continúa recopilando imágenes, lo que genera una gran cantidad de imágenes repetidas en las imágenes de video recopiladas. 4) Los objetos objetivo en la adquisición de video del fondo del pozo están en movimiento. En el proceso de convertir estos vídeos en imágenes, se debe adoptar una velocidad de fotogramas razonable según las diferentes velocidades de movimiento. Sin embargo, si el objetivo se mueve demasiado rápido, la imagen obtenida mediante la conversión de vídeo inevitablemente aparecerá borrosa. 5) Debido a la influencia del entorno del fondo del pozo y la distancia entre el objetivo y la cámara, el objeto objetivo a gran distancia es difícil de distinguir de otros equipos.

Todas las imágenes de video anormales anteriores deben eliminarse manual o automáticamente en el proceso de producción del conjunto de datos de imágenes. Para que los conjuntos de datos sean reproducibles, utilizamos ResNet50 para construir un modelo de red de filtrado automático de triple clasificación para lidiar con las imágenes de baja calidad que se ven afectadas por factores ambientales del fondo del pozo, como alto nivel de polvo, niebla de agua, desenfoque de movimiento, etc. En este trabajo, se seleccionaron algunas imágenes con mucho polvo y neblina de agua, imágenes desenfocadas y borrosas por movimiento, así como imágenes claras a partir de los datos de imágenes sin procesar recopilados, y se construyó un conjunto de datos de filtrado de imágenes para el entrenamiento y verificación del modelo de filtro automático de triple clasificación. . El modelo de filtro automático obtenido se puede utilizar para tratar automáticamente los datos de imágenes no válidas para aumentar la reproducibilidad de nuestros conjuntos de datos y mejorar las posibilidades de que otros investigadores colaboren con los conjuntos de datos. El modelo de filtro automático de triple clasificación se proporciona junto con los conjuntos de datos, y su uso específico puede consultarse en el archivo README adjunto. Además, el índice de similitud estructural SSIM se puede utilizar para juzgar y filtrar automáticamente las imágenes duplicadas o de similitud. Para los otros casos, considerando que es fácil verse afectado por factores subjetivos personales en el proceso de selección de imágenes, varias personas revisaron uniformemente las imágenes controvertidas en el conjunto de datos al eliminar imágenes del conjunto de datos, especialmente aquellas imágenes que son difíciles de distinguir.

Finalmente, los conjuntos de datos de imágenes originales filtrados se anotaron utilizando el software LabelImg y se les dio el nombre de etiqueta, y aquí proporcionamos un enlace de descarga oficial de código abierto (https://github.com/heartexlabs/labelImg) para el software Labelimg. Los investigadores pueden configurar la etiqueta en formato YOLO, VOC o CreateML y anotar las imágenes de acuerdo con las instrucciones proporcionadas por el funcionario. En el proceso de etiquetar diversos tipos de conjuntos de datos, el orden de las etiquetas debía determinarse en consecuencia. Una vez que se determina el orden de las etiquetas, el orden de las etiquetas no se puede cambiar la próxima vez que abra el software para etiquetar. Si se cambia el orden, el orden de las etiquetas del conjunto de datos se cambiará automáticamente al orden de las etiquetas actual y las anotaciones etiquetadas originales aparecerán en el orden actual, lo que provocará confusión en las etiquetas del conjunto de datos. La herramienta LabelImg se utilizó para anotar el conjunto de entrenamiento y el conjunto de validación de acuerdo con el formato YOLO; mientras tanto, también convertimos los conjuntos de datos YOLO en conjuntos de datos COCO a través de archivos de script y retenemos. Este trabajo incluye los conjuntos de datos del personal de la mina, la línea de remolque, el casco de seguridad de la mina y el carbón grande con anotaciones de etiqueta única, así como la placa protectora de soporte hidráulico y los comportamientos de los mineros con anotaciones de etiquetas múltiples. La Figura 2 muestra las anotaciones de las etiquetas de los mineros del carbón, carbón grande, cable de remolque, casco de seguridad para minas, comportamiento de los mineros y estado de soporte de la placa protectora de soporte hidráulico.

Anotación de etiqueta para el conjunto de datos de frente de minería de tajo largo totalmente mecanizado: (a) Minero de carbón; (b) carbón grande; c) casco de seguridad para minas; (d) cable de remolque; (e) placa protectora de soporte hidráulico; (f) comportamientos de los mineros.

Los conjuntos de datos de etiqueta única del carbón grande, el casco de seguridad de la mina, la línea de remolque y el personal de la mina se denominan big_coal, mine_safety_helmet, towline y carbon miner, respectivamente. Para juzgar si existe interferencia de movimiento entre la operación de la cizalla y la placa protectora, las imágenes se etiquetan de acuerdo con el ángulo de despliegue de la placa protectora del soporte hidráulico en este trabajo, para obtener la información del estado de soporte del soporte hidráulico de el frente minero totalmente mecanizado. En el proceso de etiquetado de la placa protectora, los tipos de etiquetas cubren todos los ángulos de la placa protectora de soporte hidráulico. Para garantizar la precisión del etiquetado de ángulos, este trabajo utiliza el sensor incorporado en el soporte hidráulico del frente minero totalmente mecanizado para detectar y extraer la información del ángulo de la placa protectora en tiempo real. La información de ángulos extraída no solo se utiliza para anotar la imagen de la placa de protección en el conjunto de datos, sino también para verificar si los tipos de ángulos anotados de la placa de protección son razonables. Entre los cuales, de acuerdo con el diferente ángulo de despliegue de la placa protectora de soporte hidráulico, los estados de soporte de la placa protectora de soporte hidráulico se dividen en ocho tipos, que se denominaron respectivamente Hydraulic_support_guard_plate_00, Hydraulic_support_guard_plate_00_30, Hydraulic_support_guard_plate_30_60, Hydraulic_support_guard_plate_60_90, Hydraulic_support_guard_plate_90. , placa_protector_soporte_hidráulico_90_anormal, placa_protector_soporte_hidráulico_90_120 y placa_protector_soporte_hidráulico_anormal. Para juzgar si habrá interferencia de movimiento entre la placa protectora y la cizalla, la anotación de la etiqueta de la imagen en la que la cizalla pasa por debajo de la placa protectora de soporte hidráulico también está marcada como Cizalla. Las etiquetas del conjunto de datos involucrados de los estados de la placa protectora de soporte hidráulico se muestran en la Fig. 3.

Las anotaciones de las etiquetas del conjunto de datos para los estados de la placa protectora de soporte hidráulico. (a) esquilador; (b) placa_protectora_soporte_hidráulico_00; (c) placa_protectora_soporte_hidráulica_00_30; (d) placa_protectora_soporte_hidráulica_30_60; (e) placa_protectora_soporte_hidráulica_60_90; (f) placa_protectora_soporte_hidráulica_90; (g) placa_protectora_soporte_hidráulica_anormal; (h) placa_protectora_soporte_hidráulica_90_anormal; (i) placa_protectora_soporte_hidraulica_90_120.

Entre ellos, el estado Hydraulic_support_guard_plate_00 es el estado en el que la placa de protección está completamente recuperada y no hay interferencia con la operación de la cizalla. Los números antes y después del subrayado en Hydraulic_support_guard_plate_00_30, Hydraulic_support_guard_plate_30_60 y Hydraulic_support_guard_plate_60_90 representan respectivamente el rango de ángulo correspondiente al estado desplegado de la placa protectora. Cuando la placa protectora se encuentra en estos tres estados, interferirá con el funcionamiento de la cizalla. En el estado Hydraulic_support _guard_plate_90, cuando el ángulo de despliegue correspondiente al estado de la placa protectora es de 90°, la placa de soporte está cerca de la pared de carbón, lo que puede desempeñar un buen papel de soporte en la pared de carbón y prevenir eficazmente la aparición de la pared de carbón. Accidente de losa en el frente minero totalmente mecanizado. En el estado hidráulica_support_guard_plate_abnormal, hay un problema en la estructura de la placa protectora de soporte hidráulico, que debe reemplazarse a tiempo. En el estado Hydraulic_support_guard_plate_90_abnormal, el ángulo de despliegue de la placa protectora es de 90° y hay un pequeño espacio entre la placa protectora y la pared de carbón, por lo que la resistencia del soporte no es suficiente. En el estado Hydraulic_support_guard_plate_90_120, el ángulo de despliegue de la placa protectora es demasiado grande, lo que da como resultado que el espacio entre la placa protectora y la pared de carbón sea demasiado grande y la resistencia del soporte no sea suficiente.

Para garantizar la universalidad y compatibilidad de este conjunto de datos, recopilamos imágenes del personal de la mina, carbón grande, cable de remolque, casco de seguridad de la mina, comportamientos de los mineros y placa protectora de soporte hidráulico de múltiples escenas, respectivamente. Los datos de imágenes del personal de la mina provienen de 58 escenas diferentes, los datos de imágenes de carbón grande provienen de 18 escenas diferentes, los datos de imágenes de la placa protectora provienen de 159 escenarios diferentes, los datos de imágenes de líneas de remolque provienen de 65 escenarios diferentes, la imagen Los datos del casco de seguridad para minas provinieron de 85 escenarios diferentes, y los datos de imágenes del comportamiento de los mineros provinieron de 67 escenarios diferentes. Los conjuntos de datos DsLMF+ creados en este trabajo se dividen en conjuntos de entrenamiento y conjuntos de validación en una proporción32 de 8:2. Hay 30704 imágenes de personal de mina con 24563 imágenes en conjuntos de entrenamiento y 6141 en conjuntos de validación, 21017 imágenes de carbón grandes con 16813 imágenes en conjuntos de entrenamiento y 4204 en conjuntos de validación, 21412 imágenes de cables de remolque con 17129 en conjuntos de entrenamiento y 4283 en conjuntos de validación, 20117 minas imágenes de cascos de seguridad con 16093 en el conjunto de entrenamiento y 4024 en el conjunto de validación, 24709 imágenes de comportamiento de los mineros con 19767 en conjuntos de entrenamiento y 4942 en el conjunto de validación, y 20045 imágenes de placas protectoras de soporte hidráulico con 16036 en conjuntos de entrenamiento y 4009 en el conjunto de validación. Las tablas 1 a 7 describen respectivamente los conjuntos de datos de casco de seguridad para minas, cable de remolque, mineros de carbón, comportamiento de los mineros, carbón grande y placa protectora en múltiples escenarios diferentes.

El conjunto de datos DsLMF+ de la imagen de la mina de carbón en el frente minero de tajo largo totalmente mecanizado ha estado disponible públicamente en el repositorio de datos de figshare33. Las anotaciones de datos incluyen el formato YOLO y el formato COCO. Entre ellos, los archivos de imagen y etiquetas del conjunto de datos en formato YOLO se almacenan de la siguiente manera: los nombres de las carpetas de cada conjunto de datos en data2023_yolo son respectivamente coal_miner_data2023_yolo, large_coal_data2023_yolo, mine_safety_helmet_data2023_yolo, towline_data2023_yolo,miner_behavior_data2023_yolo y Hydraulic_support_guard_plate _ datos2023_yolo. Cada carpeta contiene carpetas de imágenes y carpetas de etiquetas denominadas imágenes y etiquetas, en las que se almacenan respectivamente datos de imágenes y datos de etiquetas. Estas carpetas también contienen carpetas de conjuntos de entrenamiento y carpetas de conjuntos de verificación. La información contenida en los datos de la etiqueta incluye principalmente el tipo de datos, el número de etiquetas y las coordenadas de la etiqueta.

Los archivos de imagen y etiquetas del conjunto de datos en formato COCO se almacenan de la siguiente manera: los nombres de las carpetas de cada conjunto de datos en data2023_coco son respectivamente coal_miner_data2023_coco, large_coal_data2023_coco, mine_safety_helmet_data2023_coco, towline_data2023_coco, miner_behavior_data2023_coco y Hydraulic_support_guard_plate_data20 23_coco. Cada una de estas carpetas contiene la carpeta de imágenes del conjunto de entrenamiento, la carpeta de imágenes del conjunto de verificación y la carpeta de etiquetas, denominadas respectivamente train2017, val2017 y anotaciones, que se utilizan para almacenar imágenes del conjunto de entrenamiento, imágenes del conjunto de verificación y archivos de etiquetas. La información contenida en los archivos de etiquetas COCO contiene el nombre del archivo, el ancho y alto de la imagen, la categoría de la etiqueta y las coordenadas de la etiqueta, etc.

Además, los archivos coal_miner_DsLMF, large_coal_DsLMF, mine_safety_helmet_DsLMF, towine_DsLMF, miner_behavior_DsLMF y Hydraulic_support_guard_plate_DsLMF se proporcionan para distinguir mejor las imágenes del personal de la mina, el carbón grande, el cable de remolque, el comportamiento de los mineros, el casco de seguridad de la mina y la placa protectora en diferentes escenarios en DsLMF+ Los conjuntos de datos y el índice de imágenes correspondientes a las diferentes escenas se proporcionan en los archivos.

Para garantizar la confiabilidad del conjunto de datos DsLMF+ en este trabajo, también realizamos una revisión manual exhaustiva de todas las imágenes y sus correspondientes anotaciones de etiquetas. El método de revisión específico es el siguiente: se seleccionan cinco miembros con amplia experiencia laboral en el campo de la minería del carbón para verificar el conjunto de datos de imágenes y la información de las etiquetas uno por uno para ver si faltan etiquetas o son incorrectas. Al mismo tiempo, para garantizar la calidad y el efecto de aplicación del conjunto de datos, los cinco miembros revisaron uniformemente las imágenes controvertidas del conjunto de datos, como el umbral de tamaño del carbón grande, el ángulo involucrado en la imagen de la placa protectora y su etiqueta. , la veracidad de la etiqueta de la línea de remolque del fondo del pozo, el comportamiento del personal del carbón y el casco de seguridad de la mina. Mediante la votación colectiva de los cinco miembros, se completó el trabajo de revisión del conjunto de datos.

El conjunto de datos DsLMF+ ha proporcionado dos tipos de formatos de conjuntos de datos, YOLO y COCO, que hacen que sea conveniente aplicarlo a las redes neuronales de detección de objetivos mejor clasificadas actualmente. Para verificar la viabilidad del conjunto de datos construido, este trabajo seleccionó YOLOv734, DETA35 y ViT-Adapter-L36, las tres principales redes de aprendizaje profundo de la lista de clasificación de detección de objetivos de COCO, y realizó entrenamiento y verificación del modelo en el conjunto de datos DsLMF+. Los enlaces de acceso de DETA, ViT-Adapter-L y YOLOv7 que se utilizaron para verificar los conjuntos de datos son respectivamente https://github.com/jozhang97/deta, https://github.com/czczup/vit-adapter y https:/ /github.com/wongkinyiu/yolov7. Los conjuntos de datos de DsLMF+ se entrenaron en una máquina con CPU Intel(R) Xeon(R) Gold 6330, GPU RTX A5000 y Ubantu18.04. Los hiperparámetros de los tres algoritmos de detección de objetivos anteriores estaban en referencia a los valores predeterminados recomendados. Para adaptarse al conjunto de datos, se modifican algunos valores de hiperparámetros como el ancho, el alto, el tamaño del lote, la tasa de aprendizaje inicial y las épocas. Este cambio se implementó de acuerdo con las recomendaciones de la investigación inicial de YOLOv7, DETA y ViT-Adapter-L.

Para la verificación del conjunto de datos, se entrena y evalúa a los mineros del carbón, el carbón grande, la línea de remolque, el casco de seguridad de la mina, la placa protectora de soporte hidráulico y los comportamientos de los mineros en los conjuntos de datos. La altura y el ancho de la imagen de entrada cambian de tamaño a 640 en el entrenamiento de la red. La Tabla 8 presenta el resultado de referencia de ViT-Adapter-L, DETA y YOLOv7 en los conjuntos de datos DsLMF+. La Figura 4 muestra los gráficos del rendimiento de los tres modelos durante la validación, las curvas de valores mAP de cada modelo de red de detección de objetivos. Los valores mAP del modelo de detección YOLOv7 pueden alcanzar respectivamente 0,986, 0,976, 0,978, 0,868, 0,913 y 0,997, los valores mAP del modelo de detección DETA pueden alcanzar respectivamente 0,976, 0,960, 0,958, 0,815, 0,914 y 0,989, y los valores mAP de ViT -El modelo de detección del Adaptador-L puede alcanzar respectivamente 0,966, 0,961, 0,963, 0,854, 0,928 y 0,989. Los valores de mAP anteriores indican que los modelos tienen un buen rendimiento y el conjunto de datos DsLMF+ funciona bien en YOLOv7, DETA y ViT-Adapter-L. Los YOLOv7, DETA y ViT-Adapter-L desplegados se han utilizado respectivamente para extraer y detectar aleatoriamente las 6 categorías de imágenes de mineros de carbón, carbón grande, cable de remolque, casco de seguridad para minas, placa protectora de soporte hidráulico y comportamientos de los mineros en el conjunto de datos DsLMF+. , y los resultados de detección de objetivos identificados se muestran en la Fig. 5, el efecto de detección y la precisión demostraron la confiabilidad y viabilidad de los conjuntos de datos DsLMF+.

La curva de valor mAp de validación de los modelos ViT-Adapter-L, DETA y YOLOv7 en los mineros de carbón, carbón grande, cable de remolque, casco de seguridad para minas, placa protectora de soporte hidráulico y comportamientos de los mineros en el.

La validación de los conjuntos de datos DsLMF+ mediante el uso de los modelos ViT-Adapter-L, DETA y YOLOv7. (a) mineros del carbón; (b) carbón grande; (c) cable de remolque; d) casco de seguridad para minas; (e) comportamientos de los mineros; (f) placa protectora de soporte hidráulico.

Además, ampliaremos aún más el conjunto de datos DsLMF+ para que tenga una mejor aplicabilidad y universalidad en el ámbito de la minería del carbón totalmente mecanizada. También alentamos a otros investigadores en el campo de las minas de carbón a ampliar y mejorar el conjunto de datos DsLMF+. El conjunto de datos de imágenes de minas de carbón producido en este trabajo es de gran importancia para la aplicación del algoritmo de detección de objetos de aprendizaje profundo para la identificación inteligente y clasificación de condiciones anormales para la minería subterránea, cuyo objetivo es apoyar futuras investigaciones y avances de la inteligencia en el tajo largo totalmente mecanizado. cara minera.

Los conjuntos de datos DsLMF+ están disponibles públicamente en el repositorio de datos de figshare33, y el código para el filtrado automático también se publica junto con el conjunto de datos, archivado como “DsLMF.7z”. Además, se puede acceder y descargar la herramienta de anotación Labelimg a través del enlace del sitio web oficial https://github.com/heartexlabs/labelImg, el uso específico puede consultar el archivo README correspondiente. Los códigos utilizados para el entrenamiento y la validación de los conjuntos de datos DsLMF+ en este trabajo adoptan los scripts de código abierto publicados oficialmente DETA, ViT-Adapter-L y YOLOv7, y se puede acceder al código de las tres redes de aprendizaje profundo anteriores para la verificación de conjuntos de datos a través del siguiente sitio web enlace (https://github.com/jozhang97/deta), (https://github.com/czczup/vit-adapter) y (https://github.com/wongkinyiu/yolov7). La Tabla 9 presenta los paquetes de sitio requeridos y sus versiones correspondientes para las tres redes diferentes anteriores. Los paquetes de software se pueden descargar de acuerdo con los archivos README en los enlaces correspondientes en diferentes redes y se pueden instalar con el instalador de paquetes de Python (pip). Los investigadores pueden completar la conversión del formato de etiqueta del formato YOLO al formato COCO visitando el siguiente enlace (https://github.com/RapidAI/YOLO2COCO), el enlace proporciona el código de conversión del formato de etiqueta y el archivo README que se puede utilizar como una referencia.

Yang, L., Birhane, GE, Zhu, J., Geng, J. Seguridad de los empleados mineros y aplicación de la tecnología de la información en la minería del carbón: revisión. J. Fronteras en Salud Pública. 9 (2021).

Gao, Y., Dai, Z. y Yuan, J. Un algoritmo de optimización híbrido multiobjetivo para la planificación de rutas de un robot de patrulla de minas de carbón. J. Inteligencia Computacional y Neurociencia. 6, 1-10 (2022).

Google Académico

Xu, Z., Li, J. & Zhang, M. Un sistema de análisis de video de vigilancia en tiempo real basado en la cooperación Edge-Cloud y FL-YOLO en una mina de carbón. J. ACCESO IEEE. 9, 68482–68497 (2021).

Artículo de Google Scholar

Azam, B. y col. Detección de aeronaves en imágenes satelitales mediante detectores de objetos basados ​​en aprendizaje profundo. J. Microprocesadores y Microsistemas. 94, 104630 (2022).

Artículo de Google Scholar

Wang, DL, Zeng, XT, Wang, GF y Li, R. Estabilidad de un protector facial en un frente de trabajo de gran altura para minería. J. Revista Internacional de Modelado de Simulación. 20, 547–558 (2021).

Artículo de Google Scholar

Pang, H., Zhang, Y., Cai, W., Li, B. y Song, R. Un modelo de detección de objetos en tiempo real para plagas de huertos basado en el algoritmo YOLOv4 mejorado. J. Informes científicos. 12, 13557 (2022).

Artículo ADS CAS Google Scholar

Lin, L. y col. El conjunto de datos SUSTech-SYSU para la detección automatizada de exudados y la clasificación de la retinopatía diabética. J. Datos científicos. 7, 409 (2020).

Artículo ADS CAS Google Scholar

Bauer, Z. y col. UASOL, un conjunto de datos estéreo para exteriores de alta resolución a gran escala. J. Datos científicos. 6, 162 (2019).

Artículo de Google Scholar

Nguyen, HQ y cols. VinDr-CXR: un conjunto de datos abierto de radiografías de tórax con anotaciones del radiólogo. J. datos científicos. 9, 429 (2022).

Artículo de Google Scholar

Lipkin, B. y col. Atlas probabilístico para la red lingüística basado en datos de precisión de resonancia magnética funcional de más de 800 personas. J. Datos científicos. 9, 529 (2022).

Artículo de Google Scholar

Rostianingsih, S., Setiawan, A. y Halim, CI Conjunto de datos COCO (Creación de objetos comunes en contexto) para aparatos químicos. J. Procedia Informática. 171, 2445–2452 (2020).

Artículo de Google Scholar

Srivastava, S. et al. Análisis comparativo de algoritmos de detección de imágenes de aprendizaje profundo. J. Revista de Big Data. 8, 66 (2021).

Artículo de Google Scholar

Kiruthika, DS y Subalalitha, CN Modelo inteligente de detección de texto potenciado por aprendizaje profundo a partir de imágenes de escenas naturales. J. Revista internacional sobre ingeniería científica avanzada y tecnología de la información. 12, 1263–1268 (2022).

Artículo de Google Scholar

Francies, ML, Ata, MM y Mohamed, MA Un robusto reconocimiento de objetos 3D multiclase basado en modernos algoritmos de aprendizaje profundo YOLO. J. Concurrencia y Computación: Práctica y Experiencia. 34 (2021).

Varadarajan, V., Garg, D. y Kotecha, K. Un enfoque eficiente de red neuronal convolucional profunda para la detección y el reconocimiento de objetos utilizando una caja de anclaje de múltiples escalas en tiempo real. J. Internet del futuro. 13, 307 (2021).

Artículo de Google Scholar

Shen, F., Wang, Z. y Lu, Z. Modelo de clasificación débilmente supervisado para la segmentación semántica de disparo cero. J. Letras de Electrónica. 56, 1247-1250 (2020).

ADS del artículo Google Scholar

Wu, QF y cols. Máscara R-CNN mejorada para la detección de aeronaves en imágenes de teledetección. J. Sensores. 21, 2618 (2021).

ADS del artículo Google Scholar

Qu, Z., Zhu, F. & Qi, C. Detección de objetivos de imágenes por teledetección: mejora del modelo YOLOv3 con redes auxiliares. J. Teledetección. 13 (2021).

Xia, GS y cols. DOTA: un conjunto de datos a gran escala para la detección de objetos en imágenes aéreas. J. Conferencia IEEE sobre visión por computadora y reconocimiento de patrones. (2018).

Ruiz, I. & Serrat, J. Detección jerárquica de novedades para el reconocimiento de señales de tráfico.J. Sensores (Basilea, Suiza). 22, 4389 (2022).

Artículo ADS PubMed PubMed Central Google Scholar

Gao, X. y col. Algoritmo de detección de señales de tráfico mejorado basado en R-CNN más rápido. J. Ciencias Aplicadas. 12, 8948 (2022).

Artículo CAS Google Scholar

Lu, Y., Lu, J., Zhang, S. & Hall, P. Detección y clasificación de señales de tráfico en vistas de calles utilizando un modelo de atención. J. Medios visuales computacionales. 4, 253–266 (2018).

Artículo de Google Scholar

Luo, S., Li, X., Zhang, X. Coincidencia de relación de aspecto amplia para una detección de rostros sólida. J. Herramientas y aplicaciones multimedia. 1–18 (2022).

Lin, X. y col. Red fusionada con funciones orientada a tareas con conjunto de datos multivariado para análisis de caras conjuntas. J. Transacciones IEEE sobre cibernética. 50, 1292-1305 (2020).

Artículo de Google Scholar

Ming, X. y col. Muestreo grupal para detección de rostros invariantes de escala. J. Transacciones IEEE sobre análisis de patrones e inteligencia artificial. 44, 985–1001 (2020).

Artículo de Google Scholar

Dai, G., Hu, L., Fan, J., Yan, S. & Li, R. Un esquema de detección de objetos basado en aprendizaje profundo mediante la mejora de YOLOv5 para conjuntos de datos de patatas germinadas. J. Acceso IEEE. 10, 85416–85428 (2022).

Artículo de Google Scholar

Zhang, ZD y cols. FINet: un conjunto de datos de aisladores y un punto de referencia de detección basado en niebla sintética y YOLOv5 mejorado. J. Transacciones IEEE sobre instrumentación y medición, 71 (2022).

Kumar, A., Kalia, A., Verma, K., Sharma, A. y Kaushal, M. Ampliación de la detección de mascarillas con YOLO en un conjunto de datos novedoso. J. Optik. 239 (2022).

Neelam Jaikishore, C. et al. Implementación de un algoritmo de aprendizaje profundo en un conjunto de datos personalizado para aplicaciones de sistemas avanzados de asistencia al conductor. J. Ciencias Aplicadas. 12, 8927 (2022).

Artículo CAS Google Scholar

Luo, Y. & Chen, J. Algoritmo de reconocimiento de códigos bidimensionales basado en Yolov5. J. Revista Académica de Computación y Ciencias de la Información. 5, 68–72 (2022).

Google Académico

Zeng, H. & Fang, Y. Implementación de un cliente de transcodificación de video basado en FFMPEG. J. Investigación de materiales avanzados. 1748-1752 (2013).

Guan, Z., Hou, C., Zhou, S. y Guo, Z. Investigación sobre tecnología de reconocimiento de objetivos submarinos basada en redes neuronales. J. Comunicaciones inalámbricas y computación móvil. 3, 1-12 (2022).

Google Académico

Zhang, X. y col. Un conjunto de datos abierto para el reconocimiento inteligente y la clasificación de condiciones anormales en la minería de tajo largo. figura compartida https://figshare.com/s/1644c2e3d8295834ecf8 (2023).

Wang, CY, Bochkovskiy, A. y Liao, HM YOLOv7: La bolsa de regalos entrenable establece un nuevo estado del arte para los detectores de objetos en tiempo real.J. Preimpresión de arXiv arXiv:2207.02696. 1–15 (2022).

Ouyang-Zhang, J., Cho, J., Zhou, X. y Krahenbuhl, P. NMS Contraataca.J. Preimpresión de arXiv arXiv:2212.06137. 1–10 (2022).

Chen, Z. y col. Adaptador de transformador de visión para predicciones densas. J. arXiv preimpresión arXiv:2205.08534. 1–20 (2022).

Descargar referencias

Este trabajo fue apoyado por la Fundación Nacional de Ciencias Naturales de China (No.52104166) y Shaanxi Coal Joint Founds (No.2021JLM-03). El autor desea agradecer a las diversas minas de carbón de Shaanxi Coal and Chemical Industry Group Sunjiacha Longhua Mining Co., LTD por brindarnos acceso efectivo a la base de datos de imágenes del frente minero totalmente mecanizado y aceptar abrir el conjunto de datos. Estamos especialmente agradecidos a todos aquellos que participaron en la construcción del conjunto de datos y el proceso de anotación de etiquetas, incluidos instructores, personas mayores y otros participantes.

Escuela de Ingeniería Mecánica, Universidad de Ciencia y Tecnología de Xi'an, No.58, Mid-Yanta Road, Xi'an, 710054, China

Wenjuan Yang, Xuhui Zhang, Bing Ma, Yanqun Wang, Yujia Wu, Jianxing Yan, Chao Zhang, Jicheng Wan, Yue Wang, Mengyao Huang, Yuyang Li y Dian Zhao

Laboratorio clave de Shaanxi de detección y control inteligente de equipos electromecánicos mineros, No.58, Yanta Road, Xi'an, 710054, China

Wenjuan Yang y Xuhui Zhang

MARCO desarrollo de sistemas de control automático Co., LTD, No.20, Fenghui South Road, Xi'an, 710054, China

Yong Wei Liu

También puedes buscar este autor en PubMed Google Scholar.

También puedes buscar este autor en PubMed Google Scholar.

También puedes buscar este autor en PubMed Google Scholar.

También puedes buscar este autor en PubMed Google Scholar.

También puedes buscar este autor en PubMed Google Scholar.

También puedes buscar este autor en PubMed Google Scholar.

También puedes buscar este autor en PubMed Google Scholar.

También puedes buscar este autor en PubMed Google Scholar.

También puedes buscar este autor en PubMed Google Scholar.

También puedes buscar este autor en PubMed Google Scholar.

También puedes buscar este autor en PubMed Google Scholar.

También puedes buscar este autor en PubMed Google Scholar.

También puedes buscar este autor en PubMed Google Scholar.

El profesor Xuhui Zhang será principalmente responsable de la planificación general para organizar el conjunto de datos, el profesor asociado Wenjuan Yang será responsable de escribir la tesis, Yongwei Liu estará a cargo de recopilar imágenes del conjunto de datos, Mengyao Huang será responsable del filtrado anormal de datos, Jianxing Yan, Bing Ma, Chao Zhang y Jicheng Wan es responsable de la anotación de la etiqueta del conjunto de datos, Xuhui Zhang, Wenjuan Yang Yuyang Li, Yue Wang y Dian Zhao son responsables de la revisión de la etiqueta del conjunto de datos y presentan opiniones valiosas, Yujia Wu y Yanqun Wang son responsables del conjunto de datos de entrenamiento, Manuscritos del conjunto de datos fueron revisados ​​y revisados ​​por todos los autores.

Correspondencia a Xuhui Zhang.

Los autores declaran no tener conflictos de intereses.

Nota del editor Springer Nature se mantiene neutral con respecto a reclamos jurisdiccionales en mapas publicados y afiliaciones institucionales.

Acceso Abierto Este artículo está bajo una Licencia Internacional Creative Commons Attribution 4.0, que permite el uso, compartir, adaptación, distribución y reproducción en cualquier medio o formato, siempre y cuando se dé el crédito apropiado a los autores originales y a la fuente. proporcione un enlace a la licencia Creative Commons e indique si se realizaron cambios. Las imágenes u otro material de terceros en este artículo están incluidos en la licencia Creative Commons del artículo, a menos que se indique lo contrario en una línea de crédito al material. Si el material no está incluido en la licencia Creative Commons del artículo y su uso previsto no está permitido por la normativa legal o excede el uso permitido, deberá obtener permiso directamente del titular de los derechos de autor. Para ver una copia de esta licencia, visite http://creativecommons.org/licenses/by/4.0/.

Reimpresiones y permisos

Yang, W., Zhang, X., Ma, B. et al. Un conjunto de datos abierto para el reconocimiento inteligente y la clasificación de condiciones anormales en la minería de tajo largo. Datos de ciencia 10, 416 (2023). https://doi.org/10.1038/s41597-023-02322-9

Descargar cita

Recibido: 28 de noviembre de 2022

Aceptado: 20 de junio de 2023

Publicado: 27 de junio de 2023

DOI: https://doi.org/10.1038/s41597-023-02322-9

Cualquier persona con la que compartas el siguiente enlace podrá leer este contenido:

Lo sentimos, actualmente no hay un enlace para compartir disponible para este artículo.

Proporcionado por la iniciativa de intercambio de contenidos Springer Nature SharedIt