Descripcion del estado de salud de cultivos mediante recuperacion multimodal de informacion

Abstract

En el contexto del procesamiento de lenguaje natural aplicado al ámbito agrícola, la descripción precisa e interpretable del estado de salud de los cultivos resulta fundamental para apoyar la toma de decisiones en el campo. Una alternativa para abordar la descripci ´on de cultivos es el uso de modelos de lenguaje grandes (LLMs). En general, estos modelos pueden dar descripciones de múltiples áreas. Sin embargo, cuando se emplean sin acceso a conocimiento agrícola especializado ni a fuentes externas de información, su desempeño tiende a ser limitado. En consecuencia, las descripciones suelen ser genéricas, omiten detalles relevantes de los síntomas en algunos casos, generan diagnósticos incorrectos o alucinaciones. Para mitigar estas limitaciones, los modelos LLMs suelen integrarse con Generación Aumentada por Recuperación (RAG), de modo que las respuestas se fundamenten en conocimiento agrícola externo y actualizado. Uno de los principales retos actuales consiste en diseñar estrategias de recuperaci ón y selección de contexto en las que tanto la imagen como la pregunta funcionen como señales para recuperar evidencia relevante. Motivados por lo anterior, proponemos un sistema basado en un modelo de lenguaje grande para describir el estado de salud de cultivos mediante una recuperación híbrida multimodal. Para eso, nuestra metodología consta de cinco etapas. Primero, la definición de las entradas del sistema. Segundo, el procesamiento del conocimiento externo mediante BGE y CLIP. Tercero, el procesamiento de la consulta del usuario. Cuarto, la recuperación híbrida mediante similitud texto–texto e imagen–texto y fusión con reciprocal rank fusion (RRF). Finalmente, la generación de la respuesta con un LLM multimodal. Los resultados experimentales muestran que la estrategia propuesta logra hasta un 2.32 % de mejora relativa en F1-score respecto al modelo base, lo cual respalda su efectividad para mejorar la calidad de las respuestas generadas en el dominio agrícola.