Cap a la moda intel·ligent: reconeixement visual de productes i atributs

Vacit Oğuz Yazici

Dr. Joost van de Weijer Dr. Arnau Ramisa

La intel·ligència artificial està innovant la indústria de la moda proposant noves solucions als problemes als quals s'enfronten els investigadors i enginyers que treballen a la indústria. En aquesta tesi, abordem tres d'aquests problemes. A la primera part de la tesi, investiguem el problema de la classificació d'imatges multietiqueta, que està estretament relacionat amb el reconeixement d'atributs de moda. A la segona part de la tesi, abordem dos problemes específics de la moda. Primer, abordem el problema de la detecció del producte principal, que és la tasca d'associar les parts correctes de la imatge amb el producte de moda que es ven. En segon lloc, abordem el problema del reconeixement categòric del color per a roba multicolor. Si tractem el problema de la classificació d'imatges multietiqueta com un problema de predicció de conjunts de conceptes sense un ordre específic, podem aprofitar les xarxes neuronals recurrents (RNN) per capturar aquestes correlacions d'etiquetes. Tanmateix, les RNN estan entrenades per predir seqüències ordenades de símbols, de manera que si l'ordre de la seqüència predita és diferent de l'ordre de la seqüència a l'anotació de referència, la xarxa neuronal patirà una penalització fins i tot si les prediccions són correctes. Per tant, a la primera part de la tesi, proposem una funció objectiu per ordenar dinàmicament la seqüència d'etiquetes a l'anotació de referència per tal d'aconseguir la mínima discrepància en la predicció. Això resulta en una millora significativa dels models RNN en la classificació d'imatges multietiqueta. Tanmateix, els RNN pateixen dependències a llarg termini quan la cardinalitat del conjunt augmenta. Es poden utilitzar models de transformadors per evitar el problema de la dependència a llarg termini. En conseqüència, proposem un nou model de transformador per a la classificació d'imatges multietiqueta que supera els resultats de l'estat de la tècnica per un ampli marge. A la segona part de la tesi, ens centrem en dos problemes específics de moda. La detecció de productes és la tasca d'associar parts de la imatge amb el producte de moda que es ven, generalment utilitzant metadades textuals associades. En aquesta tesi, representem les regions rectangulars d'interès de totes les imatges com a vèrtexs en un graf completament connectat. El nostre algorisme resulta en una millora significativa respecte a l'estat de la tècnica. A més, abordem el problema del reconeixement categòric del color per a roba multicolor, que és una tasca difícil a causa de factors externs com ara canvis d'il·luminació o oclusions causades per altres objectes. En el context de la classificació d'imatges multietiqueta, els límits difusos entre les classes de l'espai de color causen ambigüitat. Tanmateix, s'espera que un model intel·ligent de reconeixement categòric del color sigui capaç de predir el nombre correcte de colors en roba monocolor o multicolor. Per tant, en aquesta tesi proposem una nova arquitectura amb una sortida addicional que prediu explícitament el nombre de colors en roba de moda. Això elimina el problema d'ambigüitat i millora significativament els resultats.

we summarized the works presented in the thesis and their industrial impacts in three sections. In the first two sections, we tackled the task of fashion attribute recognition and in the last section, we addressed the problem of main product detection. We stated that improving the accuracy of CV-based fashion systems is in the best interest of all parties in the industry. It saves e-commerce retailers from allocating resources on the manual process of labeling their catalogs. It also makes the online buying process smoother and faster for customers as more similar products to the garment of interest are recommended to them, which can definitely help to increase sales in retail clothing

Artificial Intelligence (AI); Fashion Industry; Multi-label Image Classification; Fashion Attributes; Main Product Detection; Categorical Color Recognition; Multi-colored Clothes; Recurrent Neural Networks (RNNs); Label Correlations; Ordered Sequences; Objective Function; Dynamic Ordering; Minimum Discrepancy; Transformer Models; Long-term Dependencies; State-of-the-Art Results; Product Detection; Textual Metadata; Rectangular Regions of Interest; Fully Connected Graph; Lighting Changes; Occlusions; Fuzzy Boundaries; Color Space Ambiguity; Number of Colors Prediction; New Architecture.