La forma más eficiente de construir un mercado impulsado por la IA es integrar el software y el hardware de IA.
Ese fue el mensaje entregado el primer día de AI Hardware Summit 2021 en una conferencia virtual dada por Selcuk Kopru, jefe de aprendizaje automático (ML) y procesamiento del lenguaje natural de eBay.
Para un proveedor gigante como eBay con 159 millones de compradores activos y 19 millones de vendedores activos, se depende de la inteligencia artificial para brindar a compradores y vendedores una experiencia de comercio electrónico perfecta.
Según Kopru, para construir un mercado global impulsado por servicios de IA modernos, potentes y escalables, las empresas deben optimizar los sistemas después de entrenar modelos específicamente para su hardware de IA.
«Especialmente para los casos de uso en línea, debemos tener mucho cuidado al construir modelos eficientes y livianos que estén optimizados para la infraestructura adecuada», dijo Kopru.
Un sistema de similitud
El proveedor del mercado utiliza un sistema de similitud para integrar el hardware de IA, incluidos los chips de GPU y CPU, con su aprendizaje automático y otros algoritmos de IA.
La razón para construir un sistema de similitud es lograr escalabilidad y rendimiento. La similitud es la relación entre entidades en función de su clasificación de búsqueda y otras variables.
Para el consumidor, la similitud puede ser entre una consulta de texto y un título. Para el vendedor, puede estar entre una imagen y un título. El sistema de similitud mejora la apariencia de la lista para los vendedores porque ayuda a eBay a sugerir títulos precisos a los vendedores en función de la imagen que han subido a la plataforma.
El primer paso para construir un sistema de similitud es aprender las representaciones o las incrustaciones utilizando modelos de transformadores grandes o un tipo de sistema de aprendizaje profundo.
Después de eso, eBay crea un índice kNN (k vecinos más cercanos), un tipo de sistema de similitud que se usa sin conexión durante la construcción del índice.
En la etapa de recuperación en línea, la consulta pasa por el modelo de aprendizaje y se calcula la incrustación de vectores. El vector es la entrada al índice kNN. A partir de ahí, la búsqueda kNN se recupera del índice.
El uso del sistema de similitud ayuda a acelerar la latencia y el rendimiento.
Aprendizaje de representación
EBay inicia el proceso de aprendizaje de la representación con el modelo E-BERT ML, utilizando una gran cantidad de datos. Para entrenar el modelo de transformador, eBay usa GPU. EBay también usa chips de IA para inferencias.
Kopru dijo que una forma de controlar el costo de entrenamiento del modelo de transformador es garantizar que los investigadores aplicados de toda la empresa tengan acceso a todos los modelos previamente entrenados.
«Cada investigador aplicado, cada ingeniero puede acceder y comenzar a ajustar los modelos previamente entrenados con solo unas pocas líneas de código Python», dijo Kopru.
Para transacciones en línea rápidas, eBay utiliza un modelo de aprendizaje automático de maestro-alumno, que le permite construir modelos mucho más pequeños con cierta compensación de precisión.
«Esta compensación es buena, basada en el resultado que estamos obteniendo», dijo Kopru.