Diffboot
| ||||
Diffbot : Es una empresa dedicada al aprendizaje automático y la recopilación de datos de Internet que, a través de las API, pretende convertirse en la mayor base de conocimientos a nivel global.
Sumario
Características
- Implementa una IA que lee todas las páginas de toda la web pública, en varios idiomas, extrayendo todos los datos que puede de esas páginas.
- Su método de aprendizaje extrae grandes cantidades de texto en línea.
- Convierte lo que lee en una serie de factoides de tres partes que relacionan una cosa con otra: sujeto, verbo, objeto.
- Utiliza un gráfico de conocimiento que une a miles de millones de otros factores en una red de datos extensa e interconectada.
Funcionamiento
Los principios fundamentales para su funcionamiento son:
- Recopilación de datos: La IA de Diffbot lee la web mucho más rapido que un ser humano, usando una versión supercargada del navegador Chrome, la IA ve los píxeles sin procesar de una página web y usa algoritmos de reconocimiento de imágenes para categorizar la página como uno de los 20 tipos diferentes, incluidos video, imagen, artículo, evento e hilo de discusión.
- Identificación de los elementos clave de la página: título, autor, descripción del producto o precio.
- Extracción de datos: Diffbot extrae datos de páginas escritas en cualquier idioma, lo que significa que puede responder consultas, por ejemplo, utilizando datos extraídos de artículos en chino o árabe, incluso si no contienen el término solicitado.
- Reconstrucción de datos: Diffbot rastrea la web sin parar y reconstruye su gráfico de conocimiento cada 4 o 5 días. Utiliza más algoritmos de aprendizaje automático para fusionar hechos nuevos con viejos, creando nuevas conexiones o sobrescribiendo las desactualizadas. También la empresa va agregando nuevo hardware a su centro de datos a medida que crece el gráfico de conocimiento.
Importancia tecnológica
- Esta tecnología no solo propone dar respuestas a la búsqueda del usuario sino también incorpora información adicional que este último no haya consultado.
- Generación de información que utilizará en la confección de gráficos.
- Capacidad de relacionar otros conceptos para brindar una respuesta más amplia, incluso el propio Diffbot.
Ejemplo de aplicaciones:
Diffbot también tiene alrededor de 400 clientes de pago, entre los cuales están:
- DuckDuckGo: Este motor de búsqueda lo usa para generar sus propias cajas similares a Google.
- Snapchat: lo usa para extraer lo más destacado de las páginas de noticias.
- Zola: Esta aplicación de planificación de bodas la usa para ayudar a las personas a hacer listas de bodas, obteniendo imágenes y precios.
- NASDAQ:La aplicación que proporciona información sobre el mercado de valores, lo utiliza para la investigación financiera.
- Adidas y Nike: lo utilizan para buscar en la web zapatos tenis falsificados.
