He estado luchando con un sitio que estoy desechando usando scrappy. Este sitio, devuelve una serie de variables Javascript (array) con los datos de los productos. Ejemplo:
datos[0] = ["12345","3M YELLOW CAT5E CABLE","6.81","1","A","N","N","N","N","N",0,0,0,0,0,"0","0","0","0","0","P","001-0030","12","40K8957","28396","250","Due: 30-12-1899",0.0000,1,"",\'\']; datos[1] = ["12346","3M GREEN CAT5E CABLE","7.81","1","A","N","N","N","N","N",0,0,0,0,0,"0","0","0","0","0","P","001-0030","12","40K8957","28396","250","Due: 30-12-1899",0.0000,1,"",\'\']; ...Pronto...
Recuperar la matriz en una cadena con scrapy fue fácil, ya que la respuesta del sitio imprime las variables. El problema es que quiero transformarlo en Json para poder procesarlo y almacenarlo en una tabla de base de datos.
Normalmente usaría la función Json.stringify de Javascript para convertirlo a Json y publicarlo en PHP.
Sin embargo, cuando uso json.loads de Python e incluso StringIO, no puedo cargar la matriz en json.
Probablemente sea un error de formato, pero no puedo identificarlo, ya que no soy experto en Json ni en Python.
EDITAR: Me doy cuenta de que scrapy no puede ejecutar Javascript, probablemente el problema principal es que los datos son solo una cadena. Debería formatearlo en un formato Json.
Cualquier ayuda es más que bienvenida.
Gracias.
Si quisiera tomar una matriz y crear un objeto json, podría hacer algo como esto.
values = ["12345","3M YELLOW CAT5E CABLE","6.81","1","A","N","N","N","N","N",0,0,0,0,0,"0","0","0","0","0","P","001-0030","12","40K8957","28396","250","Due: 30-12-1899",0.0000,1] keys = [x for x in range(len(values))] d = dict(zip(keys, values)) x = json.dumps(d)Hay una sección en el documento scrapy para encontrar varias formas de analizar el código JavaScript. Para su caso, si solo necesita tenerlo en una matriz, puede usar la expresión regular para obtener los datos.
Dado que el sitio web que está raspando no está presente en la pregunta, supongo que esta sería una forma más sencilla de obtenerlo, pero podría usar la forma que le parezca adecuada.