Socorroooooo, 400 productos y ni un Scrapy ni Selenium me salvan

Buneas gente… estoy al borde de un colapso mental. Os pongo en situacion, hace una par de semanas por no decir un mes, me han pedido replicar una pagina web, con fotos, descripciones, todo. Hacerlo a mano es literalmente un crimen contra la humanidad, ya que seran unos 400 productos y cada produto con categoria y subcategoria.

He intentado hacer un scrapy, he probado con selenium. He rezado a todos los dioses del código… y nada, ya que la web es toda javascrip con nosdeque dinemico y me estoy preguntando si realmente alguien ha conseguido sacar algo de ahí sin morir en el intento.
o si alguien tiene un truco magico o algun scrip salvador, le juro que le debo la vida y parte de mi alma. Esto ya no es petición, es señal de auxilio para un nodero que poco falta para que acabe estampando el ordenadore, tablet, portatil y todo lo que tenga una pantalla y teclado :)


Cualquier consejo, ejemplo práctico, o lo que sea es bienvenida. Se acepta de todo: tutoriales, scrips, programas incluso ideas locas que funcionen.

g0dsito dijo:

Dime que quieres replicar y te lo intento hacer.

Hacer clic para expandir...

Necesito replicar una tienda online, mas o menos la estructura ya la tengo clara y con la interfaz igual. El problema es sacar los productos (nombres, precios, descripciones) en un CSV. He probado con Winhtraker, que sí me saca las fotos y la estructura, pero no consigo extraer los productos. Es la primera página que hago y, entre la curva de aprendizaje y tener que conseguir todo por mi cuenta me a matado.

Jorge2019 dijo:

extrae la estructura del DOM, extrae imágenes, y hoja de estilos y ya lo tienes
te puedo pasar un par de scripts de mi cosecha que te solucionarán el problema
también ttengo varias herramientas profesionales desarrolladas por mí que te van a funcionar
si quieres seguir picando por tu cuenta, prueba beautifulsoup4
aunqque imagino que lo habrás hecho
suerte y dime algo si lo necesitas

Hacer clic para expandir...

Yo probé con WinHTTrack, pero la web es dinámica con JavaScript y no consigo sacar los productos completos. BeautifulSoup4 ni lo conocia, pero le voy a echar un vistazo esta tarde.
Si me puedes dar alguna indicación o pasarme esos scripts de tu cosecha, les echaré un ojo y espero que me sirvan jeje. De momento probaré con BeautifulSoup4.