Reglas generales a seguir para escribir web scrapers o programas de raspado web y otros sistemas ETL.
- Se amable con las fuentes de datos.
- Hagas lo que hagas, no interrumpas el raspado.
- Facilita la ejecución de subconjuntos en su canalización.
- Escribe tu software por etapas.
- Agarra más de lo que crees que necesitas y luego recorta lo que desees.
- Desinfecta para mantener la cordura.
Origen: Pautas para escribir web scrapers (en inglés)
Descubre más desde CIBERED
Suscríbete y recibe las últimas entradas en tu correo electrónico.