Reglas generales a seguir para escribir web scrapers o programas de raspado web y otros sistemas ETL.
- Se amable con las fuentes de datos.
- Hagas lo que hagas, no interrumpas el raspado.
- Facilita la ejecución de subconjuntos en su canalización.
- Escribe tu software por etapas.
- Agarra más de lo que crees que necesitas y luego recorta lo que desees.
- Desinfecta para mantener la cordura.