GHSA-X3PX-J3QH-FP5W
Redirecciones a hosts de no_proxy enviadas a través del proxy del entorno
CVSS:4.0/AV:N/AC:L/AT:P/PR:N/UI:N/VC:L/VI:N/VA:N/SC:N/SI:N/SA:N
Fuente: GitHub
Ciclo de vida de la vulnerabilidad
| Fecha | Fase | Evento | Detalle |
|---|---|---|---|
| Divulgación | Publicada | GHSA-X3PX-J3QH-FP5W divulgada · CVSS 6.3 (GitHub) | |
| Remediación | Parche 2.20.0 | Scrapy · 0 d desde divulgación | |
| Monitoreo | Detectada | Ingresó al índice | |
| Monitoreo | Verificada | Última verificación contra las fuentes |
Impacto
Al usar un proxy de las variables de entorno `http_proxy` o `https_proxy`, `HttpProxyMiddleware` https://docs.scrapy.org/en/latest/topics/downloader-middleware.html#scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware no lo utiliza para los hosts que coinciden con la variable de entorno `no_proxy`.
Sin embargo, los middlewares de redirección integrados (`RedirectMiddleware` https://docs.scrapy.org/en/latest/topics/downloader-middleware.html#scrapy.downloadermiddlewares.redirect.RedirectMiddleware y `MetaRefreshMiddleware` https://docs.scrapy.org/en/latest/topics/downloader-middleware.html#scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware) conservaban el proxy de la solicitud original en las redirecciones a una URL con el mismo esquema, incluso si el host de la redirección coincidía con `no_proxy`.
Un sitio web podría redirigir a Scrapy hacia un host interno, y esa solicitud se enviaría a través del proxy. En las URLs `http://`, esto exponía la solicitud al proxy, incluidas las cookies o credenciales de ese host, y permitía que el proxy falsificara la respuesta. En las URLs `https://`, exponía el host y el puerto.
Parches
Actualice a Scrapy 2.20.0 o superior.
Soluciones alternativas
Si no puede actualizar a Scrapy 2.20.0, considere las siguientes mitigaciones.
- Desactivar las redirecciones: Si no necesita que Scrapy siga redirecciones, establezca `REDIRECT_ENABLED`
https://docs.scrapy.org/en/latest/topics/downloader-middleware.html#redirect-enabledy `METAREFRESH_ENABLED`https://docs.scrapy.org/en/latest/topics/downloader-middleware.html#metarefresh-enableden `False`, o establezca la clave de metadatos de solicitud `dont_redirect`https://docs.scrapy.org/en/latest/topics/downloader-middleware.html#std-reqmeta-dont_redirecten `True` en las solicitudes que podrían redirigirse a hosts internos. - Eliminar el proxy de las solicitudes de redirección: En Scrapy 2.11.2 o superior, agregue un middleware de descarga
https://docs.scrapy.org/en/latest/topics/downloader-middleware.htmlque se ejecute antes de `HttpProxyMiddleware` en las solicitudes, es decir, con un orden menor que su 750, y que elimine el proxy que `HttpProxyMiddleware` tomó del entorno, de modo que vuelva a establecer el proxy para la URL de redirección. Por ejemplo:
class NoProxyRedirectMiddleware:
def process_request(self, request, spider):
if request.meta.pop("_scheme_proxy", False):
request.meta.pop("proxy", None)
request.meta.pop("_auth_proxy", None)
request.headers.pop(b"Proxy-Authorization", None)DOWNLOADER_MIDDLEWARES = {
"myproject.middlewares.NoProxyRedirectMiddleware": 749,
}Desglose de métricas
Rangos afectados
Estado del parche por paquete
| Paquete / producto | Estado | Corregida en | Desde divulgación | Última versión |
|---|---|---|---|---|
pypiScrapy |
Corregida | 2.20.0 | 0 d | 2.20.0 no afectada |
2.20.0Arsenal público
Sin exploits, módulos ni PoC públicos conocidos a la fecha de verificación.
https://github.com/scrapy/scrapy/security/advisories/GHSA-x3px-j3qh-fp5wLas referencias externas se muestran para copiar: cve.llama.ec no lo redirige a otros sitios.
