GHSA-Q7WC-MR9R-GCJH
Los extractores de enlaces y SitemapSpider siguen URLs file://, ftp:// y s3:// del contenido rastreado
CVSS:4.0/AV:N/AC:L/AT:P/PR:N/UI:N/VC:H/VI:N/VA:N/SC:N/SI:N/SA:N
Fuente: GitHub
Ciclo de vida de la vulnerabilidad
| Fecha | Fase | Evento | Detalle |
|---|---|---|---|
| Divulgación | Publicada | GHSA-Q7WC-MR9R-GCJH divulgada · CVSS 8.2 (GitHub) | |
| Remediación | Parche 2.20.0 | Scrapy · 0 d desde divulgación | |
| Monitoreo | Detectada | Ingresó al índice | |
| Monitoreo | Verificada | Última verificación contra las fuentes |
Impacto
`LinkExtractor` https://docs.scrapy.org/en/latest/topics/link-extractors.html#scrapy.linkextractors.lxmlhtml.LxmlLinkExtractor, y por tanto las reglas de `CrawlSpider` https://docs.scrapy.org/en/latest/topics/spiders.html#scrapy.spiders.CrawlSpider que lo utilizan, y `SitemapSpider` https://docs.scrapy.org/en/latest/topics/spiders.html#scrapy.spiders.SitemapSpider construyen solicitudes a partir de URLs encontradas en el contenido rastreado: enlaces en páginas HTML, entradas `<loc>` en sitemaps e índices de sitemaps, y líneas `Sitemap` en archivos `robots.txt`.
Los extractores de enlaces aceptaban URLs `file://` y `ftp://`, y `SitemapSpider` aceptaba URLs de cualquier esquema. Scrapy descarga esos esquemas por defecto, por lo que un sitio web rastreado podría:
- hacer que Scrapy lea archivos locales mediante URLs `file://`, pasando su contenido a los callbacks del spider y, potencialmente, a la salida del spider,
- hacer que Scrapy inicie sesión en un servidor FTP elegido por el atacante mediante URLs `ftp://`, enviando las credenciales `FTP_USER`
https://docs.scrapy.org/en/latest/topics/settings.html#ftp-usery `FTP_PASSWORD`https://docs.scrapy.org/en/latest/topics/settings.html#ftp-password, - desde un sitemap, hacer que Scrapy envíe solicitudes firmadas con las credenciales `AWS_ACCESS_KEY_ID`
https://docs.scrapy.org/en/latest/topics/settings.html#aws-access-key-ida un bucket de S3 elegido por el atacante mediante URLs `s3://`.
Los spiders que definen `allowed_domains` https://docs.scrapy.org/en/latest/topics/spiders.html#scrapy.Spider.allowed_domains solo siguen estas URLs cuando su host es uno de esos dominios, lo que descarta las URLs `file://`.
Parches
Actualice a Scrapy 2.20.0 o superior.
En Scrapy 2.20.0, los extractores de enlaces y `SitemapSpider` solo siguen URLs `http://` y `https://` por defecto, además de las URLs que usan el esquema de la respuesta de la que provienen. Para seguir URLs con otros esquemas, utilice el parámetro `schemes` de `LinkExtractor` o el nuevo atributo `sitemap_schemes` de `SitemapSpider`.
Soluciones alternativas
Si no puede actualizar a Scrapy 2.20.0, considere las siguientes mitigaciones.
- Desactive los manejadores de descarga que no necesite: por ejemplo, configure `DOWNLOAD_HANDLERS`
https://docs.scrapy.org/en/latest/topics/settings.html#download-handlerscomo `{"file": None, "ftp": None, "s3": None}`. Consulte también recursos locales y no de redhttps://docs.scrapy.org/en/latest/topics/security.html#security-local-resources. - Descarte las solicitudes con otros esquemas: agregue un middleware de spider
https://docs.scrapy.org/en/latest/topics/spider-middleware.htmlque descarte las solicitudes de los callbacks del spider, a menos que usen `http`, `https` o el esquema de la respuesta. Por ejemplo:
from scrapy import Request
from scrapy.utils.httpobj import urlparse_cached
class SchemeFilterMiddleware:
def _allowed(self, request_or_item, response):
if not isinstance(request_or_item, Request):
return True
schemes = {"http", "https", urlparse_cached(response).scheme}
return urlparse_cached(request_or_item).scheme in schemes
def process_spider_output(self, response, result, spider):
for request_or_item in result:
if self._allowed(request_or_item, response):
yield request_or_item
async def process_spider_output_async(self, response, result, spider):
async for request_or_item in result:
if self._allowed(request_or_item, response):
yield request_or_itemSPIDER_MIDDLEWARES = {
"myproject.middlewares.SchemeFilterMiddleware": 0,
}Desglose de métricas
Rangos afectados
Estado del parche por paquete
| Paquete / producto | Estado | Corregida en | Desde divulgación | Última versión |
|---|---|---|---|---|
pypiScrapy |
Corregida | 2.20.0 | 0 d | 2.20.0 no afectada |
2.20.0Arsenal público
Sin exploits, módulos ni PoC públicos conocidos a la fecha de verificación.
https://github.com/scrapy/scrapy/security/advisories/GHSA-q7wc-mr9r-gcjhLas referencias externas se muestran para copiar: cve.llama.ec no lo redirige a otros sitios.
