Estoy raspando este sitio web ( https://www.nst.com.my/news/crime-courts ) para el contenido de ( div.article-teaser ) usando Scrapy 2.6.1 Python.

Imagen del sitio web de New Straits Times Pero cuando observo una vista previa del contenido con el comando scrapy shell ( response.css('div.article-teaser') ), no devuelve nada .

Imagen del archivo HTML extraído Al archivo HTML extraído también le falta la sección 'div.article-teaser' donde se suponía que aparecía después de las líneas 532 y 533 en la imagen.

Sospecho de un problema de JavaScript, ¿puedo saber si hay alguna solución para raspar el contenido en este caso?