如何用 Python 抓取 javascript 网站?

2024年 2月 10日 105.1k 0

如何用 python 抓取 javascript 网站?

问题内容

我正在尝试抓取一个网站。我尝试过使用两种方法,但两种方法都没有为我提供我正在寻找的完整网站源代码。我正在尝试从下面提供的网站 url 中抓取新闻标题。

网址:“https://www.todayonline.com/”

这是我尝试过但失败的两种方法。

方法一:美汤

tdy_url = "https://www.todayonline.com/"
page = requests.get(tdy_url).text
soup = beautifulsoup(page)
soup # returns me a html with javascript text
soup.find_all('h3')

### returns me empty list []

登录后复制
方法2:selenium + beautifulsoup

tdy_url = "https://www.todayonline.com/"

options = Options()
options.headless = True

driver = webdriver.Chrome("chromedriver",options=options)

driver.get(tdy_url)
time.sleep(10)
html = driver.page_source

soup = BeautifulSoup(html)
soup.find_all('h3')

### Returns me only less than 1/4 of the 'h3' tags found in the original page source

登录后复制

请帮忙。我尝试过抓取其他新闻网站,这要容易得多。谢谢。

正确答案

您可以通过 api 访问数据(查看“网络”选项卡):

例如,

import requests
url = "https://www.todayonline.com/api/v3/news_feed/7"
data = requests.get(url).json()

登录后复制

以上就是如何用 Python 抓取 javascript 网站?的详细内容,更多请关注每日运维网(www.mryunwei.com)其它相关文章!

相关文章

JavaScript2024新功能:Object.groupBy、正则表达式v标志
PHP trim 函数对多字节字符的使用和限制
新函数 json_validate() 、randomizer 类扩展…20 个PHP 8.3 新特性全面解析
使用HTMX为WordPress增效:如何在不使用复杂框架的情况下增强平台功能
为React 19做准备:WordPress 6.6用户指南
如何删除WordPress中的所有评论

发布评论