自动化抓取 stackoverflow 问题列表

看论坛有人推荐这个 python 自动化开发工具，觉得有点好玩，尝试一下。

最近在关注 stackoverflow 上的某一类问题， 所以想用程序帮我做监控，自动打开浏览器，搜索指定关键词，然后把前 30 个问题列表保存或者发给我。 源代码贡献到这个github了，以下是我的开发过程.

系统环境

• windows 10
• python 3.10
• clicknium

安装 clicknium vscode 扩展和 python module ，参照getting started.

开发思路

• 自动打开浏览器，返回 tab 对象

tab = cc.edge.open("www.stackoverflow.com") 

• 输入关键字，发送{ENTER}快捷键进行搜索

tab.find_element(locator.stackoverflow.text_q).set_text(word) tab.find_element(locator.stackoverflow.text_q).send_hotkey('{ENTER}') 

• 搜索之前，可能会需要进行人机验证，用如下代码进行判断和点击

elem = tab.wait_appear(locator.stackoverflow.human_verification_div, wait_timeout=5) if elem != None: elem.click() 

• 点击'Newest',根据时间来排序

• 利用 clicknium 的获取相似元素，获取每个问题的标题，vote 数量，内容，最后更新时间，以及问题的 url

 while catch_count < 30: sleep(1) elems_title = tab.find_elements(locator.stackoverflow.a_title) elems_vote = tab.find_elements(locator.stackoverflow.span_vote) elems_cOntent= tab.find_elements(locator.stackoverflow.div_content) elems_time = tab.find_elements(locator.stackoverflow.span_time) for i in range(len(elems_title)): url = "https://www.stackoverflow.com" + elems_title[i].get_property('href') item = { 'Keyword':word, 'Title': elems_title[i].get_text(), 'Content': elems_content[i].get_text(), 'Time': elems_time[i].get_text(), 'Vote': elems_vote[i].get_text(), 'Url':url} print(item) catch_count += 1 if tab.is_existing(locator.stackoverflow.a_next): tab.find_element(locator.stackoverflow.a_next).click() else: break 

以下是问题标题链接的 locator

点击'Validate'是可以验证能匹配到单页 15 个元素的， 通过find_elements1可以一次性获取到所有的元素列表，然后通过get_text()获取文本，针对链接，还可以通过get_property('href') 来获取属性 href 。