如何在 Apify 中使用 Bright Data
让网络爬取更加顺畅!将 Oculus 代理集成到 Apify,可实现更流畅、匿名且高效的爬取工作流程,帮助您绕过 IP 封锁、地理限制和验证码等挑战。请按照本指南,在 Apify 中设置 Oculus 代理,以提高性能和可靠性。
展开以获取您的 Bright Data 代理访问信息
展开以获取您的 Bright Data 代理访问信息
您的代理访问信息
Bright Data 代理按“代理区域”(Proxy zones)进行分组。每个区域包含其对应的代理配置。
要获取代理区域的访问权限:
- 登录 Bright Data 控制面板
- 选择现有代理区域或新建一个代理区域
- 点击新的区域名称,并选择 概览(Overview) 选项卡
- 在概览选项卡中,找到 访问详情(Access details),并单击复制图标将代理访问信息复制到剪贴板
- 您需要以下信息:代理主机(Proxy Host)、代理端口(Proxy Port)、代理区域用户名(Proxy Zone username)和代理区域密码(Proxy Zone password)
- 点击复制图标,将文本复制到剪贴板,并粘贴到您的工具的代理配置中
访问详情示例
住宅代理访问
要使用 Bright Data 的 住宅代理(Residential Proxies),您需要通过合规团队的验证或安装证书。了解更多…
目标是搜索引擎?
如果您的目标是 Google、Bing 或 Yandex 等搜索引擎,则需要使用专门的搜索引擎结果页(SERP)代理 API。请使用 Bright Data SERP API 来访问搜索引擎。
点击此处了解 Bright Data SERP 代理 API。
避免工具中的 PROXY ERROR
一些工具会使用搜索引擎作为代理测试目标:如果您的代理测试失败,这可能就是原因。请确保您的测试目标域名不是搜索引擎(此设置在工具配置中,而非 Bright Data 代理的控制范围内)。
什么是 Apify?
Apify 是一个功能强大的网络爬取和自动化平台。它允许开发者创建和运行自定义网络爬取工具,称为 Actors(执行器),以自动化数据收集和处理任务。通过集成 Bright Data 代理,您可以增强 Apify 工作流的匿名性、稳定性和效率,确保任务顺利运行。
如何将 Bright Data 集成到 Apify
在本指南中,我们将使用 Web Scraper 执行器作为示例。
步骤 1. 访问您的 Apify 仪表板和工具
1. 使用您的凭据登录 Apify 账户。
2. 在仪表板中,转到 Apify Store 以浏览可用工具。使用搜索栏或按类别浏览,找到 Web Scraper 执行器。
步骤 2. 启动 Web Scraper 执行器
1. 在左侧菜单的 Actors 部分找到 Web Scraper 执行器。
2. 点击它,打开配置页面。
步骤 3. 定义爬取的目标 URL
1. 在 输入(Input) 选项卡中,找到 基本配置(Basic Configuration) 部分。
2. 输入您想要爬取的网页目标 URL。
3. 根据您的爬取需求添加一个或多个 URL。
Bright Data 合规性规定,搜索引擎(如 google
)只能通过 SERP 代理区域访问。测试时,请使用非搜索引擎目标。
步骤 4. 设置自定义代理选项
1. 向下滚动至 代理和浏览器配置(Proxy and Browser Configuration) 部分。
2. 选择 自定义代理(Own proxies) 以启用代理设置。
3. 按以下格式输入您的 Bright Data 代理详情:
4. 使用您的 Bright Data 凭据,并在需要时修改用户名以访问特定国家/地区(例如:your-username-country-US
)。
步骤 5. 启动并验证执行器任务
1. 代理配置完成后,点击 保存 & 启动(Save & Start) 以启动执行器。
2. 检查日志,确保任务运行顺利,并且 Bright Data 代理已激活。
通过将 Bright Data 代理集成到 Apify,您可以运行强大、匿名和地理定位的自动化工作流。无论是爬取数据、处理信息,还是管理大规模项目,Bright Data 都能确保 Apify 任务的顺畅和可靠性。立即开始构建更智能的自动化流程吧!