你能用这个插件做什么?
WordPress的Crawlomatic Multisite Scraper Post Generator插件是一个突破性的网站爬行和爬行,Post Generator自动日志插件,它使用网站爬行或爬行将您的网站变成自动日志,甚至赚钱机器!
从几乎任何网页获取内容!您不再需要需要注册并提供有限访问权限的API,也可以从非API提供网站检索数据。安排它一次,让它像主人一样,全天候自动驾驶你的帖子!
它是如何工作的?
这个插件将对你给它的种子URL进行爬网(爬网意味着它将搜索网页包含的所有链接),并将访问每个爬网的URL并从中提取内容。爬网过程是可自定义的:您可以设置爬网深度、爬网速率、最大爬网文章数、仅爬网特定类或ID的链接以及更多自定义设置。
Crawlomatic v2.0更新
在v2.0更新中,插件中添加了一个新的实时scraper短代码:[crawomatic scraper]。这个新特性使这个插件成为一个易于实现的WordPress网页数据提取器。因此,它可以用于将任何网站的实时数据直接显示到您的帖子、页面或侧边栏中。它也会临时缓存被删除的内容,这样您的网站就不会过度使用资源。你可以使用这个插件来包括实时股票报价、板球或足球得分或任何其他来自公共领域的通用内容!
此更新中包含的新功能:
可以通过自定义模板标签、页面中的短代码、帖子和侧边栏(通过文本小部件)显示废弃的输出。
刮取数据的可配置缓存。缓存超时可以以分钟为单位为每一个刮取的数据定义。
可以为每个刮板设置刮板的可配置用户代理。
可配置的默认设置,如启用、用户代理、超时、缓存、错误处理。
查询内容的多种方式–CSS选择器、XPath或Regex、自动检测。
用于解析内容的各种参数。
将post参数传递给要删除的URL的选项。
使用不同的字符集从站点中删除数据,将删除的内容动态转换为指定的字符编码。
使用动态生成的URL,根据页面的get或post参数,动态创建scrap页面,以scrap或post变量。
回调函数,用于对刮取的数据进行高级解析。