Dedecms采集功能的使用方法 --- 含有分页的普通文章的采集(二)

2021-07-28 0 4,696

前言:本文是“含有分页的普通文章的采集方法“的第二节,在前一节的基础上,这一节会对新增采集节点中的第二步:“设置字段获取规则”做详细的介绍。为了与前文保持一致,本文将延续使用前文的章节标记。

上接第一节。

 

2.1新增采集节点:第二步设置内容字段获取规则

单击“保存信息并进入下一步设置”后,便可进入“新增采集节点:第二步设置内容字段获取规则”页面,如(图14)所示,

Dedecms采集功能的使用方法 --- 含有分页的普通文章的采集(二)

图14-设置内容字段获取规则

 

系统将会自动指定一个“预览网址”,一般是文章列表页的第一篇文章的网址。但是,由于第一篇文章中没有涉及到分页的部分,所以在这里手动更改为,第二篇文章的网址:“http://www.bitscn.com/network/protocol/201105/193110.html”,更改后,如(图15)所示,

Dedecms采集功能的使用方法 --- 含有分页的普通文章的采集(二)

图15-更改后的预览地址

 

下面来设定分页部分的匹配规则。其具体操作步骤为:

打开文章内容页面,在网页上单击右键,在弹出的对话框中单击“查看源文件“。在源代码中,找到分页代码的开始部分和结束部分,如(图16)所示,

Dedecms采集功能的使用方法 --- 含有分页的普通文章的采集(二)

图16-分页代码

 

经过观察可知,分页代码位于“<div class=”page next-page”>“和”</div>”之间。因此,在”内容分页导航所在的区域匹配规则“中,应填写”<div class=”page next-page”>[内容]</div> “。对于分页代码的样式,一共有三种可供选择,这里应选择第一种” 全部列出的分页列表”。填写后,如(图17)所示,

Dedecms采集功能的使用方法 --- 含有分页的普通文章的采集(二)

图17-设置后的网页内容获取规则

 

对于“固定采集项目”中的“内容摘要、关键字和缩略图“三个部分,系统会用正则进行自动匹配,这里仅需配置过滤内容即可。下面主要介绍如何获取“文章标题、文章作者、文章来源、发布时间和文章内容”的采集规则,过滤规则仅简单涉及。

 

2.1.1 获取文章标题的采集规则

首先,打开“预览网址“的页面并单击右键,选择”查看源代码“,找到文章标题” OpenFlow网络是空谈吗?“,如(图18)所示,

Dedecms采集功能的使用方法 --- 含有分页的普通文章的采集(二)

图18-在源代码中的文章标题

 

这里的文章标题处在”<h1 class=“title”></h1>”之间,因此这里应该填写”<h1 class=“title”>[内容]</h1>”作为文章标题的匹配规则。如果在文章标题中含有相关链接等,可使用过滤规则加以处理,这里无需设置。填写后,如(图19)所示,

Dedecms采集功能的使用方法 --- 含有分页的普通文章的采集(二)

图19-文章标题的采集规则

 

2.1.2 获取文章作者的采集规则

经过查找源代码和对比原文的标题部分,可发现本文没有涉及到文章作者,所以这里不用填写,空着即可。

 

2.1.3 获取文章来源的采集规则

在上图19中,可发现来源的内容介于“<span>来源:“和“</span>”之间,因此这里应填写“<span>来源:[内容]</span>”作为文章来源的采集规则。同样,这里也不需要使用过滤规则。填写后,如图20所示,

Dedecms采集功能的使用方法 --- 含有分页的普通文章的采集(二)

图20-文章来源的采集规则

 

2.1.4 获取文章发布时间的采集规则

再次回到图17,可找到“时间:2011-05-13 11:47”,因此这里应把“时间:[内容]<span>”作为发布时间的采集规则。同样,这里也不需要使用过滤规则。填写后,如图21所示,

Dedecms采集功能的使用方法 --- 含有分页的普通文章的采集(二)

图21-文章发布时间的采集规则

 

2.1.5 获取文章内容的采集规则

这个部分是编写采集规则的重点,也是难点。需要特别注意。

具体操作步骤:

(a)在在打开的文章内容页面的源代码中,找到文章内容的开始部分“计算机网络知识的学习”,如图22所示,

Dedecms采集功能的使用方法 --- 含有分页的普通文章的采集(二)

图22-文章内容的开始部分

 

这里应把”<!—文章块开始—>”作为匹配规则的开始部分,注意到这段代码中包含一段广告代码,需要采用过滤规则把其去除。经观察发现,这段JS广告代码是位于“<div class=”contentgg”>”和“</div>”之间的。因此,应在“过滤规则”中填写:“{dede:trim replace=’’}<div class=”contentgg”>(.*)</div>”{/dede:trim}。填写后,如(图23)所示,

Dedecms采集功能的使用方法 --- 含有分页的普通文章的采集(二)

图23-开始部分的匹配规则及其过滤规则

 

(b)找到文章内容的结束部分,因为涉及到分页部分,所以应该选取分页结束的位置,如图24所示,

Dedecms采集功能的使用方法 --- 含有分页的普通文章的采集(二)

图24-文章内容的结束部分

 

这里应选取“<!—文章内分页结束-->”作为文章内容的结束部分,由于在选取的内容中又包含了一段JS代码,因此应再次使用过滤规则,把其去除。同时,考虑到本页没有涉及到分页,所以在分页代码中的<ul></ul>之间是空的。但是,如果页面包含分页的话,也是应该使用过滤规则去除的。此外,如果所设定的文章内容中,含有图片、链接等不希望被采集到的内容,也应该使用过滤规则一并去除掉。填写完成后,如(图25)所示,

Dedecms采集功能的使用方法 --- 含有分页的普通文章的采集(二)

图25-文章内容的匹配规则

 

到这里,“新增采集节点:第二步设置内容字段获取规则”,就设置完成了。来看一下整个配置页面,如(图26)所示,

Dedecms采集功能的使用方法 --- 含有分页的普通文章的采集(二)

图26-设置后的新增采集节点:第二步设置内容字段获取规则

 

检查无误后,单击“保存配置并预览”。如果之前设置正确,单击后,将会进入“新增采集节点:测试内容字段设置”页面并看到相应的文章内容。如(图27)和(图28)所示,

Dedecms采集功能的使用方法 --- 含有分页的普通文章的采集(二)

图27-新增采集节点:测试内容字段设置

 

Dedecms采集功能的使用方法 --- 含有分页的普通文章的采集(二)

图28-新增采集节点:测试内容字段设置

 

其中,图中画圈的地方代表的是分页符号。

确定正确无误后,如果单击“仅保存”,系统将会提示“成功保存配置“并返回”采集节点管理“界面;如果单击“保存并开始采集“,将会进入”采集指定节点“界面。否则,请单击“返回上一步进行修改”。

关于第二节的介绍就到这里。下面进入第三节。。。

 

收藏 (0) 打赏

您的支持是我们前进最大的动力!

打开微信扫一扫,即可进行扫码打赏哦
点赞 (0)

本站声明: 根据2013年1月30日《计算机软件保护条例》2次修订第17条规定:为了学习和研究软件内含的设计思想和原理,通过安装、显示、传输或者存储软件等方式使用软件的,可以不经软件著作权人许可,不向其支付报酬,鉴于此,也希望大家遵守相关法律法规使用、研究软件。 1、本站所有资源来源于用户上传和网络,因此不包含技术服务请大家谅解。 2、下载用户仅供学习交流,若使用商业用途,请购买正版授权,否则产生的一切后果将由下载用户自行承担。 3、站内资源均来源于网络公开发表文件或网友投稿发布,如侵犯您的权益,请联系管理员处理。 4、本站不保证所提供下载的资源的准确性、安全性和完整性,资源仅供下载学习之用,如有链接无法下载、失效或广告,请联系客服处理。 5、所有资源均收集于互联网仅供学习、参考和研究,请理解这个概念,所以不能保证每个细节都符合你的需求,也可能存在未知的BUG与瑕疵,因本站资源均为可复制品,所 以不支持任何理由的退款兑现,请熟知后再下载。

彤彤模板团 织梦CMS教程 Dedecms采集功能的使用方法 --- 含有分页的普通文章的采集(二) https://www.xiaoyuerqingfen.cn/3081.html

一家有态度的精品资源分享平台

常见问题
  • 模板团承诺演示效果图均和网站95%一样,并且我们的模板和数据都没有留后门,请放心使用。
查看详情
  • 因为模板具有可复制性和可传播性,模板一旦发货,非质量问题,不支持退换;所以务必请您一定看清楚后再购买。
查看详情

相关文章

评论
暂无评论
官方客服团队

为您解决烦忧 - 24小时在线 专业服务

  • 0 +

    访问总数

  • 0 +

    会员总数

  • 0 +

    资源总数

  • 0 +

    今日发布

  • 0 +

    本周发布

  • 0 +

    运行天数

开通会员,尊享海量资源下载特权