首页 › 爱编程的小短腿 › 了解java的爬虫框架 (爬虫框架java)

了解java的爬虫框架 (爬虫框架java)

🏷️ 爱编程的小短腿 ✍️ 爱编程，更爱生活 📅 2026-03-19T06:59:16+00:00

爬虫法则

在虚拟网络世界中，并不代表我们可以不受法律的管控，爬虫亦有爬虫世界的法则，我们爬虫也需要遵守对应的规则！！！

爬虫可能引起的问题

  • 网络爬虫的骚扰：受限于编写水平和目的，网络爬虫将会为Web服务器带来巨大的资源开销。
  • 网络爬虫的法律风险：服务器上的数据有产权归属，网络爬虫获取数据后牟利将带来法律风险。
  • 网络爬虫泄露隐私：网络爬虫可能具备突破简单访问控制的能力，获得被保护数据从而泄露个人隐私。

网络爬虫的限制

  • 来源审查：判断User­Agent进行限制
    • 检查来访HTTP协议头的User­Agent域，只响应浏览器或友好爬虫的访问。
    • 对维护网站的技术人员的技术水平有要求。
  • 发布公告：Robots协议
    • 告知所有爬虫网站的爬取策略，要求爬虫遵守
    • 但是是否遵守，还是靠爬虫本身。

Robots协议

Robots Exclusion Standard 网络爬虫排除标准

  • 作用：网站告知网络爬虫哪些页面可以抓取，哪些不行。
  • 形式：在网站根目录下的robots.txt文件 Robots协议基本语法。例如：https://www.mi.com/robots.txt 
# robots.txt for http://www.mi.com
# 2016/2/15

User-agent: *

Disallow: /?*
Disallow: /search_*
Disallow: /item/
Disallow: /comment/
Disallow: /accessories/
Disallow: /cart/
Disallow: /misc/
  • User-agent: *该协议将爬虫命名为User-agent，符号“ * ”代表所有，意思是所有爬虫均要遵守该协议。
  • Disallow: /?*Disallow是指不允许爬取的页面，“ /?* 是指根目录所有以疑问号开头的网页，/代表根目录，意思是不允许爬取该网站根目录所有以疑问号开头的网页。
  • Disallow: /search_*“/search_*”是指一种通配符，相关知识需要先学习正则表达式

Robots协议的遵守方式

  • 若网站无robots协议或者robots协议为空，则默认爬虫可以爬取所有信息。
  • 网络爬虫使用Robots协议：自动或人工识别robots.txt，再进行内容爬取 。
  • 约束性：Robots协议是建议但非约束性，网络爬虫可以不遵守，但存在法律风险。

Jsoup简介

Jsoup是Java的一款HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

从上述内容中我们发现，Jsoup不仅可以从文本中解析HTML内容，还可以从某个URL地址中解析HTML文本内容，因此，Jsoup也可以作为一个入门级的爬虫框架来使用

主要功能

  • 从一个URL，文件或字符串中解析HTML；
  • 使用DOM或CSS选择器来查找、取出数据；
  • 可操作HTML元素、属性、文本；

jsoup是基于MIT协议发布的，可放心使用于商业项目。

用法

添加依赖

<!-- jsoup爬虫 -->
<dependency>
  <groupId>org.jsoup</groupId>
  <artifactId>jsoup</artifactId>
  <version>1.15.3</version>
</dependency>

爬取网页

这里我选取了 八零小说 网站来爬取

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

import java.io.IOException;

/**
 * @author C.W
 * @date 2022/11/29 11:25
 * @desc jsoup测试
 */
public class Main {

    public static void main(String[] args) throws IOException {
        Document document = Jsoup.connect("https://txt80.com/recommendall/").get();
        System.out.println(document.html());
    }

}

输出结果：

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
 <head>
  <meta http-equiv="Content-Type" content="text/html; charset=utf-8">
  <title>小说推荐,好看的小说推荐,*美耽**小说推荐,重生小说推荐,玄幻小说推荐,好看小说推荐-八零电子书</title>
  <meta name="keywords" content="小说推荐,好看的小说推荐,*美耽**小说推荐,重生小说推荐,玄幻小说推荐,好看小说推荐,八零电子书">
  <meta name="description" content="小说推荐,好看的小说推荐,*美耽**小说推荐,重生小说推荐,玄幻小说推荐,好看小说推荐,电子书,小说,TXT,八零电子书txt80.com提供免费电子书txt小说*载下**.">
  <link href="/style/css/style.css" rel="stylesheet" type="text/css">
  <link rel="shortcut icon" href="/favicon.ico">
  <script type="text/javascript" src="/js/common.js"></script>
 </head>
 <body>
  <div id="warp">
   <div id="container">
    <div class="header">
     <h1><a name="top" href="https://www.txt80.com"><img width="120" height="60" title="八零电子书" src="/style/logo.png"></a></h1>
     <div class="headad fl">
      <ul>
       <li><a href="/hot/" style="font-weight:bold;" title="小说排行榜">小说排行榜</a> <a href="/recommend100.html" style="font-weight:bold;" title="热门小说推荐100本">热门小说推荐100本</a> <a href="/new/" style="font-weight:bold;" title="最新小说">最新小说</a> 八零电子书：为您提供穿越小说,*美耽**小说,都市小说,言情小说,玄幻小说，无弹窗小说网。</li>
      </ul>
     </div>
     <div class="had fl">
      <script>ad468()</script>
     </div>
     <div class="headrss fr"><a href="/desktop/" rel="nofollow">桌面快捷</a> <a href="javascript:void(0);" onclick="AddFavorite(window.location.href,document.title)">加入收藏</a> <a href="/rss.xml" target="_blank">RSS 订阅</a>
     </div>
    </div>
    <div class="menu">
     <div id="menu">
      <ul class="menu_mid">
       <li class="index"><a href="/"><strong>首页</strong></a></li>
       <li><a href="/all/" title="书库,书库大全">书库大全</a></li>
       <li><a href="/recommendall/" title="小说推荐">小说推荐</a></li>
       <li><a href="/dushi/" title="都市小说,好看的都市小说,都市小说排行榜">都市小说</a></li>
       <li><a href="/yanqing/" title="言情小说,女生言情小说,女生小说,女生言情小说完本,免费言情小说">女生言情</a></li>
       <li><a href="/xuanhuan/" title="玄幻小说,奇幻小说,玄幻奇幻小说,玄幻小说完本,免费玄幻奇幻小说">玄幻奇幻</a></li>
       <li><a href="/wuxia/" title="武侠小说,仙侠小说,修真小说,武侠小说排行榜,仙侠小说排行榜">武侠仙侠</a></li>
       <li><a href="/wangyou/" title="网游小说,网游小说排行榜,网游小说排行榜完本,游戏小说,竞技小说">网游竞技</a></li>
       <li><a href="/junshi/" title="历史小说,军事小说,历史小说排行榜,军事小说排行榜完本,历史小说推荐">军事历史</a></li>
       <li><a href="/kehuan/" title="科幻小说,末世小说,恐怖小说,悬疑小说,灵异小说,推理小说">科幻灵异</a></li>
       <li><a href="/danmei/" title="*美耽**小说,同人小说,衍生同人小说,*美耽**同人小说,bl小说,免费*美耽**同人">*美耽**同人</a></li>
       <li><a href="/wenxue/" title="文学名著,文学作品,名著推荐,世界文学名著,中国文学名著">文学名著</a></li>
       <li><a href="/qita/" title="其他小说排行榜,好看的其他小说,最新其他小说">其他小说</a></li>
      </ul>
     </div>
    </div>
    <div class="blank_5px"></div>
    <script>ad970()</script>
    <div class="clear"></div>
    <div class="blank_5px"></div>
    <div class="search">
     <div class="sar">
      <form name="search_news" method="post" action="/e/search/index.php"><select name="show" id="show" class="sname"> <option value="title,softsay,softwriter">综合</option><option value="title,softsay">书名</option><option value="softwriter">作者</option> </select> <input name="keyboard" type="text" id="keyboard" class="ipt-01" value="" size="28"> <input type="submit" name="Submit22" class="btnsearch" value=""> <input type="hidden" name="tbname" value="download"> <input type="hidden" name="tempid" value="1">
      </form>
     </div>
     <ul>
      <li><a href="/new/">最新小说</a> | <a href="/recommend/">推荐小说</a> | <a href="/hot/">*载下**排行 </a> | <a href="/pinshu/" style="color:#418100;">品书推荐</a> | <a href="/top.html" style="color:#418100;">小说风云榜</a> | <a href="/gbook.html" style="color:#418100;">书友留言</a></li>
     </ul>
     <p class="keywords"><b>热门搜索TXT小说：</b><a href="/search-0-103.html" target="_blank">系统</a> <a href="/search-0-1164.html" target="_blank">斗罗</a> <a href="/search-0-180.html" target="_blank">斗罗大陆</a> <a href="/search-0-9.html" target="_blank">重生</a> <a href="/search-0-38.html" target="_blank">遮天</a> <a href="/search-0-152.html" target="_blank">末世</a> <a href="/search-0-162.html" target="_blank">斗破苍穹</a> <a href="/search-0-240.html" target="_blank">完美世界</a> <a href="/search-0-220.html" target="_blank">火影</a> <a href="/search-0-287.html" target="_blank">洪荒</a> <a href="/search-0-519.html" target="_blank">快穿</a> <a href="/search-0-8780.html" target="_blank">剑来</a> <br></p>
     <div class="bdshare fr">
      <div class="bdsharebuttonbox">
       <a href="#" class="bds_more" data-cmd="more"></a><a href="#" class="bds_qzone" data-cmd="qzone"></a><a href="#" class="bds_tsina" data-cmd="tsina"></a><a href="#" class="bds_tqq" data-cmd="tqq"></a><a href="#" class="bds_renren" data-cmd="renren"></a><a href="#" class="bds_weixin" data-cmd="weixin"></a>
      </div>
     </div>
    </div>
    <div class="nrcontent">
     <div class="blank_5px"></div>
     <div class="list"><span class="list_t_left"></span> <span class="list_title_txt"><b>| 小说推荐<font color="ff6600">TXT电子书列表</font></b></span> <span class="list_t_right"></span>
      <div class="clear"></div>
      <div class="list_l_box">
       <div class="slist">
        <div class="pic"><a href="/dushi/txt26736.html" target="_blank"> <img src="https://pic.80qishu.com/d/file/pic/2022/10/15/2vttmd03uea.jpg" width="100" height="130" alt="《一号狂兵》全本TXT*载下**-作者：陈行者"></a>
        </div>
        <div class="info">
         <h4><a href="/dushi/txt26736.html" target="_blank">《一号狂兵》全本TXT小说*载下**</a><span class="fr"><b>0人*载下**</b></span></h4>
         <p class="xm"><b>小说类别：<a href="/dushi/" target="_blank">都市小说</a> 小说作者：<a href="/writer/陈行者/" target="_blank">陈行者</a></b></p>
         <p><b>小说简介：</b>一代钢铁狂兵，卷土重回都市！喝最烈的酒，踩最狂的反派，征服最美的女人！兵王 都市爽文 暧昧无敌 扮猪吃虎......<span>[<a href="/dushi/txt26736.html" target="_blank"><font color="418100">一号狂兵全集TXT*载下**</font></a>]</span></p>
         <p class="l"><font color="ff6600">发布时间：2022-11-28</font> | 小说状态：全集TXT电子书 | 小说格式：TXT电子书 | 小说大小：5.1 MB</p>
        </div>
       </div>
       <div class="slist">
        <div class="pic"><a href="/kehuan/txt27451.html" target="_blank"> <img src="https://pic.80qishu.com/d/file/pic/2022/10/18/dgjy0a3lcc5.jpg" width="100" height="130" alt="《我在泰国卖佛牌的那几年》全本TXT*载下**-作者：鬼店主"></a>
        </div>
        <div class="info">
         <h4><a href="/kehuan/txt27451.html" target="_blank">《我在泰国卖佛牌的那几年》全本TXT小说*载下**</a><span class="fr"><b>0人*载下**</b></span></h4>
         <p class="xm"><b>小说类别：<a href="/kehuan/" target="_blank">科幻灵异</a> 小说作者：<a href="/writer/鬼店主/" target="_blank">鬼店主</a></b></p>
         <p><b>小说简介：</b>鬼这东西，很多人信，也有很多人不信。去泰国之前我根本不信，可后来我竟开店卖起了佛牌……什么，你居然不知道佛牌里有鬼？......<span>[<a href="/kehuan/txt27451.html" target="_blank"><font color="418100">我在泰国卖佛牌的那几年全集TXT*载下**</font></a>]</span></p>
         <p class="l"><font color="ff6600">发布时间：2022-11-28</font> | 小说状态：全集TXT电子书 | 小说格式：TXT电子书 | 小说大小：5.5 MB</p>
        </div>
       </div>
       <div class="slist">
        <div class="pic"><a href="/kehuan/txt27439.html" target="_blank"> <img src="https://pic.80qishu.com/d/file/pic/2022/10/18/hblrek2bdqi.jpg" width="100" height="130" alt="《星期五有鬼》全本TXT*载下**-作者：七麒"></a>
        </div>
        <div class="info">
         <h4><a href="/kehuan/txt27439.html" target="_blank">《星期五有鬼》全本TXT小说*载下**</a><span class="fr"><b>0人*载下**</b></span></h4>
         <p class="xm"><b>小说类别：<a href="/kehuan/" target="_blank">科幻灵异</a> 小说作者：<a href="/writer/七麒/" target="_blank">七麒</a></b></p>
         <p><b>小说简介：</b>我是一家网络综艺节目的主持人，我主持的节目叫做星期五有鬼，是一档灵异节目，通过选题，实地拍摄，我接触到了许多不为人知的一面，我们每天生活的这个世界，远.........<span>[<a href="/kehuan/txt27439.html" target="_blank"><font color="418100">星期五有鬼全集TXT*载下**</font></a>]</span></p>
         <p class="l"><font color="ff6600">发布时间：2022-11-27</font> | 小说状态：全集TXT电子书 | 小说格式：TXT电子书 | 小说大小：4.1 MB</p>
        </div>
       </div>
       <div class="slist">
        <div class="pic"><a href="/dushi/txt26725.html" target="_blank"> <img src="https://pic.80qishu.com/d/file/pic/2022/10/15/b1zwg0hdn32.jpg" width="100" height="130" alt="《电子重生》全本TXT*载下**-作者：周硕"></a>
        </div>
        <div class="info">
         <h4><a href="/dushi/txt26725.html" target="_blank">《电子重生》全本TXT小说*载下**</a><span class="fr"><b>0人*载下**</b></span></h4>
         <p class="xm"><b>小说类别：<a href="/dushi/" target="_blank">都市小说</a> 小说作者：<a href="/writer/周硕/" target="_blank">周硕</a></b></p>
         <p><b>小说简介：</b>周硕是一个有理想的技术宅，然而现实却将他逼上了绝路。在今生，他所为之奋斗的中国芯片产业，似乎根本找不到一条出路。绝望的他醉酒而死，却没想到上天竟然让他重生.........<span>[<a href="/dushi/txt26725.html" target="_blank"><font color="418100">电子重生全集TXT*载下**</font></a>]</span></p>
         <p class="l"><font color="ff6600">发布时间：2022-11-26</font> | 小说状态：全集TXT电子书 | 小说格式：TXT电子书 | 小说大小：4.2 MB</p>
        </div>
       </div>
       <div class="slist">
        <div class="pic"><a href="/kehuan/txt27437.html" target="_blank"> <img src="https://pic.80qishu.com/d/file/pic/2022/10/18/qlcu2ysa50h.jpg" width="100" height="130" alt="《最后一个阴阳先生》全本TXT*载下**-作者：巫九"></a>
        </div>
        <div class="info">
         <h4><a href="/kehuan/txt27437.html" target="_blank">《最后一个阴阳先生》全本TXT小说*载下**</a><span class="fr"><b>0人*载下**</b></span></h4>
         <p class="xm"><b>小说类别：<a href="/kehuan/" target="_blank">科幻灵异</a> 小说作者：<a href="/writer/巫九/" target="_blank">巫九</a></b></p>
         <p><b>小说简介：</b>我叫张秀，身在校园，除了在学校老实读书外，还有另外一个工作，抓鬼！地府阴司，校园阴煞，崂山道士，吸血僵尸……好像我都碰到过。艳美狐仙，娇媚女鬼，*教魔**.........<span>[<a href="/kehuan/txt27437.html" target="_blank"><font color="418100">最后一个阴阳先生全集TXT*载下**</font></a>]</span></p>
         <p class="l"><font color="ff6600">发布时间：2022-11-26</font> | 小说状态：全集TXT电子书 | 小说格式：TXT电子书 | 小说大小：3.4 MB</p>
        </div>
       </div>
       <div class="slist">
        <div class="pic"><a href="/xuanhuan/txt27176.html" target="_blank"> <img src="https://pic.80qishu.com/d/file/pic/2022/10/15/qspmk5v4aog.jpg" width="100" height="130" alt="《君临星空》全本TXT*载下**-作者：风消逝"></a>
        </div>
        <div class="info">
         <h4><a href="/xuanhuan/txt27176.html" target="_blank">《君临星空》全本TXT小说*载下**</a><span class="fr"><b>0人*载下**</b></span></h4>
         <p class="xm"><b>小说类别：<a href="/xuanhuan/" target="_blank">玄幻奇幻</a> 小说作者：<a href="/writer/风消逝/" target="_blank">风消逝</a></b></p>
         <p><b>小说简介：</b>天穹雷霆劈裂了命运轨迹，浩渺光芒照亮了无垠星空。现代世界，妖魔滋生，鬼怪肆虐，武术与奇能绽放出了不可思议的光芒……这是一个凡.........<span>[<a href="/xuanhuan/txt27176.html" target="_blank"><font color="418100">君临星空全集TXT*载下**</font></a>]</span></p>
         <p class="l"><font color="ff6600">发布时间：2022-11-25</font> | 小说状态：全集TXT电子书 | 小说格式：TXT电子书 | 小说大小：8.18 MB</p>
        </div>
       </div>
       <div class="slist">
        <div class="pic"><a href="/dushi/txt26718.html" target="_blank"> <img src="https://pic.80qishu.com/d/file/pic/2022/10/15/mnsunoxzcee.jpg" width="100" height="130" alt="《我的奶爸人生》全本TXT*载下**-作者：儿童团团员"></a>
        </div>
        <div class="info">
         <h4><a href="/dushi/txt26718.html" target="_blank">《我的奶爸人生》全本TXT小说*载下**</a><span class="fr"><b>0人*载下**</b></span></h4>
         <p class="xm"><b>小说类别：<a href="/dushi/" target="_blank">都市小说</a> 小说作者：<a href="/writer/儿童团团员/" target="_blank">儿童团团员</a></b></p>
         <p><b>小说简介：</b>这是一本让人开心发笑的书。这是一本温馨的书。这是一本关于一个快乐小孩的书。宅男 技术流 赚钱 轻松......<span>[<a href="/dushi/txt26718.html" target="_blank"><font color="418100">我的奶爸人生全集TXT*载下**</font></a>]</span></p>
         <p class="l"><font color="ff6600">发布时间：2022-11-24</font> | 小说状态：全集TXT电子书 | 小说格式：TXT电子书 | 小说大小：5.29 MB</p>
        </div>
       </div>
       <div class="slist">
        <div class="pic"><a href="/xuanhuan/txt27173.html" target="_blank"> <img src="https://pic.80qishu.com/d/file/pic/2022/10/15/v3uvfpjchnr.jpg" width="100" height="130" alt="《我可以无限升级》全本TXT*载下**-作者：针虾"></a>
        </div>
        <div class="info">
         <h4><a href="/xuanhuan/txt27173.html" target="_blank">《我可以无限升级》全本TXT小说*载下**</a><span class="fr"><b>0人*载下**</b></span></h4>
         <p class="xm"><b>小说类别：<a href="/xuanhuan/" target="_blank">玄幻奇幻</a> 小说作者：<a href="/writer/针虾/" target="_blank">针虾</a></b></p>
         <p><b>小说简介：</b>你修炼了铁布衫，感觉不足，铁布衫+1铁布衫升级成铜皮铁骨功，你依旧感觉不足，铜皮铁骨功+1铜皮铁骨功升级成金刚不坏神功，你继续.........<span>[<a href="/xuanhuan/txt27173.html" target="_blank"><font color="418100">我可以无限升级全集TXT*载下**</font></a>]</span></p>
         <p class="l"><font color="ff6600">发布时间：2022-11-24</font> | 小说状态：全集TXT电子书 | 小说格式：TXT电子书 | 小说大小：3.91 MB</p>
        </div>
       </div>
       <div class="slist">
        <div class="pic"><a href="/dushi/txt26711.html" target="_blank"> <img src="https://pic.80qishu.com/d/file/pic/2022/10/15/5xhjqkn0lcy.jpg" width="100" height="130" alt="《绝品强少》全本TXT*载下**-作者：步履无声"></a>
        </div>
        <div class="info">
         <h4><a href="/dushi/txt26711.html" target="_blank">《绝品强少》全本TXT小说*载下**</a><span class="fr"><b>0人*载下**</b></span></h4>
         <p class="xm"><b>小说类别：<a href="/dushi/" target="_blank">都市小说</a> 小说作者：<a href="/writer/步履无声/" target="_blank">步履无声</a></b></p>
         <p><b>小说简介：</b>我有三个爷爷。大爷爷是华夏神医。二爷爷是古武高手。三爷爷是杀手之王。告诉我，我怎么能低调？金刚怒目，所以降伏四魔，菩萨低眉，所以慈悲六道。与阎罗.........<span>[<a href="/dushi/txt26711.html" target="_blank"><font color="418100">绝品强少全集TXT*载下**</font></a>]</span></p>
         <p class="l"><font color="ff6600">发布时间：2022-11-23</font> | 小说状态：全集TXT电子书 | 小说格式：TXT电子书 | 小说大小：13 MB</p>
        </div>
       </div>
       <div class="slist">
        <div class="pic"><a href="/dushi/txt26710.html" target="_blank"> <img src="https://pic.80qishu.com/d/file/pic/2022/10/15/3atjaj3x1ba.jpg" width="100" height="130" alt="《重生之权贵》全本TXT*载下**-作者：缸里有米"></a>
        </div>
        <div class="info">
         <h4><a href="/dushi/txt26710.html" target="_blank">《重生之权贵》全本TXT小说*载下**</a><span class="fr"><b>0人*载下**</b></span></h4>
         <p class="xm"><b>小说类别：<a href="/dushi/" target="_blank">都市小说</a> 小说作者：<a href="/writer/缸里有米/" target="_blank">缸里有米</a></b></p>
         <p><b>小说简介：</b>夏小洛毕业于三流野鸡大学金融学专业，郁郁不得志，一次醉酒他重生回到了二十年前。当初心仪的女人不能再放走了，当初欺负过我的人不能再放过了……*场官**，商场任我纵横，我本善良.........<span>[<a href="/dushi/txt26710.html" target="_blank"><font color="418100">重生之权贵全集TXT*载下**</font></a>]</span></p>
         <p class="l"><font color="ff6600">发布时间：2022-11-23</font> | 小说状态：全集TXT电子书 | 小说格式：TXT电子书 | 小说大小：4.2 MB</p>
        </div>
       </div>
       <div class="cleardiv"></div>
       <div id="splitpage"><span>总数<strong>1785</strong> / 共<strong>179</strong>页</span>
        <ul>
         <li class="active">1</li>
         <li><a href="/recommendall/index_2.html">2</a></li>
         <li><a href="/recommendall/index_3.html">3</a></li>
         <li><a href="/recommendall/index_4.html">4</a></li>
         <li><a href="/recommendall/index_5.html">5</a></li>
         <li><a href="/recommendall/index_6.html">6</a></li>
         <li><a href="/recommendall/index_7.html">7</a></li>
         <li><a href="/recommendall/index_8.html">8</a></li>
         <li><a href="/recommendall/index_9.html">9</a></li>
         <li><a href="/recommendall/index_10.html">10</a></li>
         <li class="next"><a href="/recommendall/index_2.html">下一页</a></li>
         <li class="lastly"><a href="/recommendall/index_179.html">尾页</a></li>
        </ul>
       </div>
      </div>
     </div>
    </div>
    <div class="listbar">
     <div class="listsidebar fr" style="margin-top:5px;"><span class="listsidebar_left"></span> <span class="listsidebar_title_txt">| 周<font color="ff6600">TXT小说*载下**榜</font></span> <span class="listsidebar_right"></span>
      <div class="clear"></div>
      <ul>
       <li><span class="red fr">11-23</span><a href="/yanqing/txt27976.html" title="十万个为什么[无限]全文txt*载下**" target="_blank">十万个为什么[无限]</a> / <a href="/writer/打字机N号/" target="_blank"><font color="7e7e7e">打字机N号</font></a></li>
       <li class="even"><span class="red fr">11-23</span><a href="/yanqing/txt27977.html" title="囚爱全文txt*载下**" target="_blank">囚爱</a> / <a href="/writer/陈霏吟/" target="_blank"><font color="7e7e7e">陈霏吟</font></a></li>
       <li><span class="red fr">11-23</span><a href="/yanqing/txt27978.html" title="重生九零搞事业,我变全文txt*载下**" target="_blank">重生九零搞事业,我变</a> / <a href="/writer/蜗牛的家/" target="_blank"><font color="7e7e7e">蜗牛的家</font></a></li>
       <li class="even"><span class="red fr">11-23</span><a href="/yanqing/txt27979.html" title="[原神]提瓦特魔神日记全文txt*载下**" target="_blank">[原神]提瓦特魔神日记</a> / <a href="/writer/点墨亦浓/" target="_blank"><font color="7e7e7e">点墨亦浓</font></a></li>
       <li><span class="red fr">11-23</span><a href="/yanqing/txt27980.html" title="如果月亮有秘密全文txt*载下**" target="_blank">如果月亮有秘密</a> / <a href="/writer/慕宵/" target="_blank"><font color="7e7e7e">慕宵</font></a></li>
       <li class="even"><span class="red fr">11-23</span><a href="/yanqing/txt27981.html" title="分手后,我爆红了全文txt*载下**" target="_blank">分手后,我爆红了</a> / <a href="/writer/天鸠/" target="_blank"><font color="7e7e7e">天鸠</font></a></li>
       <li><span class="red fr">11-23</span><a href="/yanqing/txt27982.html" title="女王,请踩我全文txt*载下**" target="_blank">女王,请踩我</a> / <a href="/writer/青色羽翼/" target="_blank"><font color="7e7e7e">青色羽翼</font></a></li>
       <li class="even"><span class="red fr">11-23</span><a href="/yanqing/txt27983.html" title="他没有我会杀生全文txt*载下**" target="_blank">他没有我会杀生</a> / <a href="/writer/半娄烟沙/" target="_blank"><font color="7e7e7e">半娄烟沙</font></a></li>
       <li><span class="red fr">11-23</span><a href="/yanqing/txt27984.html" title="独得帝怀全文txt*载下**" target="_blank">独得帝怀</a> / <a href="/writer/吾司命/" target="_blank"><font color="7e7e7e">吾司命</font></a></li>
       <li class="even"><span class="red fr">11-23</span><a href="/yanqing/txt27985.html" title="替身修的是无情道全文txt*载下**" target="_blank">替身修的是无情道</a> / <a href="/writer/神仙宝贝派大星/" target="_blank"><font color="7e7e7e">神仙宝贝派大星</font></a></li>
       <li><span class="red fr">11-23</span><a href="/danmei/txt28471.html" title="反派竟是我兄弟全文txt*载下**" target="_blank">反派竟是我兄弟</a> / <a href="/writer/余何欢/" target="_blank"><font color="7e7e7e">余何欢</font></a></li>
       <li class="even"><span class="red fr">11-23</span><a href="/danmei/txt28470.html" title="记仇日记全文txt*载下**" target="_blank">记仇日记</a> / <a href="/writer/归鹤远山/" target="_blank"><font color="7e7e7e">归鹤远山</font></a></li>
      </ul>
     </div>
     <div class="clear"></div>
     <div class="list-ad">
      <script type="text/javascript">ad250()</script>
     </div>
     <div class="listsidebar fr" style="margin-top:5px;"><span class="listsidebar_left"></span> <span class="listsidebar_title_txt">| 月<font color="ff6600">TXT小说*载下**榜</font></span> <span class="listsidebar_right"></span>
      <div class="clear"></div>
      <ul>
       <li><span class="red fr">10-30</span><a href="/dushi/txt26611.html" title="国色天香/顶级高手全文txt*载下**" target="_blank">国色天香/顶级高手</a> / <a href="/writer/钓人的鱼/" target="_blank"><font color="7e7e7e">钓人的鱼</font></a></li>
       <li class="even"><span class="red fr">10-30</span><a href="/dushi/txt26612.html" title="从向往的开始制霸娱乐全文txt*载下**" target="_blank">从向往的开始制霸娱乐</a> / <a href="/writer/剪发大叔/" target="_blank"><font color="7e7e7e">剪发大叔</font></a></li>
       <li><span class="red fr">10-30</span><a href="/dushi/txt26613.html" title="逆鳞全文txt*载下**" target="_blank">逆鳞</a> / <a href="/writer/柳下挥/" target="_blank"><font color="7e7e7e">柳下挥</font></a></li>
       <li class="even"><span class="red fr">10-30</span><a href="/dushi/txt26614.html" title="最强技能系统全文txt*载下**" target="_blank">最强技能系统</a> / <a href="/writer/都市大魔头/" target="_blank"><font color="7e7e7e">都市大魔头</font></a></li>
       <li><span class="red fr">10-30</span><a href="/kehuan/txt27305.html" title="末世之随机召唤师全文txt*载下**" target="_blank">末世之随机召唤师</a> / <a href="/writer/花虎/" target="_blank"><font color="7e7e7e">花虎</font></a></li>
       <li class="even"><span class="red fr">10-30</span><a href="/kehuan/txt27306.html" title="位面电梯全文txt*载下**" target="_blank">位面电梯</a> / <a href="/writer/千翠百恋/" target="_blank"><font color="7e7e7e">千翠百恋</font></a></li>
       <li><span class="red fr">10-30</span><a href="/kehuan/txt27307.html" title="梦境世界大具现全文txt*载下**" target="_blank">梦境世界大具现</a> / <a href="/writer/陛下圣安/" target="_blank"><font color="7e7e7e">陛下圣安</font></a></li>
       <li class="even"><span class="red fr">10-30</span><a href="/junshi/txt26955.html" title="东晋无敌铁军全文txt*载下**" target="_blank">东晋无敌铁军</a> / <a href="/writer/tx程志/" target="_blank"><font color="7e7e7e">tx程志</font></a></li>
       <li><span class="red fr">10-30</span><a href="/junshi/txt26958.html" title="独断大明全文txt*载下**" target="_blank">独断大明</a> / <a href="/writer/官笙/" target="_blank"><font color="7e7e7e">官笙</font></a></li>
       <li class="even"><span class="red fr">10-30</span><a href="/junshi/txt26962.html" title="清末1909全文txt*载下**" target="_blank">清末1909</a> / <a href="/writer/绝壁滑沥沥/" target="_blank"><font color="7e7e7e">绝壁滑沥沥</font></a></li>
       <li><span class="red fr">10-30</span><a href="/wangyou/txt27329.html" title="网游之奴役众神全文txt*载下**" target="_blank">网游之奴役众神</a> / <a href="/writer/一夜狂醉/" target="_blank"><font color="7e7e7e">一夜狂醉</font></a></li>
       <li class="even"><span class="red fr">10-30</span><a href="/wuxia/txt26972.html" title="天地霸刀全文txt*载下**" target="_blank">天地霸刀</a> / <a href="/writer/轻掸烟灰/" target="_blank"><font color="7e7e7e">轻掸烟灰</font></a></li>
      </ul>
     </div>
     <div class="clear"></div>
     <div class="list-ad">
      <script type="text/javascript">ad2502()</script>
     </div>
     <div class="listsidebar fr" style="margin-top:5px;"><span class="listsidebar_left"></span> <span class="listsidebar_title_txt">| 总<font color="ff6600">TXT小说*载下**榜</font></span> <span class="listsidebar_right"></span>
      <div class="clear"></div>
      <ul>
       <li><span class="red fr">03-16</span><a href="/wenxue/2017/07/txt6593.html" title="《红楼梦》脂砚斋批本全文txt*载下**" target="_blank">《红楼梦》脂砚斋批本</a> / <a href="/writer/[清]曹雪芹/" target="_blank"><font color="7e7e7e">[清]曹雪芹</font></a></li>
       <li class="even"><span class="red fr">08-01</span><a href="/wuxia/2017/08/txt6771.html" title="异界之灵台方寸山全文txt*载下**" target="_blank">异界之灵台方寸山</a> / <a href="/writer/专卖飞行符/" target="_blank"><font color="7e7e7e">专卖飞行符</font></a></li>
       <li><span class="red fr">08-02</span><a href="/junshi/2017/08/txt6793.html" title="汉末之吕家天下全文txt*载下**" target="_blank">汉末之吕家天下</a> / <a href="/writer/无言的守候/" target="_blank"><font color="7e7e7e">无言的守候</font></a></li>
       <li class="even"><span class="red fr">08-02</span><a href="/junshi/2017/08/txt6796.html" title="明末乞活全文txt*载下**" target="_blank">明末乞活</a> / <a href="/writer/好大一只乌/" target="_blank"><font color="7e7e7e">好大一只乌</font></a></li>
       <li><span class="red fr">08-27</span><a href="/danmei/2017/08/txt7113.html" title="从龙开始的战斗全文txt*载下**" target="_blank">从龙开始的战斗</a> / <a href="/writer/名剑收天/" target="_blank"><font color="7e7e7e">名剑收天</font></a></li>
       <li class="even"><span class="red fr">03-05</span><a href="/wuxia/2017/07/txt1.html" title="穿书之撩汉攻略全文txt*载下**" target="_blank">穿书之撩汉攻略</a> / <a href="/writer/公子于歌/" target="_blank"><font color="7e7e7e">公子于歌</font></a></li>
       <li><span class="red fr">03-15</span><a href="/wuxia/2017/07/txt2.html" title="初恋想跟我复合全文txt*载下**" target="_blank">初恋想跟我复合</a> / <a href="/writer/一叶菩提/" target="_blank"><font color="7e7e7e">一叶菩提</font></a></li>
       <li class="even"><span class="red fr">03-04</span><a href="/wuxia/2017/07/txt3.html" title="迷弟的春天全文txt*载下**" target="_blank">迷弟的春天</a> / <a href="/writer/醉饮长歌/" target="_blank"><font color="7e7e7e">醉饮长歌</font></a></li>
       <li><span class="red fr">03-25</span><a href="/wuxia/2017/07/txt4.html" title="第三支玫瑰全文txt*载下**" target="_blank">第三支玫瑰</a> / <a href="/writer/Twentine/" target="_blank"><font color="7e7e7e">Twentine</font></a></li>
       <li class="even"><span class="red fr">03-14</span><a href="/wuxia/2017/07/txt5.html" title="大神总爱配受音全文txt*载下**" target="_blank">大神总爱配受音</a> / <a href="/writer/春溪笛晓/" target="_blank"><font color="7e7e7e">春溪笛晓</font></a></li>
       <li><span class="red fr">03-03</span><a href="/wuxia/2017/07/txt6.html" title="情之所钟[重生]全文txt*载下**" target="_blank">情之所钟[重生]</a> / <a href="/writer/半盏茗香/" target="_blank"><font color="7e7e7e">半盏茗香</font></a></li>
       <li class="even"><span class="red fr">03-24</span><a href="/wuxia/2017/07/txt7.html" title="论一个玄幻写手世界观全文txt*载下**" target="_blank">论一个玄幻写手世界观</a> / <a href="/writer/雨田君/" target="_blank"><font color="7e7e7e">雨田君</font></a></li>
      </ul>
     </div>
    </div>
   </div>
   <div class="clear"></div>
   <div class="footer"></div>
   <div class="copyright">
    <p><a href="http://www.txt80.com" title="八零电子书">八零电子书</a>提供各类免费TXT小说、TXT电子书*载下**，包括言情小说、*美耽**小说、武侠仙侠、玄幻异能等TXT小说*载下**，所有小说均为全集、全本完结TXT小说</p>
    <p>本站所有TXT小说均为书友制作上传，电子书版权归原作者或出版社所有，如侵犯到您的权益，请及时联系删除，本站不负任何法律责任</p>
    <p>本站支持和鼓励读者购买正版小说，如果您喜欢某本TXT小说，请购买正版图书. www.txt80.com <a href="http://www.txt80.com" title="八零电子书">八零电子书</a></p> <em>Copyright © 2008-2022 <a href="http://www.txt80.com">www.txt80.com</a> All Rights Reserved <a href="http://www.txt80.com">八零电子书</a> 苏ICP备13255258号 
     <div style="display:none">
      <script>tongji();</script>
     </div><script>quanzhan();</script> </em>
   </div><em> <script>window._bd_share_config={"common":{"bdSnsKey":{},"bdText":"","bdMini":"2","bdPic":"","bdStyle":"0","bdSize":"16"},"share":{},"image":{"viewList":["qzone","tsina","tqq","renren","weixin"],"viewText":"分享到：","viewSize":"16"},"selectShare":{"bdContainerClass":null,"bdSelectMiniList":["qzone","tsina","tqq","renren","weixin"]}};with(document)0[(getElementsByTagName('head')[0]||body).appendChild(createElement('script')).src='http://bdimg.share.baidu.com/static/api/js/share.js?v=89860593.js?cdnversion='+~(-new Date()/36e5)];</script> </em>
  </div><em> </em>
 </body>
</html>

CSS选择器

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.io.IOException;

/**
 * @author C.W
 * @date 2022/11/29 11:25
 * @desc jsoup测试
 */
public class Main {

    public static void main(String[] args) throws IOException {
        Document document = Jsoup.connect("https://txt80.com/recommendall/").get();
        Elements elements = document.select("div.slist>div.info>h4>a[href]");
        for (Element element : elements) {
            System.out.println("书名: " + element.text() + "\t链接: " + element.attr("href"));
        }
    }

}

输出结果：

书名: 《一号狂兵》全本TXT小说*载下**	链接: /dushi/txt26736.html
书名: 《我在泰国卖佛牌的那几年》全本TXT小说*载下**	链接: /kehuan/txt27451.html
书名: 《星期五有鬼》全本TXT小说*载下**	链接: /kehuan/txt27439.html
书名: 《电子重生》全本TXT小说*载下**	链接: /dushi/txt26725.html
书名: 《最后一个阴阳先生》全本TXT小说*载下**	链接: /kehuan/txt27437.html
书名: 《君临星空》全本TXT小说*载下**	链接: /xuanhuan/txt27176.html
书名: 《我的奶爸人生》全本TXT小说*载下**	链接: /dushi/txt26718.html
书名: 《我可以无限升级》全本TXT小说*载下**	链接: /xuanhuan/txt27173.html
书名: 《绝品强少》全本TXT小说*载下**	链接: /dushi/txt26711.html
书名: 《重生之权贵》全本TXT小说*载下**	链接: /dushi/txt26710.html

更多CSS选择器请点击 CSS选择器和JSoup选择器_Shannonnnn的博客-CSDN博客_jsoup css选择器

至此，我们一个简单的Jsoup爬虫就写好了，Jsoup主要还是作为HTML解析器来使用，作为爬虫框架可以爬取一些简单的网页，复杂的网页Jsoup就无法胜任了，后续会讲解一些更为专业的Java爬虫框架，请大家一定在法律允许范围内来合理使用爬虫！！！