如何實現node.js基于cheerio的爬蟲工具-創新互聯

這篇文章主要介紹如何實現node.js基于cheerio的爬蟲工具，文中介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們一定要看完！

成都一家集口碑和實力的網站建設服務商，擁有專業的企業建站團隊和靠譜的建站技術，10多年企業及個人網站建設經驗 ,為成都上1000+客戶提供網頁設計制作,網站開發,企業網站制作建設等服務,包括成都營銷型網站建設，品牌網站設計，同時也為不同行業的客戶提供做網站、成都網站制作的服務,包括成都電商型網站制作建設,裝修行業網站制作建設，傳統機械行業網站建設,傳統農業行業網站制作建設。在成都做網站,選網站制作建設服務商就選創新互聯公司。

先上代碼

'use strict';
// 引入模塊
const superagent = require('superagent');
const cheerio = require('cheerio');
const Excel = require('exceljs');
var baseUrl = '';
var Cookies = 'PHPSESSID=1c948cafb361cb5dce87122846e649cd'; //偽裝的cookie
let pageDatas = [];
let count = 1;
let limit = 3;
for (count; count < limit; count++) { 
  baseUrl = `http://bxjd.henoo.com/policy/policyList?page=${count}`;
  loadPage(baseUrl); 
}
function loadPage(baseUrl) { 
   getPageLoad(baseUrl);
} 
async function getPageLoad(baseUrl) {
  try {
    let body = await superagent.get(baseUrl)
      .set("Cookie", Cookies)
    var $ = cheerio.load(body.text);
    var trList = $("#tableList").children("tr");  
      for (var i = 0; i < trList.length; i++) { 
        let item = {};
        var tdArr = trList.eq(i).find("td");
        var id = tdArr.eq(0).text();
        item.sortId = id;
        var detailUrl = `http://bxjd.henoo.com/policy/view?id=${id}`;
        item.policyId = tdArr.eq(1).text();
        item.policyProductName = tdArr.eq(2).text();
        item.policyName = tdArr.eq(3).text();
        item.policyMoney = tdArr.eq(4).text();
        let detailBody = await superagent.get(detailUrl)
          .set("Cookie", Cookies);
        var $$ = cheerio.load(detailBody.text);
        var detailT = $$(".table-view");     
        //投保人證件號
        item.policyIdNum = detailT.find("tr").eq(11).find("td").eq(1).text();
        //投保人手機號
        item.policyPhone = detailT.find("tr").eq(10).find("td").eq(1).text();
        //被保人手機號
        item.bePoliciedPhone = detailT.find("tr").eq(16).find("td").eq(1).text();      
        //被保人姓名
        item.bePoliciedName = detailT.find("tr").eq(13).find("td").eq(1).text();
        console.log(item.bePoliciedName)
        //被保人證件號
        item.bePoliciedIdNum = detailT.find("tr").eq(17).find("td").eq(1).text();
        pageDatas = [...pageDatas,item];
      }
    if (pageDatas.length / 15 == (count - 1)) { 
      writeXLS(pageDatas)
    }
  } catch (error) {
  }
}
function writeXLS(pageDatas) {
  const workbook = new Excel.Workbook();
  const sheet = workbook.addWorksheet('My Sheet');
  const reColumns=[
    {header:'序號',key:'sortId'},
    {header:'投保單號',key:'policyId'},
    {header: '產品名稱', key: 'policyProductName'},
    {header: '投保人姓名', key: 'policyName' },
    {header: '投保人手機號', key: 'policyPhone' },
    {header: '投保人證件號', key: 'policyIdNum'},
    {header: '被保人姓名', key: 'bePoliciedName' },
    {header: '被保人手機號', key: 'bePoliciedPhone' },
    {header: '被保人證件號', key: 'bePoliciedIdNum' },
    {header:'保費',key:'policyMoney'},
  ];
  sheet.columns = reColumns;
  for(let trData of pageDatas){
    sheet.addRow(trData);
  }
  const filename = './projects.xlsx';
  workbook.xlsx.writeFile(filename)
  .then(function() {
   console.log('ok');
  }).catch(function (error) { 
     console.error(error); 
  });
 }

代碼使用方式

一、npm install 相關的依賴二、代碼修改

1、修改為自己的baseUrl

2、如果不需要攜帶cookie時將set("Cookie", Cookies)代碼去掉

3、修改自己的業務代碼

三、運行 node index四、部分代碼說明

所有代碼不過90行不到,操作了表格數據獲取和單條數據詳情的獲取

如何實現node.js基于cheerio的爬蟲工具