【Puppeteer】puppeteer安裝/常用的方法以及一個小慄子

来源:https://www.cnblogs.com/braink-1400/archive/2019/12/05/11989089.html
-Advertisement-
Play Games

這裡介紹的是Win平臺的安裝方法,其他平臺請至Github>Puppeteer. 首先要安裝node.js 可以看我這篇的開頭>【Angular】學習筆記-環境部署、項目建立相關 1.新建項目目錄 2.打開gitbush(常用的Terminal都可以) 3.鍵入 npm i puppeteer 4. ...


這裡介紹的是Win平臺的安裝方法,其他平臺請至Github>Puppeteer.

首先要安裝node.js 可以看我這篇的開頭>【Angular】學習筆記-環境部署、項目建立相關

 

 

1.新建項目目錄

2.打開gitbush(常用的Terminal都可以)

3.鍵入

npm i puppeteer

 

 

 

 4.等。。。。。。待安裝

 

 

 

 ps:安裝會帶一個Chromium 還是挺大的。。

 

 

 到這裡基本上就算安裝完成了。

 


 

 官方慄子:

 

 

 

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();
  await page.goto('https://example.com');
  await page.screenshot({path: 'example.png'});

  await browser.close();
})();

 

使用,打開Terminal

 

 

 

// node 文件名.js
node example.js

 

這裡以百度為例。

運行程式後自動截圖保存到當前根目錄下。

 

 


 

 一些常用的方法:

const browser = await puppeteer.launch(); // 啟動一個瀏覽器實例
const page = await browser.newPage(); // 新建一個網頁(page)
await page.setUserAgent(); // 設定UA(不同UA會有不同的效果),用來模擬不同設備對網頁的瀏覽。
await page.goto(); // 跳轉到指定地址。
await page.close(); // 關閉此page
//=======================================
// 獲取網頁中的一些元素或者是控制項
const testSelector = await page.waitForSelector(); // 等待指定的selector載入出來。

await testSelector.type(); // 假如是輸入框,則可以利用type鍵入關鍵字。
await testSelector.click(); // 假如是按鈕,則可以click。

// 執行自己寫的js代碼
await page.evaluate();
// 小慄子(執行scroll) 頁面滾動效果
await page.evaluate(_ => {
  window.scrollBy(0, window.innerHeight);
});
// 類似的有等待selector後執行js代碼
await page.$eval(selector, ele => ele.innerHTML); // 獲取指定(單個)selector內的HTML字元串

await page.$$eval(selector, ele => ele.map(a => a.getAttribute("href").trim())); // 獲取多個selector內"href"的內容。(結果是數組,可以遍歷出每個結果)
//=======================================
// 登陸驗證相關
// 一般的網站會使用 Cookie/localStorage等保存登陸的信息到本地,那麼我們不必每次都模擬登陸操作(避免反覆登陸觸發驗證機制。)
// setCookie, 如Youtube就是使用的cookie登陸
await page.setCookie();
// localStorage,localStorage能存儲更多的信息(localStorage是屬於JS的方法,所以需在page.evaluate()內執行)
await page.evaluate(() => {
  localStorage.setItem(key, value);
});
// PS:兩種方法都有小坑。
// setCookie必須在page新建之前。
// localStorage.setItem() 對指定網站必須先goto=>然後set=>然後再goto

 


 

自己寫的小慄子:Github地址>puppeteer_youtube_Autoresponder

const puppeteer = require("puppeteer");
const log = console.log;

///selector///
// video_title
var video_title_selector = "#video-title";

//
var like_btn_selector = "#like-button";

//
var dislike_btn_selector = "#dislike-button";

// // 回覆按鈕
var reply_btn_selector = "#reply-button-end";

// 輸入框
var contenteditorbox_selector = "#contenteditable-root";

//評論確定按鈕
var reply_sub_btn_selector = "#submit-button";

///selector///

//自定評論內容
var reply_content = "";

//Main
(async () => {
  const browser = await puppeteer.launch({ headless: false });
  const page = await browser.newPage();
  // 設置UA
  await page.setUserAgent(
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36"
  );
  // 這裡使用cookie來登陸youtube賬戶
  await page.setCookie();

  await page.goto("https://www.youtube.com");
  // search_input
  const search_input = await page.waitForSelector("#search");
  // type
  await search_input.type("puppeteer"); // 這裡鍵入需要查詢的關鍵字 如"puppeteer"
  // search_btn
  const search_btn = await page.waitForSelector(
    "#search-icon-legacy > yt-icon"
  );
  // search_btn_click
  await search_btn.click();
  await page.waitForSelector("#video-title");

  await page.waitForSelector(video_title_selector);

  var video_href = await page.$$eval(video_title_selector, ele =>
    ele.map(a => a.getAttribute("href").trim())
  );
  for (let index = 0; index <= video_href.length; index++) {
    // 打開新頁面
    const tempPage = await browser.newPage();
    // 重新設定UA
    await tempPage.setUserAgent(
      "Opera/9.80 (Windows NT 6.0) Presto/2.12.388 Version/12.14"
    );
    await tempPage.goto("https://www.youtube.com" + video_href[index]);
    await tempPage.waitFor(2000);
    // 頁面向下滾動
    await tempPage.evaluate(_ => {
      window.scrollBy(0, window.innerHeight);
    });
    await tempPage.waitFor(2000);

    // const video_title = await tempPage.waitForSelector("#eow-title");
    // await video_title.click();
    var m = 2;
    var nomorecomment = false;
    var attempcount = 0;

    while (true) {
      try {
        // 頁面向下滾動
        await tempPage.evaluate(_ => {
          window.scrollBy(0, window.innerHeight);
        });
        await tempPage.waitFor(2000);
        //
        
        log(m);
        try {
          const reply_btn = await tempPage.waitForSelector(
            `#comment-section-renderer-items > section:nth-child(${m}) > div.comment-renderer.vve-check-visible.vve-check-hidden > div.comment-renderer-content > div.comment-renderer-footer > div.comment-action-buttons-toolbar > button`,
            { timeout: 500 }
          );
          await reply_btn.click();
          // 評論
          const reply_combox = await tempPage.waitForSelector(
            "#comment-simplebox > div.comment-simplebox-frame > div.comment-simplebox-text"
          );
          // 輸入評論
          await reply_combox.type(reply_content);
          await tempPage.waitFor(800);
          // 確認評論
          const confirm_btn = await tempPage.waitForSelector(
            "#comment-simplebox > div.comment-simplebox-controls > div.comment-simplebox-buttons > button.yt-uix-button.yt-uix-button-size-default.yt-uix-button-primary.yt-uix-button-empty.comment-simplebox-submit.yt-uix-sessionlink"
          );
          await confirm_btn.click();
          attempcount = 0;
        } catch (error) {
          attempcount++;
          log(">>>>>>>index<<<<<<<", m);
          if (attempcount > 6) {
            await tempPage.close();
            break;
          }
        }

        // 點贊
        // await tempPage.$eval(
        //   `#comment-section-renderer-items > section:nth-child(${m}) > div.comment-renderer.vve-check-visible.vve-check-hidden > div.comment-renderer-content > div.comment-renderer-footer > div.comment-action-buttons-toolbar > span:nth-child(4) > button.yt-uix-button.yt-uix-button-size-default.yt-uix-button-default.yt-uix-button-empty.yt-uix-button-has-icon.no-icon-markup.comment-action-buttons-renderer-thumb.yt-uix-sessionlink.sprite-comment-actions.sprite-like.i-a-v-sprite-like`,
        //   ele => ele.setAttribute("aria-checked", "true")
        // );
        m++;
        await tempPage.waitFor(3000);
        //

        //測試
        //
        try {
          if (nomorecomment == false) {
            const loadmore = await tempPage.waitForSelector(
              "#comment-section-renderer > button > span > span.load-more-text"
            );
            await loadmore.click();
          }
        } catch (error) {
          nomorecomment = true;
        }
      } catch (e) {
        console.error(e);
      }
    }
  }
})();

請合理利用,我一不小心就被封號了

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • tab切換案例實現 <!DOCTYPE html> <html> <head lang="en"> <meta charset="UTF-8"> <title></title> <style> * { margin: 0; padding: 0; } ul { list-style-type: no ...
  • Step1. 獲取Bootstrap源代碼 1 https://github.com/twbs/bootstrap Step2. 進入目錄並切換npm源 1 npm --registry https://registry.npm.taobao.org // 淘寶鏡像 2 npm config get ...
  • 總結:在html標簽中添加的自定義屬性, 如果想要獲取這個屬性的值, 需要使用getAttribute("自定義屬性的名字")才能獲取這個屬性的值 html標簽中有沒有什麼自帶的屬性可以存儲成績的 沒有 本身html標簽沒有這個屬性, 自己(程式員)添加的 自定義屬性 為了存儲一些數據 <!DOCT ...
  • 計算屬性get set方法 在vue的計算屬性中,所定義的都是屬性,可以直接調用 正常情況下,計算屬性中的每一個屬性對應的都是一個對象,對象中包括了set方法與get方法 而絕大多數情況下,計算屬性沒有set方法,是一個只讀屬性 此時計算屬性可以簡寫 ...
  • 基於ES6語法手寫promise A+ 規範,源碼實現 class Promise { constructor(excutorCallBack) { this.status = 'pending'; this.value = undefined; this.fulfilledAry = []; th ...
  • 設置和獲取 標簽內容和文本內容 總結 設置: 使用innerText主要是設置文本的, 設置標簽內容, 是沒有標簽的效果的 innerHTML是可以設置文本內容 innerHTML主要的作用是在標簽中設置新的html標簽內容, 是有標簽效果的 想要設置標簽內容, 使用innerHTML 想要設置文本 ...
  • 一、HTML概述 htyper text markup language 即超文本標記語言。 超文本: 就是指頁面內可以包含圖片、鏈接,甚至音樂、程式等非文字元素。 標記語言: 標記(標簽)構成的語言。 1、網頁的組成 一個網頁一般由兩部分組成即: HTML(Hypertext Markup Lan ...
  • 當我們執行 JS 代碼的時候其實就是往執行棧中放入函數,那麼遇到非同步代碼的時候該怎麼辦?其實當遇到非同步的代碼時,會被掛起併在需要執行的時候加入到 Task(有多種 Task) 隊列中。一旦執行棧為空,Event Loop 就會從 Task 隊列中拿出需要執行的代碼並放入執行棧中執行,所以本質上來說 ...
一周排行
    -Advertisement-
    Play Games
  • 概述:在C#中,++i和i++都是自增運算符,其中++i先增加值再返回,而i++先返回值再增加。應用場景根據需求選擇,首碼適合先增後用,尾碼適合先用後增。詳細示例提供清晰的代碼演示這兩者的操作時機和實際應用。 在C#中,++i 和 i++ 都是自增運算符,但它們在操作上有細微的差異,主要體現在操作的 ...
  • 上次發佈了:Taurus.MVC 性能壓力測試(ap 壓測 和 linux 下wrk 壓測):.NET Core 版本,今天計劃準備壓測一下 .NET 版本,來測試並記錄一下 Taurus.MVC 框架在 .NET 版本的性能,以便後續持續優化改進。 為了方便對比,本文章的電腦環境和測試思路,儘量和... ...
  • .NET WebAPI作為一種構建RESTful服務的強大工具,為開發者提供了便捷的方式來定義、處理HTTP請求並返迴響應。在設計API介面時,正確地接收和解析客戶端發送的數據至關重要。.NET WebAPI提供了一系列特性,如[FromRoute]、[FromQuery]和[FromBody],用 ...
  • 原因:我之所以想做這個項目,是因為在之前查找關於C#/WPF相關資料時,我發現講解圖像濾鏡的資源非常稀缺。此外,我註意到許多現有的開源庫主要基於CPU進行圖像渲染。這種方式在處理大量圖像時,會導致CPU的渲染負擔過重。因此,我將在下文中介紹如何通過GPU渲染來有效實現圖像的各種濾鏡效果。 生成的效果 ...
  • 引言 上一章我們介紹了在xUnit單元測試中用xUnit.DependencyInject來使用依賴註入,上一章我們的Sample.Repository倉儲層有一個批量註入的介面沒有做單元測試,今天用這個示例來演示一下如何用Bogus創建模擬數據 ,和 EFCore 的種子數據生成 Bogus 的優 ...
  • 一、前言 在自己的項目中,涉及到實時心率曲線的繪製,項目上的曲線繪製,一般很難找到能直接用的第三方庫,而且有些還是定製化的功能,所以還是自己繪製比較方便。很多人一聽到自己畫就害怕,感覺很難,今天就分享一個完整的實時心率數據繪製心率曲線圖的例子;之前的博客也分享給DrawingVisual繪製曲線的方 ...
  • 如果你在自定義的 Main 方法中直接使用 App 類並啟動應用程式,但發現 App.xaml 中定義的資源沒有被正確載入,那麼問題可能在於如何正確配置 App.xaml 與你的 App 類的交互。 確保 App.xaml 文件中的 x:Class 屬性正確指向你的 App 類。這樣,當你創建 Ap ...
  • 一:背景 1. 講故事 上個月有個朋友在微信上找到我,說他們的軟體在客戶那邊隔幾天就要崩潰一次,一直都沒有找到原因,讓我幫忙看下怎麼回事,確實工控類的軟體環境複雜難搞,朋友手上有一個崩潰的dump,剛好丟給我來分析一下。 二:WinDbg分析 1. 程式為什麼會崩潰 windbg 有一個厲害之處在於 ...
  • 前言 .NET生態中有許多依賴註入容器。在大多數情況下,微軟提供的內置容器在易用性和性能方面都非常優秀。外加ASP.NET Core預設使用內置容器,使用很方便。 但是筆者在使用中一直有一個頭疼的問題:服務工廠無法提供請求的服務類型相關的信息。這在一般情況下並沒有影響,但是內置容器支持註冊開放泛型服 ...
  • 一、前言 在項目開發過程中,DataGrid是經常使用到的一個數據展示控制項,而通常表格的最後一列是作為操作列存在,比如會有編輯、刪除等功能按鈕。但WPF的原始DataGrid中,預設只支持固定左側列,這跟大家習慣性操作列放最後不符,今天就來介紹一種簡單的方式實現固定右側列。(這裡的實現方式參考的大佬 ...