WebScraper

ブラウザの操作を自動化

レシピ数

-

定期実行数

-

累計実行回数

-

サンプル

スクレイピングのレシピと結果。

ドキュメント

オペレーションの実行と結果取得。結果は非同期で取得する他にレシピに登録されているwebhook_urlにてコールバックとして受け取ることも可能。

      
$ curl -XPOST -H"x-web-scraper-uid: $WEB_SCRAPER_UID" -H"x-web-scraper-token: $WEB_SCRAPER_TOKEN" 'https://scraper.fukata.org/api/recipes/$WEB_SCRAPER_RECIPE_ID/operations' |jq .
{
  "operation": {
    "id": 4,
    "recipe_id": 2,
    "result_status": "waiting",
    "result_text": null,
    "processing_began_at": null,
    "processing_finished_at": null,
    "deleted_at": null,
    "created_at": "2018-07-15T07:48:31.000Z",
    "updated_at": "2018-07-15T07:48:31.000Z"
  }
}

$ curl -s -H"x-web-scraper-uid: $WEB_SCRAPER_UID" -H"x-web-scraper-token: $WEB_SCRAPER_TOKEN" 'https://scraper.fukata.org/api/operations/$WEB_SCRAPER_OPERATION_ID' |jq .
{
  "operation": {
    "id": 4,
    "recipe_id": 2,
    "result_status": "completed",
    "result_text": "{\"posts\":[{\"title\":\"Windows10でSteamが突然落ちる問題を解決する方法\",\"url\":\"https://blog.fukata.org/archives/9595\",\"thumbnail\":\"https://farm2.staticflickr.com/1782/29052599738_09568333bd.jpg\"},{\"title\":\"開発マシンをNew XPS 13(9370)にした\",\"url\":\"https://blog.fukata.org/archives/9574\",\"thumbnail\":\"https://farm2.staticflickr.com/1824/41018399390_d3b72f85d4.jpg\"},{\"title\":\"Saigon Cup 2018を観戦してきた\",\"url\":\"https://blog.fukata.org/archives/9581\",\"thumbnail\":\"https://farm1.staticflickr.com/968/41967144981_b7c5c8ea52.jpg\"},{\"title\":\"Android One端末の「Xiaomi Mi A1」を2.3万円弱でゲットした\",\"url\":\"https://blog.fukata.org/archives/9566\",\"thumbnail\":\"https://farm1.staticflickr.com/883/41066978132_f491218872.jpg\"},{\"title\":\"バンコクで開催された「Thaiger Uppercut 2018
」を観戦してきた\",\"url\":\"https://blog.fukata.org/archives/9556\",\"thumbnail\":\"https://farm1.staticflickr.com/821/40197997935_7b7cbd9feb.jpg\"},{\"title\":\"ZenFone 3 (ZE520KL)を手動でAndroid Oreo(8.0)まで
アップグレードした\",\"url\":\"https://blog.fukata.org/archives/9547\",\"thumbnail\":\"https://farm5.staticflickr.com/4777/40873908682_d8e583f25d.jpg\"},{\"title\":\"ZenFone 3 (ZE520KL)の新品を約1.6万円でゲット
した\",\"url\":\"https://blog.fukata.org/archives/9540\",\"thumbnail\":\"https://farm1.staticflickr.com/811/26043412717_ec898edbd8.jpg\"},{\"title\":\"MBP15 mid 2014が壊れたのでPCIe接続の外付けケースをバンコクで
探し回った\",\"url\":\"https://blog.fukata.org/archives/9521\",\"thumbnail\":\"https://farm5.staticflickr.com/4784/40021052234_773c2ac42d.jpg\"},{\"title\":\"バンコクのベトナム大使館で観光ビザ(1ヶ月シングル)を取
得してみた\",\"url\":\"https://blog.fukata.org/archives/9506\",\"thumbnail\":\"https://farm5.staticflickr.com/4789/40021063494_ea182cb9b9.jpg\"},{\"title\":\"ベトナムのダラットに週末行ってきた\",\"url\":\"https://blog.fukata.org/archives/9478\",\"thumbnail\":\"https://farm5.staticflickr.com/4651/39740547735_40d0cc0fcd.jpg\"},{\"title\":\"旅行時に役立つ便利グッズを紹介するサイト「トラハ」を作りました\",\"url\":\"https://blog.fukata.org/archives/9470\",\"thumbnail\":\"https://farm5.staticflickr.com/4658/26620373208_87fa82d68a.jpg\"},{\"title\":\"建具職人にHHKB用にカスタマイズしたMagic Trackpad2の台座を作ってもらった\",\"url\":\"https://blog.fukata.org/archives/9436\",\"thumbnail\":\"https://farm5.staticflickr.com/4665/25171674277_ef057213de.jpg\"},{\"title\":\"Tigerairで福岡から台湾経由でバンコクに行ってみた\",\"url\":\"https://blog.fukata.org/archives/9438\",\"thumbnail\":\"https://farm5.staticflickr.com/4696/26169274878_d9f0028fc3.jpg\"},{\"title\":\"格闘ゲームの世界大会を観戦するために東京に行ってきたので飲み歩いてきた\",\"url\":\"https://blog.fukata.org/archives/9425\",\"thumbnail\":\"https://farm5.staticflickr.com/4613/39259475054_e13187e44b.jpg\"},{\"title\":\"EVO JAPAN 2018を観戦してきた\",\"url\":\"https://blog.fukata.org/archives/9413\",\"thumbnail\":\"https://farm5.staticflickr.com/4700/28190475139_9fd5f6593e.jpg\"},{\"title\":\"[WordPress]wp-flickr-pressのバージョン2.6.1をリリース\",\"url\":\"https://blog.fukata.org/archives/9407\",\"thumbnail\":\"https://farm5.staticflickr.com/4648/25849587578_992859aa01.jpg\"},{\"title\":\"バンコクから福岡に帰省する前に沖縄で飲み歩いてきた\",\"url\":\"https://blog.fukata.org/archives/9397\",\"thumbnail\":\"https://farm5.staticflickr.com/4620/39012214134_3de7047dc7.jpg\"},{\"title\":\"2017年の年越しをタイのスコータイで過ごしてきた\",\"url\":\"https://blog.fukata.org/archives/9381\",\"thumbnail\":\"https://farm5.staticflickr.com/4601/38653833875_ae1f08e298.jpg\"},{\"title\":\"タイのスコータイにある歴史公園に行ってきた\",\"url\":\"https://blog.fukata.org/archives/9379\",\"thumbnail\":\"https://farm5.staticflickr.com/4637/24682276717_5cd047442c.jpg\"},{\"title\":\"タイのスコータイで飲み歩いてみた\",\"url\":\"https://blog.fukata.org/archives/9377\",\"thumbnail\":\"https://farm5.staticflickr.com/4638/39549918331_2ee4b50c59.jpg\"}]}",
    "processing_began_at": "2018-07-14T20:33:22.000Z",
    "processing_finished_at": "2018-07-14T20:33:26.000Z",
    "deleted_at": null,
    "created_at": "2018-07-14T20:33:22.000Z",
    "updated_at": "2018-07-14T20:33:26.000Z"
  }
}

      
    

コールバック

オペレーションが成功した時にレシピに登録されているwebhook_urlに下記のデータが送信される。

      
{
  "recipe": {
    "id": 2,
    "user_id": 1,
    "name": "example_blog.fukata.org_posts",
    "recipe_text": "recipe:\n  - url: https://blog.fukata.org\n    steps:\n      - key: posts\n        dom: '#content > article'\n        action: loop\n        steps:\n          - key: title\n            dom: h1.entry-title\n            action: get_text\n          - key: url\n            dom: h1.entry-title > a\n            action: get_link\n          - key: thumbnail\n            dom: header > a > img\n            action: get_src\n",
    "webhook_url": "https://api.fukata.org/dump.php",
    "deleted_at": null,
    "created_at": "2018-07-14T20:01:58.000Z",
    "updated_at": "2018-07-14T20:01:58.000Z"
  },
  "data": {
    "posts": [
      {
        "title": "Windows10でSteamが突然落ちる問題を解決する方法",
        "url": "https://blog.fukata.org/archives/9595",
        "thumbnail": "https://farm2.staticflickr.com/1782/29052599738_09568333bd.jpg"
      },
      {
        "title": "開発マシンをNew XPS 13(9370)にした",
        "url": "https://blog.fukata.org/archives/9574",
        "thumbnail": "https://farm2.staticflickr.com/1824/41018399390_d3b72f85d4.jpg"
      },
      {
        "title": "Saigon Cup 2018を観戦してきた",
        "url": "https://blog.fukata.org/archives/9581",
        "thumbnail": "https://farm1.staticflickr.com/968/41967144981_b7c5c8ea52.jpg"
      },
      {
        "title": "Android One端末の「Xiaomi Mi A1」を2.3万円弱でゲットした",
        "url": "https://blog.fukata.org/archives/9566",
        "thumbnail": "https://farm1.staticflickr.com/883/41066978132_f491218872.jpg"
      },
      {
        "title": "バンコクで開催された「Thaiger Uppercut 2018」を観戦してきた",
        "url": "https://blog.fukata.org/archives/9556",
        "thumbnail": "https://farm1.staticflickr.com/821/40197997935_7b7cbd9feb.jpg"
      },
      {
        "title": "ZenFone 3 (ZE520KL)を手動でAndroid Oreo(8.0)までアップグレードした",
        "url": "https://blog.fukata.org/archives/9547",
        "thumbnail": "https://farm5.staticflickr.com/4777/40873908682_d8e583f25d.jpg"
      },
      {
        "title": "ZenFone 3 (ZE520KL)の新品を約1.6万円でゲットした",
        "url": "https://blog.fukata.org/archives/9540",
        "thumbnail": "https://farm1.staticflickr.com/811/26043412717_ec898edbd8.jpg"
      },
      {
        "title": "MBP15 mid 2014が壊れたのでPCIe接続の外付けケースをバンコクで探し回った",
        "url": "https://blog.fukata.org/archives/9521",
        "thumbnail": "https://farm5.staticflickr.com/4784/40021052234_773c2ac42d.jpg"
      },
      {
        "title": "バンコクのベトナム大使館で観光ビザ(1ヶ月シングル)を取得してみた",
        "url": "https://blog.fukata.org/archives/9506",
        "thumbnail": "https://farm5.staticflickr.com/4789/40021063494_ea182cb9b9.jpg"
      },
      {
        "title": "ベトナムのダラットに週末行ってきた",
        "url": "https://blog.fukata.org/archives/9478",
        "thumbnail": "https://farm5.staticflickr.com/4651/39740547735_40d0cc0fcd.jpg"
      },
      {
        "title": "旅行時に役立つ便利グッズを紹介するサイト「トラハ」を作りました",
        "url": "https://blog.fukata.org/archives/9470",
        "thumbnail": "https://farm5.staticflickr.com/4658/26620373208_87fa82d68a.jpg"
      },
      {
        "title": "建具職人にHHKB用にカスタマイズしたMagic Trackpad2の台座を作ってもらった",
        "url": "https://blog.fukata.org/archives/9436",
        "thumbnail": "https://farm5.staticflickr.com/4665/25171674277_ef057213de.jpg"
      },
      {
        "title": "Tigerairで福岡から台湾経由でバンコクに行ってみた",
        "url": "https://blog.fukata.org/archives/9438",
        "thumbnail": "https://farm5.staticflickr.com/4696/26169274878_d9f0028fc3.jpg"
      },
      {
        "title": "格闘ゲームの世界大会を観戦するために東京に行ってきたので飲み歩いてきた",
        "url": "https://blog.fukata.org/archives/9425",
        "thumbnail": "https://farm5.staticflickr.com/4613/39259475054_e13187e44b.jpg"
      },
      {
        "title": "EVO JAPAN 2018を観戦してきた",
        "url": "https://blog.fukata.org/archives/9413",
        "thumbnail": "https://farm5.staticflickr.com/4700/28190475139_9fd5f6593e.jpg"
      },
      {
        "title": "[WordPress]wp-flickr-pressのバージョン2.6.1をリリース",
        "url": "https://blog.fukata.org/archives/9407",
        "thumbnail": "https://farm5.staticflickr.com/4648/25849587578_992859aa01.jpg"
      },
      {
        "title": "バンコクから福岡に帰省する前に沖縄で飲み歩いてきた",
        "url": "https://blog.fukata.org/archives/9397",
        "thumbnail": "https://farm5.staticflickr.com/4620/39012214134_3de7047dc7.jpg"
      },
      {
        "title": "2017年の年越しをタイのスコータイで過ごしてきた",
        "url": "https://blog.fukata.org/archives/9381",
        "thumbnail": "https://farm5.staticflickr.com/4601/38653833875_ae1f08e298.jpg"
      },
      {
        "title": "タイのスコータイにある歴史公園に行ってきた",
        "url": "https://blog.fukata.org/archives/9379",
        "thumbnail": "https://farm5.staticflickr.com/4637/24682276717_5cd047442c.jpg"
      },
      {
        "title": "タイのスコータイで飲み歩いてみた",
        "url": "https://blog.fukata.org/archives/9377",
        "thumbnail": "https://farm5.staticflickr.com/4638/39549918331_2ee4b50c59.jpg"
      }
    ]
  },
  "time": "2018-07-14T20:34:20.297Z"
}
      
    

レシピの書き方

gistにとりあえず書きました。