Playwright 【2023年】Python PlaywrightでWebスクレイピング(6) Downloadボタンでファイル保存(sync/async) PythonのE2EフレームワークPlaywrightのDownloadメソッドを用いて指定フォルダーに保存する方法をご紹介します。Codegen でサンプルコードを生成し、Traceで時間解析し、async/await +create_taskで処理時間を短縮する手法はplaywrightでとても有効でした。 2023.07.02 PlaywrightPython
Playwright 【2023年】Python PlaywrightでWebスクレイピング(5) 非同期と並列処理で高速化(asyncio) このページでは、非同期ライブラリasyncioを使って高速化実験した実験結果、コードを紹介しています。単純にPlaywright処理部分をasync/awaitに置き換えただけでは速くなりませんでした。高速化で考えなければならないのはマルチタスクで非同期&並行で処理することでした。実際には、async/await/creat_taskで 44%高速化(8.71秒→4.89秒)できました。 2023.05.28 PlaywrightPython
Playwright 【2023年】Python PlaywrightでWebスクレイピング(4) – tracingによる処理時間分析 – このページでは、PlaywrightのTraceViewerを使って処理時間を分析する方法を紹介します。処理時間だけでなく、実際の画面遷移も確認できるのでとても便利です。 2023.05.07 PlaywrightPython
Playwright 【2023年】Python PlaywrightでWebスクレイピング(3) – URLリストによるデータ収集とall_inner_texts()を用いた一括取得 ぺんぞう 前回で、指定ページの情報を収集できるようになったのう。「リンク先情報を取得するget_attribute()」を忘れんようにじゃな。 doestar(ドエスタ) なんかWebスクレイピングできそうな気がしてきました。でも... 2023.04.30 PlaywrightPython
Playwright 【2023年】Python PlaywrightでWebスクレイピング(2) – Table情報抽出 / get_attribute() – Python playwright webscrapying この記事は、page.locator, get_attributeを用いてテーブル情報(テキスト、URL)を抽出する方法について説明します。 2023.04.01 PlaywrightPython
Playwright 【2023年】Python PlaywrightでWebスクレイピング(1) page.locator()とPage情報確認方法 Python playwright webscrapying この記事は、page.locatorでタイトルとテーブル情報を抽出する方法について説明します。 2023.03.23 PlaywrightPython
Playwright 【2023年】Python Playwrightで自動テストしてみよう(3) url読み込み / SafariとFireFox Python Playwrightで自動テスト(3) urlを引数として読み込んで実行します。また、 SafaやFireFoxでも動作させます。 2023.03.05 PlaywrightPython
Playwright 【2023年】Python Playwrightで自動テストしてみよう(2) page.goto エラー対策 Python Playwright page.goto 実行時の エラーです。await self._connection.wrap_api_call 関数で処理が進まないみたい。wait_until = commitで解決。 2023.03.03 PlaywrightPython
Playwright 【2023年】Python Playwrightで自動テストしてみよう(1) Python Playwrightで自動テストしてみよう(1) では、Playwrightのインストールから、Playwrightの自動コード生成機能(codegen)コード自動生成し、そのコードを使って実際にPlaywrightを実行するまでの手順について紹介しています。 2023.02.06 PlaywrightPython