Dockerベースで手軽に便利なスクレイピング環境を構築する手順をまとめました。 Selenium on DockerやGKEのサンプルとしてもどうぞ。 GitHub : https://github.com/nullnull/scraping_sample この記事でできるようになること 本番環境(GKE)でスクレイピングのスクリプトを定期実行 スクレイピングを実行中のSelenium(Chromeブラウザ)の様子をVNCで監視(本番/開発) スクレイピング結果をSlack通知(本番/開発) スクレイピング結果をRedashでビジュアライズ(本番) 環境構築にかかるコマンドは数回だけで、スクリーンショットのように動作を確認しながら開発を行うことができます。(左がVNCを通したChromeブラウザ、右がRedash) この記事で説明しないこと スクレイピングのコードそのものの説明 そもそも
Webアプリの画面テストに用いられるSeleniumというツールをご存知ですか。Seleniumはブラウザ上のテスト自動化が可能なツール群のこと。人力作業の反復テストは、実は自動化できるかも。テスト自動化ツールSeleniumを解説します。 社内のブラウザテストはSeleniumで自動化できる 政府主導による『働き方改革』が推し進められるなか、残業時間の削減など、本格的に業務生産性の向上に取り組む企業が増えてきています。業務を効率化するには「無駄なことはしない」「可能な業務は自動化(仕組み化)する」というのがポイント。では、普段の業務を自動化させてくれるツールには、どのようなものがあるでしょうか。 反復作業を自動化させてくれるツールのひとつにSeleniumがあります。Seleniumは導入することで、Webアプリケーションの画面テスト自動化を実現可能。「定期的に行なう画面テストを自動化さ
どうも品質管理部エンジニアチームの木村です。 最近の話ではないんですがWeb UIテスト自動化をしようとなった時の事を書きます。 まずは初期段階の実行環境についてです、自動テストスクリプトの構築や処理そのものはまた次回。 Seleniumでテストを自動化したい! ZOZOTOWN に限らず最近のサービスはなんでもリリース頻度が高いです。 そして何故なのか、いついかなる時も、開発スケジュールは押し気味になります。 これは業界七不思議の1つです。たぶん。 品質管理部としてのテストは開発スケジュールの一番最後に置かれます。 つまり…短期決戦必須となります…。 そんなよくある話からSeleniumを使ってWeb UIテストを自動にしたいという流れになりました。 リリース頻度が高ければ高いほど、リグレッションテストはおろそかになると思うので、そこを自動テストで改善できると素敵です。 じゃあ自動テスト
GUIテストツールについての比較 現場での:GUIテストツール導入にあたり 「メリット」 と 「デメリット」 を纏めてみました。 (昨今、ツールの数が多く何がどのテストツールがマッチしているのかも含め。) 今まで色々とGUIテストツールの導入検討してきましたが、業務タスクに沿った選定ができればと思い、纏めております。 もちろんテストツールには有償・無償ありますが、「費用対効果も含め」 選定ができれば尚良し。 Seleniumファミリーだけではなく、最近のテストツールトレンド傾向を調査し、どのツールがベストなのか。 Selenium(WebDriver) E2Eテストの王道、WebDriverに依存するため最新ブラウザには注意が必要であるが、プログラミングライブラリが豊富。 ※Seleniumは、テストツールではなく 「ブラウザ操作ツール」 であるがここでは「テストツールグループ」に入れてお
Seleniumとは Selenium は Web ブラウザの操作を自動化するためのフレームワークです。 2004 年に ThoughtWorks 社によって Web アプリケーションの UI テストを自動化する目的で開発されました。 https://selenium.dev/history/ 元々は Web アプリケーションの UI テストや JavaScript のテストの目的で開発されましたが、テスト以外にもタスクの自動化や Web サイトのクローリングなど様々な用途で利用されています。 この記事では Python で Selenium を介して Chrome を操作するための環境構築と基本的な使い方について説明します。 TL;DR 公式の Docker イメージ (https://github.com/SeleniumHQ/docker-selenium) を使うと環境構築が超簡単
現在のWeb制作だと、既存のReset.cssやNormalize.cssには不足を感じると思います。それらの代替手段として制作された新しいCSSリセットを紹介します。 Reseter.cssは各ブラウザの最後から5つ前までのバージョンをサポートし、アクセシビリティにも配慮されており、CSSのテクニックや学びも満載です。 Reseter.css Reseter.css -GitHub Reseter.cssの特徴 Reseter.cssの使い方 Reseter.cssの中身 Reseter.cssの特徴 Reseter.cssは現在のWeb制作に合わせて制作された新しいCSSリセットで、ブラウザによって事前に作成されたすべてのスタイルをリセットします。クロスブラウザのエクスペリエンスを向上させるために、ブラウザのスタイルシートを正規化します。 Reseter.css バグやブラウザの不整合
経緯 もともとMouseoverDictionaryという素晴らしいFirefox用辞書があったのですが、Quantumの登場とXULの廃止とともに使えなくなってしまったため、自分用にChrome拡張をつくった次第です。 ソースコード 実装に関わる技術寄りの用語: React, esbuild, chrome.storage.local, chrome.storage.sync, Cross-extension messaging, Hogan, debounce, resizable/draggable, intl.v8BreakIterator, deinja, クロスブラウザ, など。 ※詳細は「Mouse Dictionaryの技術的な話」をご参照ください https://qiita.com/wtetsu/items/2a5568cb0b5a38c003fb 使い方 インストール
サイト強化はこれひとつ はやく、大きな成果へ ヒートマップ、サイト解析、ページ編集、A/Bテスト、WEB接客、パーソナライゼーション 1つのタグ設置だけで、全てノーコードで使えます。
Puppeteer is a Node library which provides a high-level API to control headless Chrome or Chromium over the DevTools Protocol. It can also be configured to use full (non-headless) Chrome or Chromium. The Chrome DevTools team maintains the library, but we'd love your help and expertise on the project. See Contributing. What can I do? Most actions you can take manually in the browser can be done wit
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く