ブラウザ自動化 rubyでSSL接続時のエラーやhttpsの画像が保存できない時の対処法
open-uriなどでcertificate verify failedと怒られるhttpsのサイトにopen-uriなどで接続すると"certificate verify failed"というエラーが表示されてしまうことがあります。「証明...
ブラウザ自動化 
作業自動化 CSVを作成する時にbom付きで保存して文字化けを解決！
csvファイルを作成すると文字化けするスクレイピングなんかをしているとデータをCSVに入れたくなりますよね。でもそこにマルチバイト文字が混ざっているとエクセルで開いた時に文字化けしてしまったという経験があるのではないでしょうか。bom付きで...
ブラウザ自動化 [無料]Chrome headless + seleniumをherokuで定期実行
headless driverについてheadlessでseleniumを実行すると言えばつい最近まではPhantomJSでしたが、PhantomJSにはバグが多く存在しているにも関わらず、開発は終了してしまいました。headlessで実行...
ブラウザ自動化 [GAS]GoogleSpreadSheetでのスクレイピング時にサイトにログインした後のソースを取得
スクレイピングの手法rubyでのスクレイピング本ブログではruby + selenium webdriverをメインで扱っていますが、この技術を使ってよくスクレイピングしています。私はrubyでのスクレイピングではseleniumかgemの...
ブラウザ自動化 windowsならruby + selenium webdriverも環境設定は15分で終わる
seleniumってよく聞くけど何？このブログではプログラミング言語のrubyと自動化ツールselenium webdriverをメインに扱っておりますが、じゃあそもそもseleniumって何よ？何ができるのよ？なんでみんな使ってるのよ？と...
ブラウザ自動化 selenium gridやjenkinsを返さず単体のコードのみで複数のdriverを並列実行
複数のdriverを一気に立ち上げる複数のdriverを宣言するのには普通に考えると以下のようになります。driver1 = Selenium::WebDriver.for :chromedriver2 = Selenium::WebDri...
ブラウザ自動化 rescueでどんなエラーが起きたか表示させる
selenium webdriverのコード実装はデバッグの連続コードを書いている時にデバッグ作業しまくりますよね。require 'debug'とかで動きを途中で止めて変数の値を見たり、ブラウザで値が取れるか調べたり。コード実装時間の半分...
ブラウザ自動化 ruby + selenium webdriverをchrome拡張付きで起動する
本エントリーは、Selenium/Appium Advent Calendar 2017の12日目エントリーです。chrome driverをextensionつきで起動seleniumのchromedriverが起動するとChrome拡張...
ブラウザ自動化 要素を待つ時にsleepを使うのはオススメしない
no such element: Unable to locate elementとかElement is not clickable at pointとかを回避するためのwaitruby + selenium webdriverを使ってい...
ブラウザ自動化 ruby+selenium webdriverで使うCSVについていろいろ
別にseleniumじゃなくてもrubyで使うcsvライブラリrubyでCSVファイルを扱うための csvライブラリ 。CSVファイルを読み込んだり、CSVファイルを出力したりといろいろできます。別にseleniumを使うために用意されたラ...