manamana
2024年12月9日 18時12分
==========
製品型番：AGL3100
Debian/ABOSバージョン：
カーネルバージョン：4.9.133-at15 #2
3G/LTE モジュール情報 (Debianのみ)：
その他：
==========
フォーラムでご質問できる内容でないかもわかりませんが、何等かのアドバイスがいただけますと幸いです。
selenium+chromiumにてあるウエブページをスクレイピングし、ボタンクリックを模擬して、ファイルをダウンロードしようとしています。
pythonで制作しているのですが、実行時にエラーは無いのですがファイルをダウンロードできません。
そもそもウエブページをスクレイピングすることがarmadillo上で可能でしょうか？
よろしくお願いいたします。
コメント
manamana
> manamanaさん
>
> お世話になっています、マルティネです。
>
> > そもそもウエブページをスクレイピングすることがarmadillo上で可能でしょうか？
>
> 理論上はできると思いますが、chromium が必要とするメモリがちょっと心配です。
> メモリ不足で強制停止された場合はエラーがどこかにあると思いますので今回は別の原因で動作が失敗しているように見えますが、どうでしょうね。
>
> selenium が便利だと思いますが、今回スクレイピングしようとしているサイトで javascript が必要なければ、処理がシンプルな parsing ベースのツールを試してみてはいかがでしょうか。
> 利用可能なツールはいくつかありますが parsel か beautifulsoup で selector を利用すれば python で丈夫な処理も実装可能です。
>
> よろしくお願いします。
マルティネさん
回答ありがとうございました。
at_dominique.m…
2024年12月10日 10時03分
manamanaさん
お世話になっています、マルティネです。
> そもそもウエブページをスクレイピングすることがarmadillo上で可能でしょうか？
理論上はできると思いますが、chromium が必要とするメモリがちょっと心配です。
メモリ不足で強制停止された場合はエラーがどこかにあると思いますので今回は別の原因で動作が失敗しているように見えますが、どうでしょうね。
selenium が便利だと思いますが、今回スクレイピングしようとしているサイトで javascript が必要なければ、処理がシンプルな parsing ベースのツールを試してみてはいかがでしょうか。
利用可能なツールはいくつかありますが parsel か beautifulsoup で selector を利用すれば python で丈夫な処理も実装可能です。
よろしくお願いします。