SPAの時代になってきてちょっとしたスクレイピングも面倒な感じになってきてしまった

SPAの時代になってきてXPathFeedが通用しなくなってきたので面倒

— 𝙨𝙝𝙞𝙢𝙤𝙗𝙖𝙮𝙖𝙨𝙝𝙞 (@shimobayashi) 2020年7月26日

github.com

• 現状では名前に反して特定のサイトを特定の方法でスクレイピングすることしかできず、特定のサービスにしか投稿できないので、特に汎用性は無い
• 特定のサイトを特定の方法でスクレイピング→将来的にはYAMLかなんかでXPathなどを書き連ねて定義できるようにすると、汎用性が上がって良さそう
  • 似たような事情でスクレイピングしたい対象が出てきたら対応を検討すると良さそう
• 特定のサービスにしか投稿できない→なんかヘッドレスCMSってやつに投稿できるようにしたり、プラガブルな構造にすると良さそう
  • ヘッドレスCMSのことは何も知らない。でもおそらくは自前でつくったGitHub - shimobayashi/vimagemore: AWSでサーバーレスってやつで画像をアップロードしてフィードを吐き出してくれるやつ。程度のことは当然できそう。問題があるとしたらコスト最適なソリューションがあるのかどうかというところにありそう
    • 自前でつくったやつはとにかくコストを抑えることを第一につくったので、月額100円もかかっていないしまあまあ快適(そしてBillingを見たらAWS SAAの勉強のときに消し忘れたリソースがあることに気づいたので消した)
  • プラガブルな構造にしても自分は投稿先は1つしか無いのであまりうれしさは無い気はする

世知辛いですね。