AIとWebスクレイピングでX分析ツールを作る方法

TL;DR

Bright DataのX用データセットAPIで公開プロフィールの投稿と反応指標を取得し、Next.jsのダッシュボードに表示する。さらにGeminiで投稿内容を分析すれば、反応が見込める次の投稿案を生成できるが、著作権、利用規約、アクセス負荷の確認が必要である。

Transcript

はい、どうもしです。え、今回の動画は ですね、AI×ウェブスクリーピングで 分析ツールを開発しようというですね、 そういう動画を撮っていきたいと思います 。ま、ウェブスクレイピングっていうのは 、ま、ネット上に押している公開データ ですよね。それを書き集める、えっと、 スクレイピングするっていう意味があり まして、じゃ、例えばどんな分析ツール 作れるかって言うと、SNSですよね。X とかInstagram、TikTok、 YouTube、それらの公開データ、 公開されてるデータをスクレイピングして 、ま、どういったポストとか動画が人気な のかっていうのを分析したりとか、あとは 株の情報だったりとか、ま、あとは個人 開発であればレディitみたいなサイト から、え、どういったニーズがあるの かっ... Read More

Key Insights

• X分析ツールは、公開プロフィールのURLと取得件数を指定し、投稿本文や反応指標を一覧化する構成である。人気順への並べ替えにより、高反応の投稿テーマや表現を確認できる。
• Bright Dataのスクレイパーズライブラリーは、X、Instagram、TikTok、YouTube、Redditなどの事前構築済みデータセットを提供する。一覧にない対象は自作が必要になる。
• 取得可能なXの指標は、投稿内容、いいね数、インプレッション数、リポスト数、ブックマーク数などである。これらを比較することで、過去の投稿に対する反応の差を調査できる。
• 実装時の取得失敗は、API処理をトリガー方式からリアルタイム取得用のスクレイプ方式へ変更して解消した。正確な入力形式はデータセットの見本で確認する必要がある。
• AI投稿生成は、スクレイピングした投稿本文と反応実績をGeminiへ渡し、次に反応が期待できる投稿案を出力させる仕組みである。AIらしい文体はプロンプト調整の対象となる。
• MCP方式は、専用のフロントエンドを作らずに、CursorからBright Dataの検索やスクレイピング機能を利用する方法である。利用料金はAPI方式と同様に発生すると説明されている。
• デモの利用料金は当日0.19ドルで、話者は約30円と説明している。無料クレジットにも言及されているが、料金や付与条件は利用時点のサービス画面で確認する必要がある。
• スクレイピングの注意点は、著作権、対象サイトの利用規約、サーバーへの過度なアクセスの三つである。情報解析目的の例外に関する説明もあるが、法的評価は動画内で紹介された記事に基づく。
• 🎬 このチャンネルの他の動画:
  • Claude Codeで1日MVPを作る方法
  • Rork MaxでiOSアプリを作る方法
  • CursorとExpoで音声からSNSアプリを作る方法
• 📺 このチャンネル: プログラミングチュートリアル

Questions & Answers

Q: Bright DataでXの投稿分析ツールを作る方法は？

Bright DataのスクレイパーズライブラリーからX用データセットを選び、プロフィールURLと取得件数を入力する画面をNext.jsで作成する。APIで投稿本文と反応指標を取得し、一覧表示と人気順の並べ替えを実装すれば、どの投稿が高い反応を得たか分析できる。

Q: Xからどのような投稿データを取得できますか？

デモでは投稿本文、いいね数、インプレッション数、リポスト数、ブックマーク数などを取得している。日付順だけでなく、いいね数などを基準に人気順へ並べ替えることで、反応の良い投稿とその内容を対応させて確認できる。

Q: スクレイピングAPIでデータを取得できない場合の直し方は？

まずBright Dataのデータセット画面に掲載された実装例と入力オブジェクトの形式を確認する。デモでは当初のトリガー方式で取得できなかったため、リアルタイム取得に対応するスクレイプ方式へ変更し、開始日と終了日などのパラメーターを正しく渡して解決した。

Q: 収集したX投稿からAIで次の投稿案を作る方法は？

取得した投稿本文と、いいね数などの反応指標をGemini APIへ渡し、反応が良かった傾向を踏まえて次の投稿候補を生成する機能を追加する。生成文にAIらしさが残る場合は、語調、構成、表現方法などをプロンプトで指定して出力を調整する。

Q: InstagramやTikTok、YouTubeも同じ方法で分析できますか？

Bright Dataのスクレイパーズライブラリーには、Instagram、TikTok、YouTubeなどの事前構築済みデータセットが用意されているため、同様の分析に応用できる。TikTokの例ではタグから動画を収集し、流行している投稿を確認する使い方が示されている。

Q: MCPを使うと分析アプリを作らずに済みますか？

テキストデータの収集や分析だけが目的なら、専用のフロントエンドを作らず、Bright DataのMCPサーバーをCursorへ設定する方法がある。AIへの指示から検索、スクレイピング、市場調査などを実行できるが、MCP経由の利用にも料金が発生すると説明されている。

Q: Webスクレイピングで法的に注意することは何ですか？

著作権、対象サイトの利用規約、サーバーへの過度なアクセスを確認する必要がある。動画では、紹介された弁護士の記事を根拠として情報解析目的の例外にも触れているが、公開情報なら常に問題がないとは限らず、具体的な対象と用途ごとの判断が必要である。

Q: SNS分析ツールは個人開発や市場調査にどう活用できますか？

XやTikTokの投稿を集め、何が反応を得ているか、利用者が何に困っているかを比較すれば、需要のあるアプリ案やマーケティング施策の検討材料にできる。検索エンジン機能を使い、特定キーワードの検索結果から競合サービスを調査する例も紹介されている。

Summary & Key Takeaways

• まずBright DataのスクレイパーズライブラリーからX用データセットを選び、プロフィールURLと取得件数を入力して公開投稿を収集する。投稿本文に加え、いいね、インプレッション、リポスト、ブックマークなどの指標を表示し、日付順や人気順に並べれば、反応を得た投稿の傾向を調べられる。

• 実装例ではNext.jsでデータベースを使わないダッシュボードを作り、環境ファイルにBright DataのAPIキーを設定した。当初はトリガー方式で取得に失敗したため、データセットの見本を確認してリアルタイム取得用のスクレイプ方式へ変更し、開始日や終了日を含む入力オブジェクトを渡して取得を成功させた。

• 収集した投稿はGemini APIへ渡し、過去に反応が良かった内容を踏まえた次の投稿案を生成できる。画面が不要ならBright DataのMCPをCursorへ設定し、検索や市場調査をAIから直接実行する方法もある。ただし、利用時は料金に加え、著作権、対象サイトの利用規約、サーバーへの過度なアクセスを確認する必要がある。