オープンデータを無料の仮説検証に使う方法

TL;DR

国や自治体のオープンデータを取得し、Pythonで必要な項目を加工して、グラフや地図に可視化すれば、費用をかけずに仮説を検証できる。利用前にライセンスと機械判読性を確認し、e-StatやgBizINFOのAPI、CSVを目的に応じて選ぶことが重要である。

Transcript

クロスリグオ1 始まります。サイエンスターの鈴木です。今日のテーマはオープンデータの使い方です。オープンデータはよく耳にすると思うんですけども、どこに何があるのかとかですね、あとどう使えばいいのかわかんないっていう方がいらっしゃると思うんですけども、今日はその具体的な活用方法についてお伺いしていきたいと思います。え、ゲストを紹介します。え、データ分析が専門の原安さんにお越しいただきました。よろしくお願いします。 [音楽] よろしくお願いします。 あさん、あれ、えっと、これですかね?このパイソン onで始めるオープネタ分析という本を出されまして、結構人気だという風に聞、 [音楽] 意外に人気なんですよ。 なんで今回このタイミング出そうと思ったんですか? あの、二昔前私が大学生を始めた頃だとこう... Read More

Key Insights

• オープンデータは、国や地方公共団体などが公開し、インターネット経由で取得、加工、編集、再配布できるデータである。利用可能な範囲は提供元の条件によって異なる。
• 機械判読性は、PythonやRによる自動処理のしやすさを左右する条件である。結合セルや文章を多用したExcelは、人には読みやすくても機械処理には適さない。
• ライセンス確認は、公開データを業務や分析に使う前の必須作業である。非営利目的だけに限定されたデータや、企業利用、改変を禁止したデータも存在する。
• e-Statは、人口、家計、GDP、物価など日本の公的統計を探せる総合窓口である。ユーザー登録でAPIの鍵を取得すれば、必要なデータを自動取得できる。
• gBizINFOは、法人番号を持つ全国の法人について、名称、所在地、設立年月日などを調べられるデータベースである。法人情報はCSVや圧縮ファイルで取得できる。
• Pythonによる分析は、一度ソースコードを作れば同じ処理を繰り返せるため、手作業より再現性を確保しやすい。処理内容もコードから確認できるため、検証にも役立つ。
• お手本コードの変更は、データ分析を学ぶ実践的な方法である。まず元のコードを動かし、少しずつ期間などを変え、どの変更で動かなくなるかを確かめると理解が進む。
• 法人情報の可視化は、スタートアップの地域的な集積を確かめる手段である。紹介例では都道府県別集計と東京都内のヒートマップから、東京や特定地域への集中が示された。
• 🎬 このチャンネルの他の動画:
  • AIエージェントで会社を少数精鋭化する方法
  • アメリカの食文化はなぜ多様に発展したのか？
  • ドンキ創業者に学ぶ後悔しない生き方とは？
• 📺 このチャンネル: TBS CROSS DIG with Bloomberg

Questions & Answers

Q: オープンデータを無料の仮説検証に使う方法は？

取得、加工、可視化の3段階で進める方法が示されている。まずe-StatやgBizINFOから目的に合うAPI、CSVを取得し、Pythonで期間や所在地など必要な条件に絞り込み、集計結果をグラフや地図にする。可視化した実態と事前の予想を比べれば、費用をかけずに仮説を検証できる。

Q: オープンデータとは何ですか？

オープンデータとは、国や地方公共団体などが公開し、国民がインターネットなどを通じて利用できるデータである。加工、編集、再配布が認められ、機械判読に適し、無償で利用できることが重要な条件になる。ただし、実際の利用範囲は各データのライセンスによって異なる。

Q: オープンデータのライセンスはなぜ確認が必要なのか？

公開されていても、あらゆる目的に自由に使えるとは限らないからである。データによっては非営利目的や学術目的だけが認められ、企業での分析や改変が禁止される場合もある。提供元のサイトに掲載された利用条件を読み、営利利用、編集、再配布が許されているかを確認する必要がある。

Q: 機械判読に適したデータ形式とは何ですか？

PythonやRなどのプログラムが構造を認識し、自動的に読み込んで処理できる形式である。動画ではCSV、JSON、XML、APIが例として挙げられている。一方、結合セルや文章が多いExcelは読み込む順序を機械が判断しにくく、見た目が分かりやすくても自動処理には適さない場合がある。

Q: e-Statから統計データを自動取得する方法は？

e-StatのAPI機能を利用し、必要な統計だけを取得する。サイトでユーザー登録とログインを行い、外部からAPIへアクセスするための鍵を入手する。その鍵を使えば、人口、家計、GDP、物価など、e-Statで公開されている公的統計から自分が必要とするデータを自動的に受け取れる。

Q: gBizINFOではどのような法人情報を取得できますか？

法人番号を持つ全国の法人について、法人番号、企業名、郵便番号、所在地、設立年月日、創業年、営業状態、最終更新情報などを取得できる。売上などの財務情報も対象に含まれるが、すべての法人について揃っているわけではない。データはCSVや圧縮ファイルとしてダウンロードできる。

Q: ExcelではなくPythonでデータ分析を行う利点は何ですか？

同じ処理を繰り返せる再現性と、作業内容をコードで確認できる点が利点である。Excelの手作業では、データの更新や様式変更のたびに表や参照設定を作り直し、操作ミスが生じる可能性がある。Pythonでは一度コードを作れば機械が同じ工程を実行し、結果の作成手順も後から検証できる。

Q: スタートアップの立地をオープンデータで分析する方法は？

gBizINFOの法人情報を取得し、設立年月日などの条件で対象企業を抽出して、所在地別に集計する。紹介例では2019年から2024年までに設立された企業をPythonで処理し、都道府県別の件数と東京都内のヒートマップを作成した。その結果から、東京への集中や渋谷、表参道、中目黒、大崎、秋葉原周辺の集積を確認している。

Summary & Key Takeaways

• オープンデータは、国や地方公共団体などが公開し、インターネットを通じて利用できるデータである。営利、非営利を問わず二次利用できるか、機械判読に適しているか、無償で使えるかが重要になる。ただし、公開データでも非営利目的限定や改変禁止の場合があるため、提供元のライセンスと利用条件を必ず確認する必要がある。

• 代表的な入手先には、人口、家計、GDP、物価などの公的統計を扱うe-Statと、全国の法人情報を扱うgBizINFOがある。e-Statではユーザー登録後にAPIの鍵を取得し、必要な統計データを自動取得できる。gBizINFOでは法人番号、企業名、所在地、設立年月日、更新情報などを含むCSVや圧縮ファイルを入手して分析に利用できる。

• 実践の基本は、取得、加工、可視化の3段階である。紹介された例では、gBizINFOから法人情報を取得し、Pythonで2019年から2024年までに設立された企業を抽出した。都道府県別の件数や東京都内のヒートマップを作ることで、東京への集中、渋谷や秋葉原周辺などの集積を確認し、立地に関する仮説を実態と照合できる。