Hakkyのデータ分析環境について

Hakkyのデータ分析環境について

この章では、Hakkyのデータ分析環境について、主に分析する際に使うnotebookと、データに関して述べます。

分析時のnotebook環境について

• 社内では、分析環境としてGoogle Colabを利用します。ローカルのnotebookの利用も便利なことは理解しつつも、分析のレビューの実施の容易さや、ナレッジの属人化を防ぐためにGoogle Colabを使っております。
• データ量や学習時間によっては、Google Colabの有料プランが必要になるケースがあると思います。その場合は、リーダーと相談して、GitHubのissueから経費申請を行ってください。
• また、書いたnotebookのコードなどは、適時説明などを挟みながら、誰がみてもわかるようにすることが求められます。

データに関して

• 基本的には個人のローカルの開発環境ではデータ・ノートブックを持たないようにし、クラウド上で完結するようにします。
• データはAWSもしくはGoogle Driveに限られたメンバーだけがアクセスできる環境を用意し、利用します。

※機密性や重要度が高いデータはこの限りではないので、特殊パターンについては別途対応します。

Google Driveのフォルダ構造について

プロジェクトのディレクトリに以下の二つのフォルダを作成し、分析を実施するデータの配置とGoogle Colabのノートブックの配置を行います。

- notebook
- data

それ以外は基本的に自由ですが、ノートブックの名称を分かりやすくすることや、何をやっている分析ノートブックなのかなどは分かりやすくすることが求められます。

--

以上になります。