雑感 : 杂感 : Column

Twitterフォロワーの分析をしよう(5)

2019/11/14

Twitterフォロワーの分析をしよう(5)

Let’s analyze Twitter followers! (5)

让我们来分析Twitter的追随者!(5)

 

This contents is Japanese Only.

Twitterフォロワーの分析をしよう(1)

Twitterフォロワーの分析をしよう(2)

Twitterフォロワーの分析をしよう(3)

Twitterフォロワーの分析をしよう(4)

 

前回は分解ツールについて、仕組みを理解しました。

今回は実際に「片思い」「両思い」「片思われ」にアカウントをUser.IDを分解していきます。

chart1

 

「片思い」「両思い」「片思われ」にアカウント

「TwitterAnalyzeToolKit\TextMarger」フォルダを開きます。

chart2

 

「OUT」フォルダを削除します。

chart3

 

「TwitterAnalyzeToolKit\TextMarger\IN」を開き、3ファイルを削除します。

chart4

 

「TwitterAnalyzeToolKit\TWTimeLineCapt\Outs\IDSIN」フォルダから「フォロー中<日付>.csv」と「フォロワー<日付>.csv」の2ファイルを「TwitterAnalyzeToolKit\TextMarger\IN」フォルダにコピーします。

chart5

 

「TwitterAnalyzeToolKit\TextMarger」フォルダに移動して「TextManager.exe」をダブルクリックして実行します。

chart6chart7

 

「TwitterAnalyzeToolKit\TextMarger\OUT」フォルダを開きます。

chart8

 

ファイル名を変更します。

「COMMON.csv」は「両思い<日付>.csv」とします。

「MERGE.csv」は「両思い+片思い+片思われ<日付>.csv」とします。

「フォロー中<日付>_ORG.csv」は「片思い<日付>.csv」とします。

「フォロワー<日付>_ORG.csv」は「片思われ<日付>.csv」とします。

chart9

 

ここまでで、「片思い」「両思い」「片思われ」にユーザの分類ができました。

こういった分野の専門的な学問は「数理論理学」です。

哲学家の投資家が活躍しているのは、判断する理由、メカニズムに論理学的に完全なる理由を求めているからだろうと推測します。

 

作ったファイルのおさらい

ここまでで作ったファイルは6種類です。これらのデータをまとめて保存できるフォルダを作っておきましょう。

「フォロワー<日付>.csv」

「フォロー中<日付>.csv」

「両思い<日付>.csv」

「両思い+片思い+片思われ<日付>.csv」

「片思い<日付>.csv」

「片思われ<日付>.csv」

chart10

 

例えば「TwitterAnalyzeToolKit\Save\<日付>」などのフォルダで保存すると良いと思います。

chart11

 

また、今後の混乱の元になるので、OUTフォルダをそれぞれ削除しておきます。

chart12

 

タイムラインの取得の準備

「フォロワー」「フォロー中」のタイムラインを取得していきます。

最初にTwitterから、データを取得しますが、取得制限があるため、一旦、全てのアカウントのタイムラインまとめて取得して、後から別途読み込んで利用します。

「TwitterAnalyzeToolKit\TWTimeLineCapt」フォルダを開きます。

chart13

 

「Outs」フォルダを作成し、開きます。

chart14

 

「Outs」フォルダの中に、「IDSIN」フォルダを作成し、開きます。

chart15

 

保存フォルダから「両思い+片思い+片思われ20191107.csv」ファイルをコピーします。

chart16

 

タイムラインの取得

再び「TwitterAnalyzeToolKit\TWTimeLineCapt」フォルダに戻り、タイムラインをダウンロードします。

フォロー中、フォロワー数にもよりますが、数時間かかる場合もあるので、夜間など、しばらくPCを使わない間におこなってください。

Twitter APIの取得制限により、時間がかかります。

chart17

 

「TwitterAnalyzeToolKit\TWTimeLineCapt」フォルダにある「sg.ini」を編集します。

編集対象は2か所です。

chart18

 

「twFriendsIdsGets」をfalse、「twTimeLineGets」をtrueにし、保存します。

chart19

 

「TWTimeLineCapt.exe」をダブルクリックして実行します。

非常に時間がかかるので注意!

時々「Fail」が出ますが、アカウントを消したか、鍵アカウントか、思いなし(相手も自分もフォローせず)のいずれかです。

chart20chart21

 

取得に約6時間半かかりました。

数が少ないならともかく、オンラインでイチイチ取得していたらやってられません。

Twitter APIの仕様で連続取得できません。

以降はダウンロードしたデータを使って解析をすすめます。

chart22

 

続きは、また次回に・・・。

 

相場分析のリクエストがありましたら“Contact Us”からお知らせください。ご要望にお応えできるように努力いたします。

このブログはあくまでも個人的な見解であり、投資判断は各自でお願い致します。当ブログは一切の投資損益に対する責任を負いません。

ブログに来て下さってありがとうございます。明日もよろしくお願いいたします。

If you have some request to analyze, please write to “Contact Us”.

We do best effort for your request.

These are only personal opinions on this blog, and you need the investment judgment in each one. This blog doesn’t assume the responsibility to all the investment profit and loss.

Thank for watching our contents. My best regards next day.

如果您需要行情分析,请点击“Contact Us”联系我们。我们将尽力满足您的要求。

本博客仅为个人意见,请各自做出投资判断。本博客概不对任何投资盈亏负责。

感谢您访问本博客。欢迎再次使用。


Twitterフォロワーの分析をしよう(4)

2019/11/13

Twitterフォロワーの分析をしよう(4)

Let’s analyze Twitter followers! (4)

让我们来分析Twitter的追随者!(4)

 

This contents is Japanese Only.

Twitterフォロワーの分析をしよう(1)

Twitterフォロワーの分析をしよう(2)

Twitterフォロワーの分析をしよう(3)

 

本日はフォロー中のUser.IDの取得からはじめます。

 

書き換え作業

前回はフォロワーのUser.IDを取得したので、今回は「フォロー中」のUser.IDを取得します。

「sg.json」ファイルの1か所を編集します。

chart1

 

「フォロー中」のUser.IDを取得するために「Followers」を「Friends」にします。

chart2

 

フォロワーID取得を実行します

「TwitterAnalyzeToolKit\TWTimeLineCapt」ディレクトリにある「TWTimeLineCapt.exe」をダブルクリックします。

chart3

 

実行するとすぐに終了します。

なんらかのキーを押せば終了します。

chart4

 

「TwitterAnalyzeToolKit\TWTimeLineCapt\Outs\IDSIN」フォルダを開いてみると、「Ids.csv」ファイルが出来ています。

chart5

 

行数が972行、フォロワーが972アカウントです。

正しいデータがとれた確認になります。

chart6

chart7

 

ファイル名を「Ids.csv」から「フォロー中<日付>.csv」に変更します。

chart8

 

以上でフォロワー、フォロー中のUser.ID一覧が取得できました。

 

「片思い」「両思い」「片思われ」にアカウントを分解する

chart9

 

IDを3つに分解していきます。

分解するためのツールが、「TextMarger」です。

chart10

 

TextMargerの仕組みを理解するために、INディレクトリのファイルをみていきます。

chart11

 

INディレクトリには3つのファイルがあります。

3つのファイルの内容を並べました。

chart12

 

「400、500」の数字は「IN001.csv」と「IN002.csv」に含まれます。

「700、800、900」の数字は「IN002.csv」と「IN003.csv」に含まれます。

それ以外の共通項目ありません。

「TwitterAnalyzeToolKit\TextMarger」にある「TextMarger.exe」を実行します。

chart13

 

ダブルクリックして実行します。

chart14

 

OUTディレクトリが出来ているので出力結果を確認します。

chart15

 

OUTディレクトリにある出力結果のファイルです。

MERGE.csvはファイルの共通項目が入ります。

IN001_ORG.csv、IN002_ORG.csv、IN003_ORG.csvは、それぞれ元ファイルにだけ存在していた、共通番号がない数字が入ります。

COMMON.csvは共通した数字がはいります。

つまり、IN001_ORG.csv、IN002_ORG.csv、IN003_ORG.csvとCOMMON.csvに含まれる数字は、MERGE.csvになっています。

使い方として「フォロー中」と「フォロワー」の総和がMERGE.csv。

IN001_ORG.csv、IN002_ORG.csv、IN003_ORG.csvにはそれぞれの特徴的な部分となる片思われ、片思いが入ります。

COMMON.csvには、両思いが入ります。

chart16

 

投資のデータ解析では、この手のデータ分類が沢山発生します。

例えば金価格日足と日経日足を比較する時などをするとき、日付のマッチング作業が発生します。

投資戦略や必要に応じて、そのたびにプログラムを書く必要が発生します。

今回はTwitter解析専用なので、これで事足りますが、投資の場合は貴方のために最良のプログラムを提供してくれる訳ではありません。

Retarは投資技術よりも、プログラムを書くほうが大事だと考える理由は、こういった点にあります。

 

詳しい設定マニュアルは「https://github.com/devel-retar-jp/TWTimeLineCapt/blob/master/TWTimeLineCapt/sample/sg_sample.json」です。

 

続きは、また次回に・・・。

 

相場分析のリクエストがありましたら“Contact Us”からお知らせください。ご要望にお応えできるように努力いたします。

このブログはあくまでも個人的な見解であり、投資判断は各自でお願い致します。当ブログは一切の投資損益に対する責任を負いません。

ブログに来て下さってありがとうございます。明日もよろしくお願いいたします。

If you have some request to analyze, please write to “Contact Us”.

We do best effort for your request.

These are only personal opinions on this blog, and you need the investment judgment in each one. This blog doesn’t assume the responsibility to all the investment profit and loss.

Thank for watching our contents. My best regards next day.

如果您需要行情分析,请点击“Contact Us”联系我们。我们将尽力满足您的要求。

本博客仅为个人意见,请各自做出投资判断。本博客概不对任何投资盈亏负责。

感谢您访问本博客。欢迎再次使用。


© 2019 Retar