ソフトウェア : Software

Twitterフォロワーの分析をしよう(3)

2019/11/12

Twitterフォロワーの分析をしよう(3)

Let’s analyze Twitter followers! (3)

让我们来分析Twitter的追随者!(3)

 

This contents is Japanese Only.

Twitterフォロワーの分析をしよう(1)

Twitterフォロワーの分析をしよう(2)

 

どうするかの方針を決定したので後はひたすら作業です。

開発中は、走りながら開発するスタイルをとったので、どうして良いものかハッキリしませんでした。

しかし、原稿執筆時は、何をするかを決め、狙いを定めた後は、粛々と作業をすすめるだけになり、作業です。

こういった点は、検証を重ね、実際に使う投資システムとソックリですね。

 

インストール前の準備

前もって準備していただきたいのは、Windows10とExcel。

Excelが無い場合はフリーのテキストエディタですが、操作性が落ちます。

それにTwitterの開発者アカウントを取得しておき、Appを設置しておきます。

結果はUNICODEのテキスト出力されてくるので、結果の読み出しツールとして利用します。

Twitterで利用されている文字は、UNICODEであり、WindowsのSJIS範囲では足りません。

また、誰にでも汎用で使えるようにするツールとしては、それぞれのアカウントごとに運用方針が異なるので、GUIのインターフェースを作るつもりはありませんでした。

今回のツールの特徴は、フォロー、アンフォローを伴う操作はミスが無いように「まとめて後で」です。

 

ダウンロード

バイナリファイルのダウンロードページは以下に用意しました。

https://www.retar.jp/?page_id=18093

ソースはGitHubにあります。

https://github.com/devel-retar-jp

直接リンクは以下になります。

https://www.retar.jp/apps/TwitterAnalyzeToolKit.msi

ダウンロードすると「TwitterAnalyzeToolKit.msi」ファイルが保存されます。

chart0

chart1

 

そのままインストールしてもいいのですが、ここではMD5のチェックサムを利用してみましょう。

そのままダブルクリックでインストールに進むこともできますが、Retarがインストーラーを作った後に、改ざんされていないことの検証です。

作業は「c:\Twitter」フォルダで行います。

chart2

 

ファイルから「Windows PowerShellを開く」を選択します。

PowerShellを使いますので慣れてください。

chart3

 

起動したら、以下を打ち込み、エンターキーを押します。

PS C:\Twitter> certutil -hashfile .\TwitterAnalyzeToolKit.msi MD5

chart4

 

Webページの番号と同じか確認します。(赤線)

ファイルが壊れていたり、改ざんがあれば別の番号が出てきます。

バージョンアップなどでMD5のチェックサムは更新されます。

最新の番号はダウンロードサイトで確認してください。

問題があればお知らせください。

chart5

 

インストール

TwitterAnalyzeToolKit.msi」ファイルをダブルクリックしてください。

「WindowsによってPCが保護されました」がでます。

chart6

 

「詳細情報」をクリック。

chart7

 

「実行」をクリックします。

chart8

 

セットアップウェイザードが出てくるので、「次へ」をクリック。

chart9

 

インストールフォルダーの選択が出てくるので、何もせずに「次へ」をクリック。

chart10

 

インストールの確認では「次へ」をクリック。警告が出ますが、そのままインストールしてください。

chart11

 

インストールが完了しましたが出れば、「閉じる」をクリックして終わります。

chart12

 

ディスクトップに「TwitterAnalyzeToolKit」フォルダができます。

chart13

 

アンインストール

アンインストール時はゴミを残さないように、簡単に消せるようにしました。

コントロールパネルの「プログラムと機能」からアンインストールを選択すれば消えます。

ディスクトップに「TwitterAnalyzeToolKit」フォルダの中にすべてのプログラムがインストールされおり、自動的に消してくれる仕組みにしました。

他には余計なファイルを作成しません。

書き換えたデータがフォルダに残っており、フォルダごと消せば元通りになります。

chart14

 

フォルダ構成

この手のツールは、分析と操作を分けるのがポイントです。

投資システムも同じで、分析とオペレーションは別物にしておかないと、大変な大間違いになります。

フォルダを開くと3つのサブフォルダがあり、それぞれのツールが別々になっています。

主な機能として、「TextMarger」は、IDを分割するツールです。オフラインでテキストを分割し、失敗しても影響なし。

「TWTimeLineCapt」は、Twitterからデータをダウンロードし、解析をおこなうメインツールです。

ここが重要なのですが、操作を誤っても影響を与えません。

「TWCreateAndDestroy」はTwitterのフォロワーを一括でアンフォロー、フォローするツールです。フォロー、アンフォローに影響があるので、慎重な操作が求められるため、別にしました。

一括操作ツール「TWCreateAndDestroy」さえ使わなければ、データを取得し、解析するだけなので、影響はまったくありません。

chart15

 

フォロー中とフォロワーのIDをダウンロード

はじめにやる作業は、フォロー中とフォロワーのUser.IDのダウンロードです。

Twitterでは、ユーザを認識するために3つの識別子を持ちますが、今回のフォローやアンフォローなどのアカウント操作をおこなうには、ScreenNameまたはUser.IDの取得できれば、操作可能です。

ScreenNameはNameの下に出ている相手ユーザのアカウントです。

User.IDはユーザ個別のIDです。Twitterユーザは必ずこの番号で識別されます。

Nameは表示だけの問題で、アカウント操作にはつかえません。

chart16

 

はじめに「フォロー中」のUser.IDをダウンロードします。

「TwitterAnalyzeToolKit\TWTimeLineCapt」にある「sg.ini」ファイルをメモ帳などで編集します。(RetarはTeraPadと言うエディタがお気に入りなのでお勧めします。https://tera-net.com/library/tpad.html

chart17

 

書き換え作業

書き換え、及び、チェックが必要なのは6か所です。

Twitterの開発者アカウントで取得した4点セットをセットします。

「twFriendsIdsCount」は、フォロー中、フォロワーが0~5000の場合は「1」、5001~10000の場合は「2」、以降5000フォロワーごとに1ずつ増やします。良くわからない場合はフォロワー、フォロー中の多い方にしておけば、以降の操作も間違いはありません。

Retarの場合は、フォロー中972、フォロワー5052です。

フォロワーの方が多く、5001~10000までなので「2」としました。

「twTimeLineGets」を「false」にします。

データが多いので、ダウンロードは後でまとめておこないます。

「true」のままで操作をおこなうのは非常に時間がかかり不効率です。

編集が終われば保存終了します。

chart18

 

フォロワーID取得を実行します

「TwitterAnalyzeToolKit\TWTimeLineCapt」フォルダにある「TWTimeLineCapt.exe」をダブルクリックします。

chart19

 

実行するとすぐに終了します。

なんらかのキーを押せば終了します。

chart20

 

結果出力となる「Outs」ディレクトリが出来ています。

chart21

 

成功していれば「TwitterAnalyzeToolKit\TWTimeLineCapt\Outs\IDSIN」フォルダを開いてみると、「Ids.csv」ファイルが出来ています。

chart22

 

行数が5052行、フォロワーが5052アカウントです。

正しいデータがとれた確認になります。

chart23

chart24

 

ファイル名を「Ids.csv」から「フォロワー<日付>.csv」に変更します。

chart25

 

詳しい設定マニュアルは「https://github.com/devel-retar-jp/TWTimeLineCapt/blob/master/TWTimeLineCapt/sample/sg_sample.json」です。

 

続きは、また次回に・・・。

 

相場分析のリクエストがありましたら“Contact Us”からお知らせください。ご要望にお応えできるように努力いたします。

このブログはあくまでも個人的な見解であり、投資判断は各自でお願い致します。当ブログは一切の投資損益に対する責任を負いません。

ブログに来て下さってありがとうございます。明日もよろしくお願いいたします。

If you have some request to analyze, please write to “Contact Us”.

We do best effort for your request.

These are only personal opinions on this blog, and you need the investment judgment in each one. This blog doesn’t assume the responsibility to all the investment profit and loss.

Thank for watching our contents. My best regards next day.

如果您需要行情分析,请点击“Contact Us”联系我们。我们将尽力满足您的要求。

本博客仅为个人意见,请各自做出投资判断。本博客概不对任何投资盈亏负责。

感谢您访问本博客。欢迎再次使用。


Twitterフォロワーの分析をしよう(2)

2019/11/10

Twitterフォロワーの分析をしよう(2)

Let’s analyze Twitter followers! (2)

让我们来分析Twitter的追随者!(2)

 

This contents is Japanese Only.

Twitterフォロワーの分析をしよう(1)

 

データ解析をするとき、まずやるのは、特性ごとにデータを仕分け、分類することです。

この点は、相場のデータでも同じであり、データを上手く分類できれば、特徴や特質を把握できます。

Twitterの場合は、アカウントとフォローの関係を元に分類するとわかりやすくなります。

 

フォローとフォロワーの関係

Twitterのアカウントで1対1の基本となるのは、自分が相手をフォローしている「フォロー中」と相手が自分をフォローしている「フォロワー」です。

「フォロー中」が成立するには、自分が意志を持ち相手をフォローします。

「フォロワー」が成立するには、相手が自分を気に入る、Tweetを参照したいなど意志を持ち、フォローしてきます。

自分からみたときの相手との関係性をまとめてみると、以下の図になります。

自分からみたときの関係を「片思い」、「両思い」、「片思われ」、「思いなし」の4つに分けます。

chart0_conv

 

Twitterの場合は、各アカウントは必ずどれかのグループに属しており、4タイプにアカウントを分類することで、整理整頓がつきます。

それぞれのグループについて、どう考えていくかを決めれば的確な整理がつきます。

投資のシステム開発でも、この場合分けをキチンとして曖昧さを残さないのが、勝利につながります。

投資の場合の曖昧さとは、「ナンピン」「損切できず」などなど、資産を失うことになります。

的確な基準を決め、処理方針が簡単で明快であれば、整理は楽です。

ここでの場合のRetarのフォロー基準は、以下のように判断しました。

 

片思い

おかげさまで優れた数多くのフォロワーさんがいるので、現在のフォロワーさんから流れてくる情報だけで十分だと判断しました。

よって片思いゼロにしたいと思います。

この点は人それぞれの判断で、フォローしたいアカウントがあるかもしれません。

ニュースサイトや有名人などなど、興味関心の湧くサイトは残すのも方針の1つだと思います。

 

両思い

フォローする場合は、相互フォローを前提とする。

こうすることで、片思い状態をなくしているので、フォロー中の数は、フォロワーより必ず少なくなります。

さらに、1日1回程度の呟きがあることを基準に、使用頻度の高いユーザの両想いに絞り込む。

また、業者、アフリエータはみつけ次第、フォローを外す。

 

片思われ

自分がフォローする相手は、片思われ中のフォロワーの中に候補を得る。

この中から、フォロワーさんのタイムラインを調査して、誰をフォローするか決める。

自分が発信する情報に興味関心を持ってくれたフォロワーさんなので、厳しい目で監視してくれるはずです。

間違ったことを言えばご批判をうけるはずなので、その点に期待しています。

「日々監視してくれる」がフォローのテーマであるため、たまにしか呟かないフォロワーさんは、両思いの対象にしません。

もちろん、業者、アフリエータも含まれており、排除する必要があります。

 

思いなし

主に流れてくるRe-Tweetや引用のみから見ることになります。

今回の調査対象外です。

 

フォロー中とフォロワーの関係

データ解析がしたければ、何がしたいかを決め、どういう方針で仕掛けるかを決めることです。仕分けする対象の曖昧さを無くし、決定すれば、後は仕分けです。

日本人は曖昧さを残しがちですが、こうした点でハッキリとした方針を作れるなら、優れたシステムを作れます。

「例外」を作れば作るほど、ソフトウェアは複雑になり、バグの温床になります。

投資システムの場合は、収益の不安定性を生みます。

残念ながら、Twitterの中では、4つの分類表示にはなっていません。

そこで4種類のアカウントに分類していきます。

Twitterのプロフィールをクリックしましょう。

chart1_conv

 

ここでは「フォロー中」「フォロワー」が見られます。

原稿執筆時点でのRetarのフォロー中は971アカウント、フォロワーは5042アカウントです。

chart2_conv

 

先ほどの図と「フォロー中」の関係は「片思い」「両思い」の和となり、図の緑の塗りつぶしになります。

chart3_conv

 

先ほどの図と「フォロワー」の関係は「両思い」「片思われ」の和となり、図の青の塗りつぶしになります。

chart4_conv

 

以上で方針が決まりましたので、後は作業です。

人それぞれ、方針が異なると思います。

あくまでもRetarの方針です。

 

続きは、また次回に・・・。

 

相場分析のリクエストがありましたら“Contact Us”からお知らせください。ご要望にお応えできるように努力いたします。

このブログはあくまでも個人的な見解であり、投資判断は各自でお願い致します。当ブログは一切の投資損益に対する責任を負いません。

ブログに来て下さってありがとうございます。明日もよろしくお願いいたします。

If you have some request to analyze, please write to “Contact Us”.

We do best effort for your request.

These are only personal opinions on this blog, and you need the investment judgment in each one. This blog doesn’t assume the responsibility to all the investment profit and loss.

Thank for watching our contents. My best regards next day.

如果您需要行情分析,请点击“Contact Us”联系我们。我们将尽力满足您的要求。

本博客仅为个人意见,请各自做出投资判断。本博客概不对任何投资盈亏负责。

感谢您访问本博客。欢迎再次使用。


© 2024 Retar