24時過ぎとかにcronで実行させると、FriendsとFollowersそれぞれのリストを前日に保存しておいたリストと照合し、追加した（された）および削除した（された）Friends/FollowersをリストアップしてGmailで自分宛に送信します。Twitter APIを扱うモジュールはPython-twitterというものを使用していますが、前回と同じく、easy_installで入るものでなくtrunkにあるものを使用しています。

作ってみて色々思ったこと

• 結構行数が増えてきたので、Classにまとめようと思ったけど、次回チャレンジする
• Pythonで書いている人は文字列囲むのにダブルクォーテーションとシングルクォーテーションどちらなのか。もしくは使い分けしているのか
• 変数命名が納得いかない。どうしたものか。
• 自分で書いた英語がそもそも怪しい＞＜
• コードを書き始めてから、このblogを書き始めるまで１３時間くらいかかった。半年前だったら１週間以上かかっただろう。この進歩（牛歩だが）が嬉しい

コードはこちら。Python2.6（MacOSX dmg）で動作確認は取れています。但しcronでの運用はまだ行っていません（先日セッティングした自鯖に入れるつもり）。

#!/usr/bin/env python
# coding: utf-8
#
# Please Note it.
# Python-twitter od the trunk version(r137 or higher)in necessary.
# svn checkout http://python-twitter.googlecode.com/svn/trunk/ python-twitter
#

import smtplib
from email.MIMEText import MIMEText
from email.Header import Header
from email.Utils import formatdate
import twitter
from datetime import *

TWITTER_USER = "TWITTER_USER"
TWITTER_PASSWD = "TWITTER_PASSWARD"
GMAIL_USER = "GMAIL_ACCOUNT"
GMAIL_PASSWD = "GMAIL_PASSWARD"
api = twitter.Api(TWITTER_USER, TWITTER_PASSWD)
FRIENDS_LIST = "friends.txt"
FOLLOWERS_LIST = "followers.txt"

def get_allfriends(): #friendを取得
    friends, cnt = [], 1
    while not len(friends) % 100:
        friends += api.GetFriends(page=cnt)
        cnt += 1
    friend = []
    for i in friends:
        user = i.screen_name
        user = user + "\n"
        friend.append(user)
    return friend

def get_allfollowers(): #followerを取得
    followers, cnt = [], 1
    while not len(followers) % 100:
        followers += api.GetFollowers(page=cnt)
        cnt += 1
    follower = []
    for i in followers:
        user = i.screen_name
        user = user + "\n"
        follower.append(user)
    return follower

def flw_list_open(FOLLOWERS_LIST): #前回のfollowerリスト読込
    flw = open(FOLLOWERS_LIST, "r")
    flw_list = flw.readlines()
    flw.close()
    return flw_list

def frd_list_open(FRIENDS_LIST): #前回のfriendリスト読込
    frd = open(FRIENDS_LIST, "r")
    frd_list = frd.readlines()
    frd.close()
    return frd_list

def set_followers(): #followerリストのマッチング
    FLW, RMV = "%(flws)s", "%(rmv)s"
    follower = get_allfollowers()
    flw_list = flw_list_open(FOLLOWERS_LIST)
    fl = open(FOLLOWERS_LIST, "w")
    new_flw = []
    for flws in follower:
        if flws not in flw_list:
            new_flw.append(FLW % locals())
        fl.write(flws)

    rm_flw = []
    for rmv in flw_list:
        if rmv not in follower:
            rm_flw.append(RMV % locals())
    return new_flw, rm_flw, follower

def set_friends(): #friendリストのマッチング
    FRD, RMV = "%(frds)s", "%(rmv)s"
    friend = get_allfriends()
    frd_list = frd_list_open(FRIENDS_LIST)
    fl = open(FRIENDS_LIST, "w")
    new_frd = []
    for frds in friend:
        if frds not in frd_list:
            new_frd.append(FRD % locals())
        fl.write(frds)

    rm_frd = []
    for rmv in frd_list:
        if rmv not in friend:
            rm_frd.append(RMV % locals())
    return new_frd, rm_frd, friend

def create_message(from_addr, to_addr, subject, body, encoding):
    msg = MIMEText(body.encode(encoding), "plain", encoding)
    msg["Subject"] = Header(subject, encoding)
    msg["From"] = from_addr
    msg = MIMEText(body.encode(encoding), "plain", encoding)
    msg["Subject"] = Header(subject, encoding)
    msg["From"] = from_addr
    msg["To"] = to_addr
    msg["Date"] = formatdate()
    return msg

def send_via_gmail(from_addr, to_addr, msg):
    s = smtplib.SMTP("smtp.gmail.com", 587)
    s.ehlo()
    s.starttls()
    s.ehlo()
    s.login(GMAIL_USER, GMAIL_PASSWD)
    s.sendmail(from_addr, to_addr, msg.as_string())
    s.close()

def main():
    DATETIME = datetime.now()
    YESTERDAY = DATETIME + timedelta(hours=-24)
    DATESTR = DATETIME.strftime("%Y/%m/%d% %H:%M:%S")
    STR_YESTERDAY = YESTERDAY.strftime("%Y/%m/%d")

    subject = "Logwatch for %s's Twitter" % TWITTER_USER
    from_addr = GMAIL_USER
    to_addr = GMAIL_USER
    new_flw, rm_flw, follower = set_followers()
    new_frd, rm_frd, friend = set_friends()

    """
    メールの本文にあたるところ
    もうちょっとうまく書けないものか
    あとそもそも英語があやしい
    """
    body = "################ Logwatch for %s's Twitter ################" % TWITTER_USER + "\n"
    body += "Processing Initiated:%s" % DATESTR + "\n"
    body += "Date Range Processed:%s" % STR_YESTERDAY + "\n"
    body += "Period is day." + "\n"
    body += "\n"
    body += "--------------------- Followers Begin ---------------------" + "\n"
    body += "%s Users Followers" % len(follower) + "\n"
    body += "Followed by ..." + "\n"
    if new_flw == []:
        body += "Nobody followed you yesterday." + "\n"
    else:
        for nfl in new_flw:
            body += "%s is followed you yesterday" % nfl + "\n"
    body += "Rmoved by ..." + "\n"
    if rm_flw == []:
        body += "Nobody Removed you yesterday." + "\n"
    else:
        for rfl in rm_flw:
            body += "%s is Removed you yesterday" % rfl + "\n"
    body += "---------------------- Followers End ---------------------" + "\n"
    body += "\n"
    body += "--------------------- Friends Begin ---------------------" + "\n"
    body += "%s Users Friends" % len(friend) + "\n"
    body += "Following ..." + "\n"
    if new_frd == []:
        body += "No follow yesterday" + "\n"
    else:
        for nfr in new_frd:
            body += "following %s yesterday" % nfr + "\n"
    body += "Rmoving ..." + "\n"
    if rm_frd == []:
        body += "No Remove yesterday." + "\n"
    else:
        for rfr in rm_frd:
            body += "Removing %s yesterday" % rfr + "\n"
    body += "---------------------- Friends End ---------------------" + "\n"
    body += "\n"
    body += "############## Logwatch for %s's Twitter End ##############" % TWITTER_USER + "\n"
    msg = create_message(from_addr, to_addr, subject, body, "utf-8")
    send_via_gmail(from_addr, to_addr, msg)

if __name__ == "__main__":
    main()

[2009年5月6日追記]
送られてきたメールを確認すると、改行されたくないところで改行されてたりするので、時間見つけて修正します。
[追記ここまで]

[2009年6月20日追記]
最近Follower数がかなり少なくカウントされていると思っていて、時間がとれたので調べてみたんだけど、page=1が97になっていてカウントが止まってしまっている。100で割り切れなくなるまでカウントされるロジックなので、本当に97ならしかたがないのだけど、page=2にもFollowerがちゃんとある。調べた結果がこちら。うーん変だなあ・・

[root@centos ~]# python
Python 2.6.2 (r262:71600, May 14 2009, 20:12:16)
[GCC 4.1.2 20080704 (Red Hat 4.1.2-44)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import twitter
>>> api = twitter.Api('ACCOUNT', 'PASSWORD')
>>> f = api.GetFollowers(page=2)
>>> print len(f)
58
>>> f = api.GetFollowers(page=1)
>>> print len(f)
97
>>> f = api.GetFollowers(page=3)
>>> print len(f)
0
>>>

[追記ここまで]

• Google Search History は RSS で取得出来るので、feedparserを利用した
• RSS は Basic認証がかかる為、urllibのFancyURLopenerを使用した
• RSSのURLは件数のパラメータ（&num=）が無い場合、25件しか取得出来ないようなので（自分調べ）、１日で必要な件数を設定した
• 取得出来る日時がGMTなので、日本時間（＋9h）にする方法に悩んだ

# coding:utf-8

import urllib
import feedparser
import email.Utils
from time import *

import smtplib
from email.MIMEText import MIMEText
from email.Header import Header
from email.Utils import formatdate

class MyURLopener(urllib.FancyURLopener):
    def prompt_user_passwd(self, host, realm):
        return ('YOUR_GMAIL_ADDRESS', 'YOUR_PASSWORD')

def feed_parse(u):
    f = opener.open(u)
    d = feedparser.parse(f)
    TEMPLATE = '* %(entry_date)s : %(entry_title)s'
    feed = []
    for entry in d.entries:
        feed.append([entry.date, entry.title])
    feed.reverse()

    item_list = []
    today = localtime(time())[0:3]
    for i in feed:
        entry_date, entry_title = i[0], i[1]
        entry_date = localtime(mktime(email.Utils.parsedate(entry_date)) + 32400)
        if entry_date[0:3] == today:
            entry_date = strftime('%Y/%m/%d %H:%M:%S',entry_date)
            item_list.append(TEMPLATE % locals())
    items = '\n'.join(item_list)

    return items

def create_message(from_addr, to_addr, subject, body, encoding):
    msg = MIMEText(body.encode(encoding), 'plain', encoding)
    msg['Subject'] = Header(subject, encoding)
    msg['From'] = from_addr
    msg['To'] = to_addr
    msg['Date'] = formatdate()

    return msg

def send_via_gmail(from_addr, to_addr, msg):
    s = smtplib.SMTP('smtp.gmail.com', 587)
    s.ehlo()
    s.starttls()
    s.ehlo()
    s.login('YOUR_GMAIL_ADDRESS', 'YOUR_PASSWORD')
    s.sendmail(from_addr, to_addr, msg.as_string())
    s.close()

if __name__ == '__main__':
    number = '200'
    URL = 'http://www.google.com/searchhistory/?output=rss&num=%s' % number
    opener = MyURLopener({})
    subject = 'Google search history'
    body = feed_parse(URL)
    from_addr = 'YOUR_GMAIL_ADDRESS'
    to_addr = 'xxxxxxxxxxxxx@gmail.com'
    msg = create_message(from_addr, to_addr, subject, body, 'UTF-8')
    send_via_gmail(from_addr, to_addr, msg)

実際に送ってみるとこんなかんじです。これは一部分で、調べものが多いときは100件以上／日は検索していました。


少しとはいえ、自分の検索を晒すのは恥ずかしい＞＜。Typoとか（笑。
これを応用すれば、twitterで検索履歴をポストすることも出来そう。とっても恥ずかしいけどね。

参考サイト

• みずぴー日記 今日のTwitter
• 第3回 スクレイピングにチャレンジ！
• ウノウラボ Pythonでメールを送信したい人のためのサンプル集

# coding: utf-8

to_addr = sys.argv[1]
area = sys.argv[2]

def create_contents(u):
    data = feedparser.parse(u)
    f = [data.feed.title] + [entry.title for entry in data.entries]
    s, b = f[0], f[1:]

    return '\n'.join(b), s

def create_message(from_addr, to_addr, subject, body, encoding):
    msg = MIMEText(body.encode(encoding), 'plain', encoding)
    msg['Subject'] = Header(subject, encoding)
    msg['From'] = from_addr
    msg['To'] = to_addr
    msg['Date'] = formatdate()
    return msg

def send_via_gmail(from_addr, to_addr, msg):
    s = smtplib.SMTP('smtp.gmail.com', 587)
    s.ehlo()
    s.starttls()
    s.ehlo()
    s.login('YOUR_GMAIL_ADDRESS', 'YOUR_PASSWORD')
    s.sendmail(from_addr, to_addr, msg.as_string())
    s.close()

def main():
    from_addr = 'YOUR_GMAIL_ADDRESS'
    url = 'http://rss.weather.yahoo.co.jp/rss/days/%s.xml' % area
    body, subject = create_contents(url)
    msg = create_message(from_addr, to_addr, subject, body, 'UTF-8')
    send_via_gmail(from_addr, to_addr, msg)

if __name__ == '__main__':
    main()

ここで問題（というか不思議な現象）が発生。携帯（SoftBank）やISPのアドレスに送ったメール内容はこのような感じになりますが


Gmailへ送った場合は途中で内容が切れてしまいます。またFromアドレスであるGmailの送信済みメール内容は、どの送信アドレスに送ったにも関わらず同じように途中で内容が切れてしまっています。



とりあえずメールは携帯へ送ることになるので困りませんが、この現象については継続して調べていきます。
[2008年9月30日追記]
時間が掛かりましたが、コメントあったようにエンコード関係だったようで、コードの修正をしました。
[追記ここまで]

参考サイト

• ウノウラボ Pythonでメールを送信したい人のためのサンプル集
• blogSetomits 定期メール送信スクリプトのリカバリ