“南船北馬” » feedparser

ラジオNIKKEI競馬実況webのNEWSを配信するTwitterBotを作りました

aoshiman — Sun, 04 Jan 2009 11:13:08 +0000

17年近く競馬をやっていた私が、結婚してからいうもの、すっかり馬券を買わなくなっていたのですが、去年の年末に東京大賞典だけ購入しました。結果は駄目でしたが、やはり競馬は面白いね！ということで、いつも予想時に参考にしているラジオNIKKEI競馬実況webのニュースをTwitterに配信するBOTを作りました。

http://twitter.com/keiba_news

配信は１時間に１回にしています（レンタルサーバのcronジョブの最短間隔が１時間なので）。例によってコードを晒します。このコードはPython2.4と2.5で動作確認をしています。また、RSSのパースにfeedparserを、Twitter投稿にpython-twitter（依存関係でsimplejsonも必要）を使用しています。

# coding: utf-8
from time import *
import email.Utils
import feedparser
from twitter import Api as TwitterApi

def file_open(f):
    r = open(f,'r')
    latest_date = r.readline()
    r.close()
    return latest_date

def parse_feed(u):
    data = feedparser.parse(u)
    feed = []
    for entry in data.entries:
        feed.append([entry.date, entry.title, entry.link])
    feed.reverse()
    return feed

def main(feed, latest_date):
    for i in feed:
        entry_date, entry_title, entry_link = i[0], i[1], i[2]
        entry_date = localtime(mktime(email.Utils.parsedate(entry_date)) + 32400)
        entry_date = strftime('%Y/%m/%d %H:%M',entry_date)
        if latest_date < entry_date:
            api = TwitterApi(TWITTER_USERNAME, TWITTER_PASSWORD)
            post = u"%s %s %s" % (entry_date, entry_title, entry_link)
            api.PostUpdate(post)
            latest_date = entry_date
    return latest_date

def file_close(f, l):
    w = open(f, 'w')
    w.write(str(l))
    w.close()

if __name__ == '__main__':
    TWITTER_USERNAME = 'TWITTER_ACCOUNT'
    TWITTER_PASSWORD = 'PASSWORD'
    FILE = 'radionikkei_status.txt'
    URL = 'http://keiba.radionikkei.jp/keiba/rss2/news/'
    latest_date = file_open(FILE)
    feed = parse_feed(URL)
    latest_date = main(feed, latest_date)
    file_close(FILE, latest_date)

なんか無理矢理、関数組んじゃったりしてますが、とりあえず動いてます＞＜
というわけで、ついったったーで競馬好きな方がいらっしゃいましたらFollowしてやって下さい。

参考サイト

Pythonで１日のGoogle検索履歴の一覧を作成してGmailから送信する

aoshiman — Tue, 30 Sep 2008 14:21:56 +0000

今の私にとって（他の人もそうだと思いますが）、仕事プライベートに関係なく、Google検索は無くてはならないものですが、はたして１日にどのくらい検索しているのか知りたくて、リストを作成してみました。併せて前回の Yahoo!天気情報のRSSと同様にGmailで送信しています。役に立つか分かりませんが、作成したコードを掲載します（スクリプトは何度も実行して成功しているものですが、実施は自己責任でお願いします）。尚、Google検索の履歴（Google Search History）はGoogleアカウントでログインしている状態で有効になります。
作成した時のポイントとしては

Google Search History は RSS で取得出来るので、feedparserを利用した
RSS は Basic認証がかかる為、urllibのFancyURLopenerを使用した
RSSのURLは件数のパラメータ（&num=）が無い場合、25件しか取得出来ないようなので（自分調べ）、１日で必要な件数を設定した
取得出来る日時がGMTなので、日本時間（＋9h）にする方法に悩んだ

# coding:utf-8

import urllib
import feedparser
import email.Utils
from time import *

import smtplib
from email.MIMEText import MIMEText
from email.Header import Header
from email.Utils import formatdate

class MyURLopener(urllib.FancyURLopener):
    def prompt_user_passwd(self, host, realm):
        return ('YOUR_GMAIL_ADDRESS', 'YOUR_PASSWORD')

def feed_parse(u):
    f = opener.open(u)
    d = feedparser.parse(f)
    TEMPLATE = '* %(entry_date)s : %(entry_title)s'
    feed = []
    for entry in d.entries:
        feed.append([entry.date, entry.title])
    feed.reverse()

    item_list = []
    today = localtime(time())[0:3]
    for i in feed:
        entry_date, entry_title = i[0], i[1]
        entry_date = localtime(mktime(email.Utils.parsedate(entry_date)) + 32400)
        if entry_date[0:3] == today:
            entry_date = strftime('%Y/%m/%d %H:%M:%S',entry_date)
            item_list.append(TEMPLATE % locals())
    items = '\n'.join(item_list)

    return items

def create_message(from_addr, to_addr, subject, body, encoding):
    msg = MIMEText(body.encode(encoding), 'plain', encoding)
    msg['Subject'] = Header(subject, encoding)
    msg['From'] = from_addr
    msg['To'] = to_addr
    msg['Date'] = formatdate()

    return msg

def send_via_gmail(from_addr, to_addr, msg):
    s = smtplib.SMTP('smtp.gmail.com', 587)
    s.ehlo()
    s.starttls()
    s.ehlo()
    s.login('YOUR_GMAIL_ADDRESS', 'YOUR_PASSWORD')
    s.sendmail(from_addr, to_addr, msg.as_string())
    s.close()

if __name__ == '__main__':
    number = '200'
    URL = 'http://www.google.com/searchhistory/?output=rss&amp;num=%s' % number
    opener = MyURLopener({})
    subject = 'Google search history'
    body = feed_parse(URL)
    from_addr = 'YOUR_GMAIL_ADDRESS'
    to_addr = 'xxxxxxxxxxxxx@gmail.com'
    msg = create_message(from_addr, to_addr, subject, body, 'UTF-8')
    send_via_gmail(from_addr, to_addr, msg)

実際に送ってみるとこんなかんじです。これは一部分で、調べものが多いときは100件以上／日は検索していました。

少しとはいえ、自分の検索を晒すのは恥ずかしい＞＜。Typoとか（笑。
これを応用すれば、twitterで検索履歴をポストすることも出来そう。とっても恥ずかしいけどね。

参考サイト

PythonでYahoo!天気情報のRSSをパースしてGmailから送信する

aoshiman — Sun, 21 Sep 2008 11:49:56 +0000

最近、Web上の色々なコードを写経したり、変更を加えたりして少しずつPythonの勉強をしていますが、今回Setomitsさんのblogで拝見した天気予報の定期送信スクリプトを自分なりにアレンジし、Gmailから送信出来るように変更してみました。パースした内容の加工は何もしていません（したいけどまだ勉強中）。使用方法は、第１引数に送信先のメールアドレス、第２引数に地域コード（静岡県中部は5010）を与えます。書いたコードは下記の様になりました。

# coding: utf-8

to_addr = sys.argv[1]
area = sys.argv[2]

def create_contents(u):
    data = feedparser.parse(u)
    f = [data.feed.title] + [entry.title for entry in data.entries]
    s, b = f[0], f[1:]

    return '\n'.join(b), s

def create_message(from_addr, to_addr, subject, body, encoding):
    msg = MIMEText(body.encode(encoding), 'plain', encoding)
    msg['Subject'] = Header(subject, encoding)
    msg['From'] = from_addr
    msg['To'] = to_addr
    msg['Date'] = formatdate()
    return msg

def send_via_gmail(from_addr, to_addr, msg):
    s = smtplib.SMTP('smtp.gmail.com', 587)
    s.ehlo()
    s.starttls()
    s.ehlo()
    s.login('YOUR_GMAIL_ADDRESS', 'YOUR_PASSWORD')
    s.sendmail(from_addr, to_addr, msg.as_string())
    s.close()

def main():
    from_addr = 'YOUR_GMAIL_ADDRESS'
    url = 'http://rss.weather.yahoo.co.jp/rss/days/%s.xml' % area
    body, subject = create_contents(url)
    msg = create_message(from_addr, to_addr, subject, body, 'UTF-8')
    send_via_gmail(from_addr, to_addr, msg)

if __name__ == '__main__':
    main()

~~ここで問題（というか不思議な現象）が発生。携帯（SoftBank）やISPのアドレスに送ったメール内容はこのような感じになりますが~~

Gmailへ送った場合は途中で内容が切れてしまいます。またFromアドレスであるGmailの送信済みメール内容は、どの送信アドレスに送ったにも関わらず同じように途中で内容が切れてしまっています。

~~とりあえずメールは携帯へ送ることになるので困りませんが、この現象については継続して調べていきます。~~
[2008年9月30日追記]
時間が掛かりましたが、コメントあったようにエンコード関係だったようで、コードの修正をしました。
[追記ここまで]