たぶん
class User < ActiveRecord::Base
has_many :follows
has_many :followers, :through => :follows, :foreign_key => :follower_id, :class_name => 'User'
end

class Follow < ActiveRecord::Base
belongs_to :user
belongs_to :follower, :foreign_key => :follower_id, :class_name => 'User'
end
でいいと思う。

follwer と follwee のどっちがどっちだか分からなくなってきた。