色々と検索したけどれも自分のケースとは違っていて、半年前くらいに同じ事をやった気がしたのでブックマークを検索したら、
gem install activerecord-postgresql-adapter
はproduction用にGemfileを切る - hackugyo (Double strike)
このエントリを見つけて、ここに書いてあるようにGemfileを書きなおしてローカルではbundle install --without productionで事なきを得た。
ブックマークを検索するまでこの情報にカスリもしなかった、ひどい。
追記
ちなみに、このケースは「ローカルではSQLiteを使ってherokuではPostgreSQLを使う」というパターンで、あまり行儀は良くないと思います(本来ならローカルでもPostgreSQLを使うべきではないだろうか)。