まだまとまってないようだが、原始的な質問を訊いてみる
データ形式はどんな感じにするの？
カスタマイズ性優先でテキストにするのか？
効率重視でバイナリにするのか？
どのくらいのデータを一括りにするか決めるはまだ早いかもしれないけど、この位は考えておいたほうが良いはず