20/20
20.バグがあるのは vtterminal.c で確定しました
バッファの確保が正しいということは、バッファを書き込む側に問題がある。
ということでバッファへの書き込み処理でパラメータチェックを強化したところ、問題なく動作するようになりました。(めでたしめでたし)
ただ、どの関数が変なパラメータで呼び出したかは特定できてない。assert使って故意に終了させればいいのかもしれないが、エラーを読みだす方法が思いつかない。
ひとまずJPEGDEC対応を外した状態で github にpushした。