Тема просто необъятна, чтобы рассказать более-менее подробно нужно написать статью на десяток страниц, столько времени к сожелению не имею. 
 Попробую вкратце отметить основные моменты. Итак, понадобятся: 
 1. х264 енкодер. Лучше всего взять его с графическим интерфесом и набором утилит - 
megui  2. тулза для выдёргивания титров из видео (распознание с последующей корректировкой) - 
SubRip  3. любая тулза для редактирования титров (разбивка, ретайминг) 
 4. тулза для сжатия звуковых дорожек в нужный вам формат - 
BeLight  5. тулза для запаковки всего получившегося в mkv - 
mkvmerge  Сперва ставим meGUI. Сразуже его апдетим, в процессе обновления докачается много интересного. Затем идём в его директорию, в подкаталог tools\dgindex и запускаем DGIndex.exe. Открываем этой тулзой нужные нам .VOB, отмечаем нужную нам часть видео. В меню Audio - Outut Metod ставим Demux all tracks и жмём File - Save Project. Будет сделан .d2v и выдернуты звуковые дорожки. 
 Далее обрабатываем аудиотреки так как нам нужно с помощью BeLight. Да та ки оставляем, в видео они интегрироваться небудут, запакуем их потом уже в mkv. 
 Затем в megui из меню tools запускаем AviSynth Script Creator. Открываем им ранее сделанный .d2v файл. В нём делаем кроп картинки, ставим соотношгение сторон, размер, всевозможные фильтры (главное не забыть про деинтерлисинг, если он нужен). затем говорим save и сохраняем .avs скрипт. 
 Теперь нужно настроить параметры сжатия и добавить задачу в очередь. Делается это в megui на закладке Input. Для начала подсовываем на вход AviSynth Script (.avs). Затем настраиваем профиль сжатия. Если хотите получить высокое качество то советую отталкиваться от профиля HQ-Insane, в настройках провиял задаем битрейд и многое другое, в том числе количество потоков (обычно ставят равное количеству процессоров, хотя при желании можно оставить систему недогруженной). После настройки профиля нажимем Enqueue, здесь программа может ругнуться на проблемы с размером изображения или цветностью, игнорируем это, всё будет нормально. 
 После того как добавили одну задачу - повтоярем всё сначала для каждой серии, или каждой части вашего видео. Ну и затем на закладке Queue нажимаем start. 
 Собственно на этом работа с видео окончена, сжатие началось, кстати, выше я немного соврал, на двуслойный ДВД у меня уходит не 8-12 часов машиннного времени, а как минимум 20. Ну а пока можно разобраться с субтитрами. С ними всё довольно просто, но долго. 
 Программой SubRip открываем нужные .VOBфайлы и начинаем распознавать текст в них. В процессе программа будет часто просить вас вручную ввести непонятные символы. Вначале это будет каждый второй, затем постепенно они будут накапливатьяс в памяти и остановок будет всё меньше и меньше. 
 После распознания осталось лиш сохзранить и начать редактировать, здесь уж я ничего не скажу, сам не занимался, впрочем, это всё много раз описано в интернете. 
 Ну и наконец когда всё готово пакуем получившиеся файлы (а это видео, аудио дорожки, субтитр) в mkv программой mkvmerge, здесь уже нет совершенно ничего сложного, всё интуитивно понятно. 
 P.S.  
 возможно написано криво и неточно, но времени уже нет, работа...