单公网IP下通过Nginx实现多内部VM应用的外部域名访问配置咨询

各位好，我现在碰到个有点卡壳的问题，因为这方面不是我的强项，想请教下大家。

先说说我们当前的环境：

• 我们有一台内部服务器，上面跑了多个VM，每个VM上部署了一个或多个应用，每个应用对应特定端口
• 内部访问的时候，直接用VM的IP+端口或者VM域名+端口就能访问，比如vm1.domain.com:port、vm2.domain.com:port这类
• 我们只有一个公网IP，现在用NoIP做了DDNS映射，外部访问的话得用ouurname.ddns.net:port，每个应用靠不同端口区分，用久了觉得很麻烦

我们现在已经做了一步优化：搭了一台跑Nginx的VM来统一做路由，现在内部已经能通过nginxvm.domain.com/app1、nginxvm.domain.com/app2这种路径格式访问各个应用了。

不过我们的最终目标是注册一个属于自己的域名，实现外部访问的时候，要么用ournewdomain.com/app1、ournewdomain.com/app2这种路径式的，要么用app1.ournewdomain.com、app2.ournewdomain.com这种子域名式的访问方式。

想请教下大家，这种场景下该怎么配置Nginx，还有域名解析那边要做哪些对应的设置呀？

备注：内容来源于stack exchange，提问作者daydr3am3r