如何移除theme_void()绘图后区域外空白，让数据点贴合画布角落？

我在用ggplot2绘制散点图时遇到了一个问题，代码如下：

qplot(1:100, 1:100) + theme_void() + theme(plot.background=element_rect(fill="green"))

这段代码生成的绘图，在实际的绘图区域外还存在部分空白（如下图所示）。我希望彻底移除这些空白，让绘图中(1,1)点的中心精确位于画布的左下角，同时让(100,100)点的中心精确位于画布的右上角。

有没有实现这个需求的方法呢？

补充一下我的使用背景：我计划将此图作为annotation_custom()的底层图层，使用1:100的x/y网格来叠加其他绘图，但当前存在的空白会导致调整尺寸后元素的定位比例出错，所以必须消除这些多余的空白。

内容的提问来源于stack exchange，提问作者mkln