要分情况来。
1、如果他购买的办公用品和房租确实是现在的公司在使用，那么可以，因为办公用品和房租实际上他是以固定资产和无形资产（房屋使用权）投资新公司，而原来的发票可以做为他投资的价值证据。
2、如果纯粹的想以发票抵股本金，公司并没有收到真实的资产，那么是不行的，股东以货币、实物、知识产权、土地使用权以外的其他财产出资的，其登记办法由国家工商行政管理总局会同国务院有关部门规定。股东不得以劳务、信用、自然人姓名、商誉、特许经营权或者设定担保的财产等作价出资。所有单位和从事生产、经营活动的个人在购买商品、接受服务以及从事其他经营活动支付款项，应当向收款方取得发票。取得发票时，不得要求变更品名和金额。第二十二条不符合规定的发票，不得作为财务报销凭证，任何单位和个人有权拒收。
