请问一下有没有更高效的比较方法，

事情是这样的，我现在用curl搞采集，每次采集一个新网址都会和已经采集的网址进行比较，如果已经存在则进行跳过，但现在已经存在的网址有3万条了，每次采集一条新网址则将会在数据库当中进行3万次比较，我现在用的是数据库当中的比较方法例如 事情是这样的，我现在用curl搞采集，每次采集一个新网址都会和已经采集的网址进行比较，如果已经