批量插入数据的同时自动去重，在laravel中有什么高效的写法吗

我这有个需求，每五分钟获取1000条数据，插入到数据库中，数据库里一天存一张表，表规模大概30w左右，现在想在插入的时候顺便去重，请问在laravel下有什么高效的写法不。

6年前

丢队列中处理吧

6年前

队列中咋弄？

6年前

去重有几个。。
1。每五分钟获取1000条数据。这里的数据去重。
2。每五分钟获取1000条数据,和数据库里的去重。

如果要和去数据的去重，队列是最好的方式。。。只能一条一条数据处理啦(firstOrCreate)

6年前

updateOrCreate($data);