189 8069 5689
你用网页的方式，让人点击，服务器采集，简直是弱爆了。每个人的点击循环1000次，来个100人同时点，你要用的是普通的虚拟机就不行了。
创新互联建站是专业的余干网站建设公司，余干接单;提供网站建设、网站制作,网页设计,网站设计,建网站,PHP网站建设等专业做网站服务;采用PHP框架,可快速的进行余干网站开发网页制作和功能扩展;专业做搜索引擎喜爱的网站,专业的做网站团队,希望更多企业前来合作!
最好是换种方式实现，不要通过网页进行采集。
可以非常简单的在数据库的表，创建一个采集队列，后台执行一个crontab的计划任务，去完成队列里的采集任务。
1W条数据量也不是特别大，那就直接读取，然后在foreach入库就可以了
如果数据量非常大的时候，那就分段读取，然后入库~
考虑到php超时，那就网页端打开，第一部分执行完，刷新页面，开始执行第二部分，依次进行...
当然，直接在命令行下执行也可以~
没必要一次性查出100W条。每次请求3-5W数据update，分页用递归。
控制好变量内存，不要内存溢出。