hyperf Querylist爬取不规则Excel

当获取一份不规则excel如图

如何将数据快速入数据库呢?

首先php原生方式肯定可以,但不是本次重点,因为swoole协程的魅力,我已经爱上了hyperf爬去数据,所以根据之前hyperf爬取页面经验,我想到可以将excel先转换为一个页面,之后再爬虫页面数据,从而将大批量获取excel数据入库。

hyperf项目 app\Controller下新建 PansController.php

PansController.php

<?php

declare(strict_types=1);
/**
 * This file is part of Hyperf.
 *
 * @link     https://www.hyperf.io
 * @document https://hyperf.wiki
 * @contact  group@hyperf.io
 * @license  https://github.com/hyperf/hyperf/blob/master/LICENSE
 */
namespace App\Controller;
use QL\QueryList;
use Hyperf\DbConnection\Db;
class PansController extends AbstractController
{
    
    public function ziyuan(){
       // 元数据采集规则
       $rules = [
       'pkey' => ['td:eq(0)','text'],
       'title' => ['td:eq(1)','text'],
       'urlpath' => ['td:eq(2)','text'],
       ];
       
       // 切片选择器
       // $range = '.content li';
       
        $range = 'body tr';
       
            $rt = QueryList::get("http://look.zlhdsg.com/ziyuan.html")->rules($rules)->range($range)->query()->getData();
            // var_dump($rt);
            
            foreach ($rt as $k=> $r){
                   if(!empty($r['pkey']&&!empty($r['title'])&&!empty($r['urlpath']))){
                       $res=Db::table("pans")->insert($r);
                   }
            
                
            }
       
       
    }
    public function ziyuan2(){
       // 元数据采集规则
       $rules = [
       'ma' => ['td:eq(0)','text'],
       'title' => ['td:eq(1)','text'],
       'urlpath' => ['td:eq(2)','text'],
       'extra' => ['td:eq(3)','text'],
       ];
       
       // 切片选择器
       // $range = '.content li';
       
        $range = 'body tr';
       
            $rt = QueryList::get("http://look.zlhdsg.com/ziyuan2.html")->rules($rules)->range($range)->query()->getData();
            var_dump($rt);
            
            foreach ($rt as $k=> $r){
                  if(!empty($r['ma']&&!empty($r['title'])&&!empty($r['urlpath']))){
                      $res=Db::table("games")->insert($r);
                  }
            
                
            }
       
       
    }
    
}

http://look.zlhdsg.com/ziyuan.html 与 http://look.zlhdsg.com/ziyuan2.html 是两个excel转换成的页面,厉害吧狠起来连自己都爬。

衍生品:

爬虫小马甲–影视资源类

爬虫小马甲–游戏类

6 评论
内联反馈
查看所有评论

qwe

qwe