织梦火车头采集文章后自动更新栏目、首页、文章页面代码版,实现自动化采集

2018年4月17日15:05:55 发表评论 115 views

最近用织梦程序采集文章时候,发现每次采集都要去后台更新一下文章、栏目以及首页,操作起来真心麻烦,后面在网上收集了一些代码以及经过自己调试,发现居然可以自动更新文章页以及栏目、首页。真心爽,这样子就能稳稳的挂机采集了哈。代码如下:

  1. <?php
  2. /********密码验证***********/
  3. $password='密码请自己修改';                                //这个密码是登陆验证用的.您需要在模块里设置和这里一样的密码....注意一定需要修改.
  4. if($password!=$_GET['pw']) exit('验证密码错误');   //安全检测,密码不符则退出
  5. /****以下代码非专业人员不建议修改***************/
  6. if($_POST$ispost=true;
  7. //require_once(dirname(__FILE__).'/config.php');
  8. define('DEDEADMIN', ereg_replace("[/\\]{1,}", '/', dirname(__FILE__) ) );
  9. require_once(DEDEADMIN.'/../include/common.inc.php');
  10. require_once(DEDEINC.'/userlogin.class.php');
  11. header('Cache-Control:private');
  12. $dsql->safeCheck = false;
  13. $dsql->SetLongLink();
  14. $cuserLogin = new userLogin();
  15. $cuserLogin->userID = 1;
  16. //获得当前脚本名称,如果你的系统被禁用了$_SERVER变量,请自行更改这个选项
  17. $dedeNowurl = $s_scriptName = '';
  18. $isUrlOpen = @ini_get('allow_url_fopen');
  19. $dedeNowurl = GetCurUrl();
  20. $dedeNowurls = explode('?', $dedeNowurl);
  21. $s_scriptName = $dedeNowurls[0];
  22. $cfg_remote_site = emptyempty($cfg_remote_site)? 'N' : $cfg_remote_site;
  23. //启用远程站点则创建FTP类
  24. if($cfg_remote_site=='Y')
  25. {
  26.     require_once(DEDEINC.'/ftp.class.php');
  27.     if(file_exists(DEDEDATA."/cache/inc_remote_config.php"))
  28.     {
  29.         require_once DEDEDATA."/cache/inc_remote_config.php";
  30.     }
  31.     if(emptyempty($remoteuploads)) $remoteuploads = 0;
  32.     if(emptyempty($remoteupUrl)) $remoteupUrl = '';
  33.     $config = array(
  34.       'hostname' => $GLOBALS['cfg_ftp_host'],
  35.       'username' => $GLOBALS['cfg_ftp_user'],
  36.       'password' => $GLOBALS['cfg_ftp_pwd'],
  37.       'debug' => 'TRUE'
  38.     );
  39.     $ftp = new FTP($config);
  40.     //初始化FTP配置
  41.     if($remoteuploads==1){
  42.         $ftpconfig = array(
  43.             'hostname'=>$rmhost,
  44.             'port'=>$rmport,
  45.             'username'=>$rmname,
  46.             'password'=>$rmpwd
  47.         );
  48.     }
  49. }
  50. function UpDateMemberModCache()
  51. {
  52.     global $dsql;
  53.     $cachefile = DEDEDATA.'/cache/member_model.inc';
  54.     $dsql->SetQuery("SELECT * FROM `#@__member_model` WHERE state='1'");
  55.     $dsql->Execute();
  56.     $fp1 = fopen($cachefile,'w');
  57.     $phph = '?';
  58.     $fp1Header = "<{$phph}php\r\nglobal \$_MemberMod;\r\n\$_MemberMod=array();\r\n";
  59.     fwrite($fp1,$fp1Header);
  60.     while($row=$dsql->GetObject())
  61.     {
  62.         fwrite($fp1,"\$_MemberMod[{$row->id}]=array('{$row->name}','{$row->table}');\r\n");
  63.     }
  64.     fwrite($fp1,"{$phph}>");
  65.     fclose($fp1);
  66. }
  67. function DedeInclude($filename,$isabs=false)
  68. {
  69.     return $isabs ? $filename : DEDEADMIN.'/'.$filename;
  70. }
  71. //config引用结束
  72. //CheckPurview('a_New,a_AccNew');
  73. require_once(DEDEINC.'/customfields.func.php');
  74. require_once(DEDEADMIN.'/inc/inc_archives_functions.php');
  75. if(file_exists(DEDEDATA.'/template.rand.php'))
  76. {
  77.     require_once(DEDEDATA.'/template.rand.php');
  78. }
  79. $dsql->SetSql("Select id as cid,reid as pid,typename as cname,ispart,topid  from `#@__arctype` where channeltype =1 order by sortrank");
  80. $dsql->Execute();
  81. while($row=$dsql->GetObject())
  82. {
  83.     $cates[]=array('cid'=>$row->cid,'pid'=>$row->pid,'cname'=>$row->cname,'ispart'=>$row->ispart,'topid'=>$row->topid);
  84. }
  85. if(!$ispost)
  86. {
  87.     echo "<select name='list'>";
  88.     echo maketree($cates,0,'');
  89.     echo '</select>';
  90.     exit();
  91. }
  92. /*--------------------------------
  93. function __save(){  }
  94. -------------------------------*/
  95. else
  96. {
  97.     require_once(DEDEINC.'/image.func.php');
  98.     require_once(DEDEINC.'/oxwindow.class.php');
  99.     //检验用户登录状态
  100.     $userinfo=$dsql->GetOne("Select * from `#@__member` where userid='$username'");
  101.     if(!$userinfoexit("不存在用户$username");
  102.     $uid = isset($userinfo['uid']) ? $userinfo['uid'] : $userinfo['mid'];
  103.     //检测栏目信息
  104.     foreach ($cates as $f=>$v)
  105.     {
  106.         if($v['cid']==$typeid)
  107.         {
  108.             $eid=$v;
  109.             if($v['ispart']!=0) exit("该栏目不能发布内容");
  110.         }
  111.     }
  112.     if(!$eidexit("不存在的栏目id:$typeid");
  113.     require_once(DEDEINC.'/image.func.php');
  114.     //require_once(DEDEINC.'/oxwindow.class.php');
  115.     $flag = isset($flags) ? join(',',$flags) : '';
  116.     $notpost = isset($notpost) && $notpost == 1 ? 1: 0;
  117.     if(emptyempty($typeid2)) $typeid2 = '';
  118.     if(!isset($autokey)) $autokey = 0;
  119.     if(!isset($remote)) $remote = 0;
  120.     if(!isset($dellink)) $dellink = 0;
  121.     if(!isset($autolitpic)) $autolitpic = 0;
  122.     if(emptyempty($click)) $click = ($cfg_arc_click=='-1' ? mt_rand(50, 200) : $cfg_arc_click);
  123.     if(emptyempty($typeid))
  124.     {
  125.         ShowMsg("请指定文档的栏目!","-1");
  126.         exit();
  127.     }
  128.     if(emptyempty($channelid))
  129.     {
  130.         ShowMsg("文档为非指定的类型,请检查你发布内容的表单是否合法!","-1");
  131.         exit();
  132.     }
  133.     if(!CheckChannel($typeid,$channelid))
  134.     {
  135.         ShowMsg("你所选择的栏目与当前模型不相符,请选择白色的选项!","-1");
  136.         exit();
  137.     }
  138.     //对保存的内容进行处理
  139.     if(emptyempty($writer))$writer=$username;
  140.     if(emptyempty($source))$source='未知';
  141.     $pubdate = GetMkTime($pubdate);
  142.     if(!$pubdate$pubdate=time();
  143.     $senddate = time();
  144.     $sortrank = AddDay($pubdate,$sortup);
  145.     $ismake = $ishtml==0 ? -1 : 0;
  146.     $title = ereg_replace('"', '"', $title);
  147.     $title = htmlspecialchars(cn_substrR($title,$cfg_title_maxlen));
  148.     $shorttitle = cn_substrR($shorttitle,36);
  149.     $color =  cn_substrR($color,7);
  150.     $writer =  cn_substrR($writer,20);
  151.     $source = cn_substrR($source,30);
  152.     $description = cn_substrR($description,$cfg_auot_description);
  153.     $keywords = cn_substrR($keywords,60);
  154.     $filename = trim(cn_substrR($filename,40));
  155.     $userip = GetIP();
  156.     $isremote  = (empty($isremote)? 0  : $isremote);
  157.     $serviterm=empty($serviterm)? "" : $serviterm;
  158.     // if(!TestPurview('a_Check,a_AccCheck,a_MyCheck'))
  159.     // {
  160.         // $arcrank = -1;
  161.     // }
  162.     $adminid = $uid;
  163.     //处理上传的缩略图
  164.     if(empty($ddisremote))
  165.     {
  166.         $ddisremote = 0;
  167.     }
  168.     
  169.     $litpic = GetDDImage('none', $picname, $ddisremote);
  170.     //生成文档ID
  171.     $arcID = GetIndexKey($arcrank,$typeid,$sortrank,$channelid,$senddate,$adminid);
  172.     
  173.     if(empty($arcID))
  174.     {
  175.         ShowMsg("无法获得主键,因此无法进行后续操作!","-1");
  176.         exit();
  177.     }
  178.     if(trim($title) == '')
  179.     {
  180.         ShowMsg('标题不能为空', '-1');
  181.         exit();
  182.     }
  183.     //处理body字段自动摘要、自动提取缩略图等
  184.     $body = AnalyseHtmlBody($body,$description,$litpic,$keywords,'htmltext');
  185.     //自动分页
  186.     if($sptype=='auto')
  187.     {
  188.         $body = SpLongBody($body,$spsize*1024,"#p#分页标题#e#");
  189.     }
  190.     //分析处理附加表数据
  191.     $inadd_f = $inadd_v = '';
  192.     if(!empty($dede_addonfields))
  193.     {
  194.         $addonfields = explode(';',$dede_addonfields);
  195.         if(is_array($addonfields))
  196.         {
  197.             foreach($addonfields as $v)
  198.             {
  199.                 if($v=='') continue;
  200.                 $vs = explode(',',$v);
  201.                 if($vs[1]=='htmltext'||$vs[1]=='textdata')
  202.                 {
  203.                     ${$vs[0]} = AnalyseHtmlBody(${$vs[0]},$description,$litpic,$keywords,$vs[1]);
  204.                 }
  205.                 else
  206.                 {
  207.                     if(!isset(${$vs[0]})) ${$vs[0]} = '';
  208.                     ${$vs[0]} = GetFieldValueA(${$vs[0]},$vs[1],$arcID);
  209.                 }
  210.                 $inadd_f .= ','.$vs[0];
  211.                 $inadd_v .= " ,'".${$vs[0]}."";
  212.             }
  213.         }
  214.     }
  215.     //处理图片文档的自定义属性
  216.     if($litpic!='' && !ereg('p',$flag))
  217.     {
  218.         $flag = ($flag=='' ? 'p' : $flag.',p');
  219.     }
  220.     if($redirecturl!='' && !ereg('j',$flag))
  221.     {
  222.         $flag = ($flag=='' ? 'j' : $flag.',j');
  223.     }
  224.     
  225.     //跳转网址的文档强制为动态
  226.     if(ereg('j', $flag)) $ismake = -1;
  227.     //保存到主表
  228.     $query = "INSERT INTO `#@__archives`(id,typeid,typeid2,sortrank,flag,ismake,channel,arcrank,click,money,title,shorttitle,
  229.     color,writer,source,litpic,pubdate,senddate,mid,notpost,description,keywords,filename,dutyadmin,weight)
  230.     VALUES ('$arcID','$typeid','$typeid2','$sortrank','$flag','$ismake','$channelid','$arcrank','$click','$money',
  231.     '$title','$shorttitle','$color','$writer','$source','$litpic','$pubdate','$senddate',
  232.     '$adminid','$notpost','$description','$keywords','$filename','$adminid','$weight');";
  233.     if(!$dsql->ExecuteNoneQuery($query))
  234.     {
  235.         $gerr = $dsql->GetError();
  236.         $dsql->ExecuteNoneQuery("Delete From `#@__arctiny` where id='$arcID'");
  237.         ShowMsg("把数据保存到数据库主表 `#@__archives` 时出错,请把相关信息提交给DedeCms官方。".str_replace('"','',$gerr),"javascript:;");
  238.         exit();
  239.     }
  240.     //保存到附加表
  241.     $cts = $dsql->GetOne("Select addtable From `#@__channeltype` where id='$channelid' ");
  242.     $addtable = trim($cts['addtable']);
  243.     if(emptyempty($addtable))
  244.     {
  245.         $dsql->ExecuteNoneQuery("Delete From `#@__archives` where id='$arcID'");
  246.         $dsql->ExecuteNoneQuery("Delete From `#@__arctiny` where id='$arcID'");
  247.         ShowMsg("没找到当前模型[{$channelid}]的主表信息,无法完成操作!。","javascript:;");
  248.         exit();
  249.     }
  250.     $useip = GetIP();
  251.     $templet = emptyempty($templet) ? '' : $templet;
  252.     $query = "INSERT INTO `{$addtable}`(aid,typeid,redirecturl,templet,userip,body{$inadd_f}) Values('$arcID','$typeid','$redirecturl','$templet','$useip','$body'{$inadd_v})";
  253.     if(!$dsql->ExecuteNoneQuery($query))
  254.     {
  255.         $gerr = $dsql->GetError();
  256.         $dsql->ExecuteNoneQuery("Delete From `#@__archives` where id='$arcID'");
  257.         $dsql->ExecuteNoneQuery("Delete From `#@__arctiny` where id='$arcID'");
  258.         ShowMsg("把数据保存到数据库附加表 `{$addtable}` 时出错,请把相关信息提交给DedeCms官方。".str_replace('"','',$gerr),"javascript:;");
  259.         exit();
  260.     }
  261.     //生成HTML
  262.     InsertTags($tags,$arcID);
  263.     if($cfg_remote_site=='Y' && $isremote=="1")
  264.     {   
  265.         if($serviterm!=""){
  266.             list($servurl,$servuser,$servpwd) = explode(',',$serviterm);
  267.             $config=array( 'hostname' => $servurl, 'username' => $servuser, 'password' => $servpwd,'debug' => 'TRUE');
  268.         }else{
  269.             $config=array();
  270.         }
  271.         if(!$ftp->connect($config)) exit('Error:None FTP Connection!');
  272.     }
  273.     $artUrl = MakeArt($arcID,true,true,$isremote);
  274.     if($artUrl=='')
  275.     {
  276.         $artUrl = $cfg_phpurl."/view.php?aid=$arcID";
  277.     }
  278.     ClearMyAddon($arcID, $title);
  279.     //返回成功信息
  280.     $msg = "      请选择你的后续操作:
  281.     <a href='article_add.php?cid=$typeid'><u>继续发布文章</u></a>
  282.     &nbsp;&nbsp;
  283.     <a href='$artUrl' target='_blank'><u>查看文章</u></a>
  284.     &nbsp;&nbsp;
  285.     <a href='archives_do.php?aid=".$arcID."&dopost=editArchives'><u>更改文章</u></a>
  286.     &nbsp;&nbsp;
  287.     <a href='catalog_do.php?cid=$typeid&dopost=listArchives'><u>已发布文章管理</u></a>
  288.     &nbsp;&nbsp;
  289.     $backurl
  290.   ";
  291.   $msg = "<div style=\"line-height:36px;height:36px\">{$msg}</div>".GetUpdateTest();
  292.     $wintitle = "成功发布文章!";
  293.     $wecome_info = "文章管理::发布文章";
  294.     $win = new OxWindow();
  295.     $win->AddTitle("成功发布文章:");
  296.     $win->AddMsgItem($msg);
  297.     $winform = $win->GetWindow("hand","&nbsp;",false);
  298.     $win->Display();
  299. }
  300. //更新主页的任务
  301. function makeindex() {  }
  302.     require_once(DEDEINC.'/arc.partview.class.php');
  303.     $envs = $_sys_globals = array();
  304.     $envs['aid'] = 0;
  305.     $pv = new PartView();
  306.     $row = $pv->dsql->GetOne('SELECT * FROM `#@__homepageset`');
  307.     $templet = str_replace("{style}"$cfg_df_style$row['templet']);
  308.     $homeFile = dirname(__FILE__).'/'.$row['position'];
  309.     $homeFile = str_replace("//""/"str_replace("\\", "/", $homeFile));
  310.     $fp = fopen($homeFile, 'w') or die("无法更新网站主页到:$homeFile 位置");
  311.     fclose($fp);
  312.     $tpl = $cfg_basedir.$cfg_templets_dir.'/'.$templet;
  313.     if(!file_exists($tpl))
  314.     {
  315.         $tpl = $cfg_basedir.$cfg_templets_dir.'/default/index.htm';
  316.         if(!file_exists($tpl)) exit("无法找到主页模板:$tpl ");
  317.     }
  318.     $GLOBALS['_arclistEnv'] = 'index';
  319.     $pv->SetTemplet($tpl);
  320.     $pv->SaveToHtml($homeFile);
  321.     $pv->Close();
  322. //更新所有关连的栏目
  323. function makeparenttype() {  }
  324.     require_once(DEDEDATA."/cache/inc_catalog_base.inc");
  325.     require_once(DEDEINC.'/arc.listview.class.php');
  326.     
  327.     if( empty($typeid) )
  328.     {
  329.         ShowMsg("<b>完成栏目更新任务!完成所有更新任务!</b>", "close::tgtable");
  330.                 exit();
  331.     }
  332.     $topids = explode(',', GetTopids($typeid));
  333.     if(empty($curpage)) $curpage = 0;
  334.     $tid = $topids[$curpage];
  335.     
  336.     if(isset($cfg_Cs[$tid]) && $cfg_Cs[$tid][1]>0)
  337.     {
  338.         require_once(DEDEINC."/arc.listview.class.php");
  339.         $lv = new ListView($tid);
  340.         $lv->MakeHtml();
  341.         $lv->Close();
  342.     }
  343.     else
  344.     {
  345.         require_once(DEDEINC."/arc.sglistview.class.php");
  346.         $lv = new SgListView($tid);
  347.         $lv->MakeHtml();
  348.         $lv->Close();
  349.     }
  350.     
  351.     if($curpage >= count($topids)-1)
  352.     {
  353.         $curpage++;
  354.     }
  355.         ShowMsg("<b>完成栏目更新任务!完成所有更新任务!</b>", "close::tgtable");
  356.         exit();
  357. //生成目录的一个遍历算法
  358. function maketree($ar,$id,$pre)
  359. {
  360.     $ids='';
  361.     foreach($ar as $k=>$v){
  362.         $pid=$v['pid'];
  363.         $cname=$v['cname'];
  364.         $cid=$v['cid'];
  365.         if($pid==$id)
  366.         {
  367.             $ids.="<option value='$cid'>{$pre}{$cname}</option>";
  368.             foreach($ar as $kk=>$vv)
  369.             {
  370.                 $pp=$vv['pid'];
  371.                 if($pp==$cid)
  372.                 { 
  373.                     $ids.=maketree($ar,$cid,$pre."&nbsp;&nbsp;");
  374.                     break;
  375.                 }
  376.             }
  377.         }
  378.     }
  379.     return $ids;
  380. }
  381. ?>

本代码还有点缺陷,有牛人的话可以指点一下,目前封面是无法更新的,后续找到更新方法会补上。

本文为大标seo博客原创文章,转载请注明来源:https://www.dabiaoseo.com/

  • 我的微信
  • 这是我的微信扫一扫
  • weinxin
  • 我的微信公众号
  • 我的微信公众号扫一扫
  • weinxin

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: