QQ校友大学数据采集程序(0 位领导批示)-银子 ’s 博客-工作手记

QQ校友大学数据采集程序(0 位领导批示)

2010-09-9
分类：PHP&MySql
作者：银子
1,962 位领导视察

最近需要用到这方面的数据.简单写了一下.将QQ校友中中国大学全部采集下来.
部分代码需要根据实际情况进行修改(如数据写入部分.我用的zwFrame框架自带方法)

<?php
/**
 * 采集QQ校友学校数据
 *
 * @package zWFrame
 */
 
// ####################### SET PHP ENVIRONMENT ###########################
error_reporting(E_ALL & ~E_NOTICE);
 
// #################### DEFINE IMPORTANT CONSTANTS #######################
define('THIS_SCRIPT', 'qqschools');
 
// ######################### REQUIRE BACK-END ############################
require_once ('./global.php');
set_time_limit(0);
 
/**
 *  采集链接 
 *  大学: http://api.pengyou.qq.com/index.php?mod=school&act=selector&schooltype=0&country=0&province=11&prefix=B
 */
 
$prefixs = range('A', 'Z');
$areas = range(11, 82);
 
foreach ($areas as $area)
{
	$sql = array();
	foreach ($prefixs as $prefix)
	{
		$html = '';
		$html = file_get_contents("http://api.pengyou.qq.com/index.php?mod=school&act=selector&schooltype=0&country=0&province={$area}&prefix={$prefix}");
		preg_match_all("#javascript:choose_school\((\d+),\'([^\']+)\'\)#i", $html, $schools);
		unset($html);
 
		if (!empty($schools[2]))
		{
			foreach ($schools[2] as $key => $value)
			{
				$sql[] = "('{$area}0000', '{$value}', 0, '{$prefix}')";
			}
		}
	}
	unset($schools);
 
	if (!empty($sql))
	{
		ob_end_clean();
		// 写入数据库
		$query = "INSERT INTO schools (areaid, schoolname, schooltype, prefix) VALUES " . implode(',', $sql);
		$zwframe->db->query_write($query);
		echo "{$area}0000 地区的大学数据导入完成...<br />";
		unset($sql, $query);
		flush();
		sleep(1);
	}
}
?>