import urllib2

content = urllib2.urlopen('http://XXXX').read()

2.使用代理服务器

这在某些情况下比较有用，比如IP被封了，或者比如IP访问的次数受到限制等等。

import urllib2

proxy_support = urllib2.ProxyHandler({'http':'http://XX.XX.XX.XX:XXXX'})

opener = urllib2.build_opener(proxy_support, urllib2.HTTPHandler)


urllib2.install_opener(opener)

content = urllib2.urlopen('http://XXXX').read()

3.需要登录的情况

登录的情况比较麻烦我把问题拆分一下：

-

3.1 cookie的处理

import urllib2, cookielib

cookie_support= urllib2.HTTPCookieProcessor(cookielib.CookieJar())

opener = urllib2.build_opener(cookie_support, urllib2.HTTPHandler)

urllib2.install_opener(opener)

content = urllib2.urlopen('http://XXXX').read()

是的没错，如果想同时用代理和cookie，那就加入proxy_support然后operner改为

opener = urllib2.build_opener(proxy_support, cookie_support, urllib2.HTTPHandler)

3.2 表单的处理

登录必要填表，表单怎么填？首先利用工具截取所要填表的内容

比如我一般用firefox+httpfox插件来看看自己到底发送了些什么包

这个我就举个例子好了，以verycd为例，先找到自己发的POST请求，以及POST表单项：





-

可以看到verycd的话需要填username,password,continueURI,fk,login_submit这几项，其中fk是随机生
成的（其实不太随机，看上去像是把epoch时间经过简单的编码生成的），需要从网页获取，也就是说得先访问一次网页，用正则表达式等工具截取返回数据中
的fk项。continueURI顾名思义可以随便写，login_submit是固定的，这从源码可以看出。还有username，password那
就很显然了。

-

好的，有了要填写的数据，我们就要生成postdata

import urllib

postdata=urllib.urlencode({
    

    'username':'XXXXX',
    

    'password':'XXXXX',

    'continueURI':'http://www.verycd.com/',

    'fk':fk,

    'login_submit':'登录'

})

-
然后生成http请求，再发送请求：

req = urllib2.Request(

    url = 'http://secure.verycd.com/signinhttp://www.verycd.com/',

    data = postdata,

    headers = headers


)

#...

-
3.4 反”反盗链”
某些站点有所谓的反盗链设置，其实说穿了很简单，就是检查你发送请求的header里面，referer站点是不是他自己，所以我们只需要像3.3一样， 把headers的referer改成该网站即可，以黑幕著称地cnbeta为例：

#...
headers = {
    'Referer':'http://www.cnbeta.com/articles'
}
#...

headers是一个dict数据结构，你可以放入任何想要的header，来做一些伪装。例如，有些自作聪明的网站总喜欢窥人隐私，别人通过代理 访问，他偏偏要读取header中的X-Forwarded-For来看看人家的真实IP，没话说，那就直接把X-Forwarde-For改了吧，可以 改成随便什么好玩的东东来欺负欺负他，呵呵。
-

3.5 终极绝招
有时候即使做了3.1-3.4，访问还是会被据，那么没办法，老老实实把httpfox中看到的headers全都写上，那一般也就行了。
再不行，那就只能用终极绝招了，selenium直 接控制浏览器来进行访问，只要浏览器可以做到的，那么它也可以做到。类似的还有pamie，watir，等等等等。
-

4.多线程并发抓取
单线程太慢的话，就需要多线程了，这里给个简单的线程池模板
这个程序只是简单地打印了1-10，但是可以看出是并发地。

from threading import Thread


from Queue import Queue


from time import sleep

#q是任务队列


#NUM是并发线程总数


#JOBS是有多少任务

q = Queue()

NUM = 2

JOBS = 10


#具体的处理函数，负责处理单个任务

def do_somthing_using(arguments):
    

    print arguments


#这个是工作进程，负责不断从队列取数据并处理


def working():

    while True:

        arguments = q.get()

        do_somthing_using(arguments)

        sleep(1)

        q.task_done()

#fork NUM个线程等待队列


for i in range(NUM):

    t = Thread(target=working)

    t.setDaemon(True)

    t.start()

#把JOBS排入队列


for i in range(JOBS):

    q.put(i)

#等待所有JOBS完成

q.join()

5.验证码的处理
碰到验证码咋办？这里分两种情况处理：
-
1.google那种验证码，凉拌
-
2.简单的验证码：字符个数有限，只使用了简单的平移或旋转加噪音而没有扭曲的，这种还是有可能可以处理的，一般思路是旋转的转回来，噪音去掉，然后划分 单个字符，划分好了以后再通过特征提取的方法(例如PCA) 降维并生成特征库，然后把验证码和特征库进行比较。这个比较复杂，一篇博文是说不完的，这里就不展开了，具体做法请弄本相关教科书好好研究一下。
-
3.事实上有些验证码还是很弱的，这里就不点名了，反正我通过2的方法提取过准确度非常高的验证码，所以2事实上是可行的。
-
6.总结
基本上我遇到过的所有情况，用以上方法都顺利解决了，不太清楚还有没有其他漏掉的情况，所以本文到这里就完成了，以后要是碰上其他情况，再补充相关方法好 了：）

第一招、mysql服务的启动和停止

• net stop mysql
• net start mysql

第二招、登陆mysql

• mysql -u用户名 -p用户密码
• mysql -uroot -p， 回车後提示你输入密码，输入12345，然後回车即可进入到mysql中了，mysql的提示符是：

mysql> 注意，如果是连接到另外的机器上，则需要加入一个参数-h机器IP 第三招、增加新用户

• grant 权限 on 数据库.* to 用户名@登录主机 identified by “密码”
• 增加一个用户user1密码为password1，让其可以在本机上登录， 并对所有数据库有查询、插入、修改、删除的权限。首先用以root用户连入mysql，然後键入以下命令：grant select,insert,update,delete on *.* to user1@localhost Identified by “password1″;如果希望该用户能够在任何机器上登陆mysql，则将localhost改为”%”。
• 如果你不想user1有密码，可以再打一个命令将密码去掉。grant select,insert,update,delete on mydb.* to user1@localhost identified by “”;

第四招： 操作数据库 登录到mysql中，然後在mysql的提示符下运行下列命令，每个命令以分号结束。

• 显示数据库列表。

show databases; 缺省有两个数据库：mysql和test。 mysql库存放着mysql的系统和用户权限信息，我们改密码和新增用户，实际上就是对这个库进行操作。

• 显示库中的数据表：

use mysql; show tables;

• 显示数据表的结构：

describe 表名;

• 建库与删库：

create database 库名; drop database 库名;

• 建表：

use 库名; create table 表名(字段列表); drop table 表名;

• 清空表中记录：

delete from 表名;

• 显示表中的记录：

select * from 表名;

第五招、导出和导入数据

• 导出数据：

mysqldump –opt test > mysql.test 即将数据库test数据库导出到mysql.test文件，後者是一个文本文件 如：mysqldump -u root -p123456 –databases dbname > mysql.dbname 就是把数据库dbname导出到文件mysql.dbname中。

• 导入数据:

mysqlimport -u root -p123456 < mysql.dbname。 不用解释了吧。

• 将文本数据导入数据库:

文本数据的字段数据之间用tab键隔开。 use test; load data local infile “文件名” into table 表名;

SQL常用命令使用方法：

(1) 数据记录筛选：

sql=”select * from 数据表 where 字段名=字段值 order by 字段名 [desc]”

sql=”select * from 数据表 where 字段名 like ‘%字段值%’ order by 字段名 [desc]”

sql=”select top 10 * from 数据表 where 字段名 order by 字段名 [desc]”

sql=”select * from 数据表 where 字段名 in (’值1′,’值2′,’值3′)”

sql=”select * from 数据表 where 字段名 between 值1 and 值2″

(2) 更新数据记录：

sql=”update 数据表 set 字段名=字段值 where 条件表达式”

sql=”update 数据表 set 字段1=值1,字段2=值2 …… 字段n=值n where 条件表达式”

(3) 删除数据记录：

sql=”delete from 数据表 where 条件表达式”

sql=”delete from 数据表” (将数据表所有记录删除)

(4) 添加数据记录：

sql=”insert into 数据表 (字段1,字段2,字段3 …) valuess (值1,值2,值3 …)”

sql=”insert into 目标数据表 select * from 源数据表” (把源数据表的记录添加到目标数据表)

(5) 数据记录统计函数：

AVG(字段名) 得出一个表格栏平均值 COUNT(*|字段名) 对数据行数的统计或对某一栏有值的数据行数统计 MAX(字段名) 取得一个表格栏最大的值 MIN(字段名) 取得一个表格栏最小的值 SUM(字段名) 把数据栏的值相加

引用以上函数的方法：

sql=”select sum(字段名) as 别名 from 数据表 where 条件表达式” set rs=conn.excute(sql)

用 rs(”别名”) 获取统的计值，其它函数运用同上。

(6) 数据表的建立和删除：

CREATE TABLE 数据表名称(字段1 类型1(长度),字段2 类型2(长度) …… )

例：CREATE TABLE tab01(name varchar(50),datetime default now())

DROP TABLE 数据表名称 (永久性删除一个数据表)

MySQL批 处理命令

批处理是一种非交互式运行mysql程序的方法，如同您在mysql中使用的命令一样，你仍然将使用这些命令。

为了实现批处理，您重定向一个文件到mysql程序中，首先我们需要一个文本文件，这个文本文件包含有与我们在mysql中输入的命令相同 的文本。 比如我们要插入一些数据，使用包含下面文本的文件(文件名为New_Data.sql,当然我们也可以取名为New_Data.txt及任何其他的合法名 字，并不一定要以後缀sql结尾)：

• USE Meet_A_Geek;
• INSERT INTO Customers (Customer_ID, Last_Name) VALUES(NULL, “Block”);
• INSERT INTO Customers (Customer_ID, Last_Name) VALUES(NULL, “Newton”);
• INSERT INTO Customers (Customer_ID, Last_Name) VALUES(NULL, “Simmons”);

注意上面的这些句子的语法都必须是正确的，并且每个句子以分号结束。 上面的USE命令选择数据库，INSERT命令插入数据。

下面我们要把上面的文件导入到数据库中，导入之前要确认数据库已经在运行，即是mysqld进程（或者说服务，Windows NT下面称为”服务“，unix下面为”进程“）已经在运行。 然後运行下面的命令：

• bin/mysql –p < /home/mark/New_Data.sql

接着按提示输入密码，如果上面的文件中的语句没有错误，那么这些数据就被导入到了数据库中。

命令行中使用LOAD DATA INFILE 从文件中导入数据到数据库: 现在您可能会问自己，”究竟为什么我要输入所有的这些SQL语句到文件中，然後通过程序运行它们呢？” 这样看起来好像需要大量的工作。很好，你这样想很可能就对了。但是假如你有从所有这些命令中产生的log记录呢？现在这样就很棒，嗯，大多数数据库都会自 动产生数据库中的事件记录的log。而大部分log都包含有用过的原始的SQL命令。因此，如果您不能从您现在的数据库中导出数据到新的 mysql数据库中使用，那么您可以使用log和mysql的批处理特性，来快速且方便地导入您地数据。当然，这样就省去了打字的麻烦。

LOAD DATA INFILE 这是我们要介绍的最後一个导入数据到MySQL数据库中的方法。这个命令与mysqlimport非常相似，但这个方法可以在mysql命令行中使用。也 就是说您可以在所有使用API的程序中使用这个命令。使用这种方法，您就可以在应用程序中导入您想要导入的数据。

使用这个命令之前，mysqld进程（服务）必须已经在运行。 启动mysql命令行：

• bin/mysql –p

按提示输入密码，成功进入mysql命令行之後，输入下面的命令：

• USE Meet_A_Geek;
• LOAD DATA INFILE “/home/mark/data.sql” INTO TABLE Orders;

简单的讲，这样将会把文件data.sql中的内容导入到表Orders中，如mysqlimport工具一样，这个命令也有一些可以选择的参数。 比如您需要把自己的电脑上的数据导入到远程的数据库服务器中，您可以使用下面的命令：

• LOAD DATA LOCAL INFILE “C:\MyDocs\SQL.txt” INTO TABLE Orders;

上面的LOCAL参数表示文件是本地的文件，服务器是您所登陆的服务器。 这样就省去了使用ftp来上传文件到服务器，MySQL替你完成了. 您也可以设置插入语句的优先级，如果您要把它标记为低优先级（LOW_PRIORITY），那么MySQL将会等到没有其他人读这个表的时候，才把插入数 据。可以使用如下的命令：

• LOAD DATA LOW_PRIORITY INFILE “/home/mark/data.sql” INTO TABLE Orders;

您也可以指定是否在插入数据的时候，取代或者忽略文件与数据表中重复的键值。替代重复的键值的语法：

• LOAD DATA LOW_PRIORITY INFILE “/home/mark/data.sql” REPLACE INTO TABLE Orders;

上面的句子看起来有点笨拙，但却把关键字放在了让您的剖析器可以理解的地方。

下面的一对选项描述了文件的记录格式，这些选项也是在mysqlimport工具中可以用的。他们在这里看起来有点不同。首先，要用到 FIELDS关键字，如果用到这个关键字，MySQL剖析器希望看到至少有下面的一个选项：

• TERMINATED BY character
• ENCLOSED BY character
• ESCAPED BY character

这些关键字与它们的参数跟mysqlimport中的用法是一样的. The TERMINATED BY 描述字段的分隔符，默认情况下是tab字符（\t） ENCLOSED BY描述的是字段的括起字符。比方以引号括起每一个字段。 ESCAPED BY 描述的转义字符。默认的是反些杠（backslash：\ ）. 下面仍然使用前面的mysqlimport命令的例子，用LOAD DATA INFILE语句把同样的文件导入到数据库中:

• LOAD DATA INFILE “/home/mark/Orders.txt” REPLACE INTO TABLE Orders FIELDS TERMINATED BY ‘,’ ENCLOSED BY ‘”‘;

LOAD DATA INFILE语句中有一个mysqlimport工具中没有特点：

     LOAD DATA INFILE 可以按指定的列把文件导入到数据库中。

当我们要把数据的一部分内容导入的时候，这个特点就很重要。比方说，我们要从Access数据库升级到MySQL数据库的时候，需要加入一些栏目 （列/字段/field）到MySQL数据库中，以适应一些额外的需要。 这个时候，我们的Access数据库中的数据仍然是可用的，但是因为这些数据的栏目(field)与MySQL中的不再匹配，因此而无法再使用 mysqlimport工具。尽管如此，我们仍然可以使用LOAD DATA INFILE，下面的例子显示了如何向指定的栏目(field)中导入数据：

• LOAD DATA INFILE “/home/Order.txt” INTO TABLE Orders(Order_Number, Order_Date, Customer_ID);

如您所见，我们可以指定需要的栏目（fields）。这些指定的字段依然是以括号括起，由逗号分隔的，如果您遗漏了其中任何一个，MySQL将会提 醒您^_^
ubuntu 下的 mysql 命令行方式。把 blue.sql 下载下来，运行

 (sudo) mysql
 create database XXXX;
 use XXXX;
 source blue.sql

北京网站建设公司

成为中外合资经营企业之后，赛迪经纬注册资本为一亿元人民币，营业范围为组织除演出外的文化艺术交流活 动，以及经营IT领域媒体《中国计算机报》、《数字时代》和《和谐之旅》投资管理咨询，以及知识产权咨询服务，企业形 象策划，技术领域的开发、转让、培训、服务等业务。

赛迪传媒于2008年11月12日发布的公告称，赛迪经纬计划将注册资本由1000万元人民币增加到9700万元人民币，具体增资计划为：公司以赛迪经纬 资本公积转增认缴出资额人民币8265万元，北京赛迪新宇投资顾问有限公司以赛迪经纬资本公积转增认缴出资额人民币435万元，Microsoft CIHC以美元现汇认缴出资150万美元。今日此次注资完成，注册资本调高至一亿元，但公告信息并未显示微软是否由于中美汇率变化追加投资。

此前赛迪经纬的股本结构是赛迪传媒持股95％，赛迪新宇持股5％，其中赛迪新宇为赛迪传媒持股比例为90％的控股子公司。增资完成后赛迪传媒将持有赛迪经 纬92.15％股权、赛迪新宇持有赛迪经纬4.85％股权、Microsoft CIHC持有赛迪经纬3％股权。

资料显示，赛迪传媒系A股上市公司，旗下控股公司赛迪经纬拥有《中国计算机报》、《数字时代》及《和谐之旅》等刊物的投资管理咨询等业务。

Microsoft CIHC系微软公司在美国注册的全资子公司，其主营业务为对外投资，尤其是针对中国市场的战略性投资。Microsoft CIHC独立于微软（中国）有限公司。

中国境内新闻媒体领域尚未对海外资本实施完整的放开，但在影视领域已经有部分放开。2005年之后，国内传媒机构与外资的接触多数为影视内容的合拍合作， 部分外资则以广告经营代理的方式变相获得个别电视台的内容经营合作。

北京网站建设公司

测试平 台是一套工作站系 统，硬件配置包括AMD Opteron 2384 2.7GHz四核心处理器(“上海”)、泰安Thunder n3600B S2927主板(NVIDIA nForce 3600PRO芯片组)、4GB DDR2 ECC Reg内存、希捷ST3300622AS 300GB硬盘、ATI FirePro V8700显卡，软 件上采用Ubuntu 8.04.4 LTS 64位操作系统，组件有GNOME 2.22.3、X.Org Server 1.4.0.90、GCC 4.2.4、EXT3。

Linux Kernel 2.6.24-2.6.33的每个版本都从Ubuntu PPA源上获取，而且均为64位版本。除了替换内核之外，系统其他设置均保持默认。

Apache Benchmark(静态网页服务)：2.6.33成绩大幅提升，但事实最早的2.6.24版反而才是好的，之后八个版本都差得很多，最新版终于基本正常 了。

无论是为了移动设备还是为了其他完全不同的东西，现在任何个人或组织都可以获取、使用并修改代码以实现任何目的。这项战略性转变为Symbian生态系统提供了更大的开发潜 力，更快上市的能力和免费开发平台的机会。Symbian平台的开放承诺还包括未来计划的完全透明，如发布2011年前(包括2011年)的平台发展蓝图 和规划功能。现在任何人都可以 影响平台发展蓝图并贡献新力量。www.phpchina.com

Symbian协会执行理事Lee Williams指出：”开发社 区现在有能力塑造移动产业的未来，目标就是实现全球范围的快速创新。Symbian协会成立之际，我们制定的目标是在 2010年中之前完成平台的开源发布，但是，凭借我们员工和成员公司的不断努力和卓越奉献，我们提前完成了目标。”www.phpchina.com

IDC分析师John Delaney 说：”为开发者提供独一无二的东西对于智能手机平台来说日益重要，而世界上应用最为广泛的智能手机平台实现开源正好可以满足这一需求。见证行业中这一重大 事件的发生将令人无比激动。”www.phpchina.com

包含Symbian平台开源代码的所有108个模块现在都可以根据Eclipse公共许可协议和其他开源许可协议从Symbian开发者网站 (tiny.symbian.org/open)下载。此外，创建应用程序(Symbian开发者工 具)和移动设备(产品开发工具)完整的开发工具也可供下载。这些开发工具可与最新平台版本Symbian^3兼 容，Symbian^3平台现在已经实现完全开源，并将在今年第一季度成为具备”完善功能”的平台。

网站建设

Gartner在研究报告中写道：“对于将单一用途工具融合到支持一系列数据交付方式的产品来说，数据集成工具市场的领导者处于领先地位。在这个市场 上，领导者拥有显著的市场占有率，而熟练掌握他们工具的技 术人员也为数众多。通过提供新的产品功 能，以及明确数据集成工具可以有效解决的新型业务问题，这些厂商在很大程度上决定了市场趋势。”www.phpchina.com

这份研究报告特别提到：“甲骨文在满足客户的各种数据集成需求方面做得越来越好。”www.phpchina.com

Gartner公司的“魔法象限(Magic Quadrant)”研究报告面向特定细分市场，根据厂商的执行能力以及愿景的完整性来划分厂商所处的象限。www.phpchina.com

关于Oracle数据集成www.phpchina.com

Oracle数据集成(Oracle Data Integration)用于帮助企业在面向服务的架构(SOA)、商务智能以及数据仓库环境中构建、部署和管理以实时数据为中心的架构。这个完全统一的 解决方案包括数据集成的所有要素――实时和批量数据移动、转换、同步、数据质量、数据管理和数据服务，以确保异构和高度可用系统的信息的及时、准确和一致。www.phpchina.com

Oracle数据集成套件是Oracle融合中间件的组件之一，由一套完整的、支持热插拔的、集成的数据管理产品组成，可帮助企业提高绩效和效率。该套 件包括Oracle数据集成器企业版、Oracle BPEL流程管理器、Oracle Hyperion 数据关系管理和Oracle服务总线。甲骨文公司还提供先进的Oracle数据质量和剖析产品，可为开 发和管理联合数据服务提供可信赖的信息和解决方案。www.phpchina.com

Oracle GoldenGate是Oracle数据集成产品中最新增加的产品，是具有实时数据集成和连续可用性的解决方案，使企业能够全天24小时不间断地获得实时 数据，从而优化运营和数据分析环境。Oracle GoldenGate有多种用途，其中包括实时的商务智能、查询卸载、零宕机升级、维护、数据中心合并以及数据分配和高可用性的Active- Active数据库等。www.phpchina.com

甲骨文已经在全球范围内启动了主题为“驱动实时企业创新”的数据集成论坛系列活 动，活动中将介绍Oracle GoldenGate、Oracle数据集成器企业版、Oracle数据质量和Oracle数据剖析产品。这一系列活动将为企业提供与甲骨文数据集成专家 共同探讨最佳实践的机会，从而实现以更低的总体拥有成本提供最快和可扩展性最高的实时数据架构。www.phpchina.com

甲骨文高管引言www.phpchina.com

甲骨文公司Oracle产品开发副总裁Sachin Chawla表示：“如今企业需要完整和灵活的数据集成技术解决方案，以便能够统一来自企业各个不同系统中的数据，并提供及时和可靠的信息。甲骨文提供一 套完整的数据集成产品，这些产品支持异构系统，并与Oracle应用和数据库产品紧密集成，因此拥有很大的优势。甲骨文始终承诺，提供最佳技术解决方案， 以帮助客户快速方便地访问最新和最准确的数据，进而帮助客户优化运营、做出更好的业务决策，此次因数据集成工具的卓越表现而跻身领导者象限再次表明甲骨文 兑现了这一承诺。”

北京网站建设公司