idea's blog » Web

PHP重用curl句柄, CURLOPT_HTTPGET的BUG

ideawu — Wed, 12 Oct 2011 10:55:51 +0000

重用一个CURL句柄时, 发现curl_setopt($ch, CURLOPT_HTTPGET, TRUE) 不起作用. 期望在调用这条语句之后发起请求, 应该发送的是GET, 但看服务器log, 却使用了和前一次请求相同的HTTP方法.

PHP脚本:

web server log:

124.127.130.50 "2011-10-12 18:55:09" "POST / HTTP/1.1" 200 3516 "-" www.ideawu.net
124.127.130.50 "2011-10-12 18:55:09" "POST / HTTP/1.1" 200 3516 "-" www.ideawu.net
124.127.130.50 "2011-10-12 18:55:09" "GET / HTTP/1.1" 200 3516 "-" www.ideawu.net

这个BUG目前还没找到相关的资料.

补充: 不仅仅是CURLOPT_HTTPGET, CURLOPT_POST也有同样的问题. 所以, 结论是: 只有CURLOPT_CUSTOMREQUEST才是正确的方法.

你现在看的文章是: PHP重用curl句柄, CURLOPT_HTTPGET的BUG

Linode VPS - 美国虚拟主机 | IT牛人博客聚合网站

PHP浮点数显示和转成字符串

ideawu — Fri, 09 Sep 2011 03:33:47 +0000

你可能会觉得PHP中将浮点数(float)转成字符串非常简单, 但是, 常用的方法隐藏着严重的bug. 因为, PHP在处理浮点数时有非常不合理的做法, 会有精度丢失. 经研究, 其实是PHP在显示浮点数时的问题, 也可以说是BUG. PHP内置的echo, var_dump, json_encode, 字符串拼接等函数(指令)在显示浮点数时都有问题, 导致精度丢失.

结果

1315537636.338467
1315537636.3385
1315537636.3385

也就是说, 用PHP最顺手的方法将浮点数转成字符串或者显示是不行的, 必须使用printf/sprintf将浮点数转成字符串.

你现在看的文章是: PHP浮点数显示和转成字符串

Linode VPS - 美国虚拟主机 | IT牛人博客聚合网站

Apache用mod_rewrite配置子域名

ideawu — Sun, 04 Sep 2011 14:26:02 +0000

虽然用vhost可以支持子域名, 但不方便.

RewriteCond $1 !^bbs/
RewriteCond %{HTTP_HOST} bbs.example.com
RewriteRule (.*) /bbs/$1 [L]

RewriteCond $1 !^bbs/ 避免内部无限redirect.

~~或者支持无限子域名:~~

RewriteCond %{ENV:Rewrite-Done} !^Yes$
RewriteCond %{HTTP_HOST} !^www\.example\.com
RewriteCond %{HTTP_HOST} ^([^.]+)\.example\.com
RewriteRule (.*) /%1/$1 [E=Rewrite-Done:Yes,L]

注: Apache mod_rewrite 有一个严重的BUG, 无法获取自己设置的环境变量. 所以上面的代码有问题! 所以还是半自动:

RewriteCond $1 !^bbs/
RewriteCond $1 !^OTHER_SUBDOMAIN/
......
# BUG: RewriteCond %{ENV:Rewrite-Done} !^Yes$
RewriteCond %{HTTP_HOST} !^www\.example\.com
RewriteCond %{HTTP_HOST} ^([^.]+)\.example\.com
RewriteRule (.*) /%1/$1 [E=Rewrite-Done:Yes,L]

补充: xiaobin 提到可以使用 vhost_alias 模块. 我在他的基础之上做了改进, 结合 mod_rewrite, 可以更好的兼容www子域:


	ServerAlias ideawu.net *.ideawu.net
	VirtualDocumentRoot /home/work/htdocs/ideawu.net/%1

	RewriteEngine On
	RewriteCond %{HTTP_HOST} ^ideawu.net$
	RewriteRule /(.*) http://www.ideawu.net/$1 [R=301,L]

你现在看的文章是: Apache用mod_rewrite配置子域名

Linode VPS - 美国虚拟主机 | IT牛人博客聚合网站

强大的纯JS数据图工具-flot

ideawu — Wed, 03 Aug 2011 17:03:09 +0000

发现一个在网页中绘制数据图, 如曲线图, 柱状图的纯 JavaScript 工具: flot. 极度推荐啊! 有图和代码为证:

*代码附后*

以前知道的工具有 Open Flash Chart, 还有 Google 出品的 Google Chart Tool. 两者使用不同的技术, 同时也是两种截然不同的设计理念. 相比较而言, 我更认同 Google Chart 的设计理念. 原因如下:

Open Flash Chart 使用 Flash 来做图, 这本来也可以接受. 但是, 图形的样式必须通过一个 URL 返回的数据来指定, 而不是网页端技术.

Google Chart Tool 使用 VML 来做图, 同时实现数据和表现的分离, 是 MVC 的思想. 这样的好处是, 同一份数据, 可以用来显示曲线图, 也可以显示成柱状图等等.

显而易见, Open Flash Chart 的技术和理念太陈旧了, 所以不推荐使用. 但是, Google Chart Tool 也有一个重大缺陷, 就是不能离线使用. 当网络状况不好时(在中国大陆经常遇到), 就没法使用了. Google 太霸道, 也不能用.

flot 也是 Google Chart Tool 类似的理念, 所以使用起来非常方便, 而且 demo 代码简单修改就能运行, 学习曲线非常轻松. 而且完美支持 IE6.

附一个可以运行的 flot 例子代码, 将下面的代码保存成 a.html, 然后到 flot 网站下载 JavaScript 代码, 保证路径正确即可用浏览器打开看效果.



	
	flot

flot 项目首页: http://code.google.com/p/flot/

补充: 再推荐另外一个非常不错的工具 – Highcharts, 看起来功能更强大, 但还没调研使用是否简便.

你现在看的文章是: 强大的纯JS数据图工具-flot

Linode VPS - 美国虚拟主机 | IT牛人博客聚合网站

获取动态加载的图片大小的正确方法

ideawu — Sun, 03 Jul 2011 14:32:43 +0000

有一些很容易出错的获取动态加载的图片的尺寸的方法, 之所以出错, 主要原因是:

你在代码在图片从网页上下载完毕之前就调用了, 这种情况在本机开发时不太容易发现.
jQuery load()事件处理的BUG, 当图片是从浏览器缓存取得时, 获取的是错误的尺寸.

错误的代码是:

(错误)在添加了HTML之后立即调用代码获取尺寸

var html = '';
$('#my_div').html(html);
var width = $('#my_div img').width(); // may return 0

(错误)用jQuery的load()事件处理

var html = '';
var img = $(html);
html.load(function(){
    // return 0 if image is loaded from browser cache
    var width = img.width();
});
$('#my_div').html(img);

下面这种才是真正正确的方法, 使用JavaScript的Image类:

正确的方法

var html = '';
$('#my_div').html(html);

var ni = new Image();
ni.onload = function(){
    var width = ni.width;
}
ni.src = img.attr(URL);

你现在看的文章是: 获取动态加载的图片大小的正确方法

Linode VPS - 美国虚拟主机 | IT牛人博客聚合网站

关系数据库应用设计基础

ideawu — Fri, 24 Jun 2011 10:02:57 +0000

这是我给部门同事做的技术分享.

当今绝大部分的软件系统都用到了关系数据库, 所以, 作为软件开发工程师, 必须掌握关系数据库应用设计能力.

关系数据库应用设计基础

View more presentations from ideawu

你现在看的文章是: 关系数据库应用设计基础

Linode VPS - 美国虚拟主机 | IT牛人博客聚合网站

jQuery延时绑定事件(lazy-bind)

ideawu — Fri, 27 May 2011 08:27:05 +0000

有个延时绑定事件的需求, 如等待鼠标停留在某图片上面一段时间之后才展示浮动层, 以避免鼠标滑过屏幕时一片乱闪. 一时找不到合适的插件, 所以自己写了个.

// 定义
(function($){
    $.fn.lazybind = function(event, fn, timeout, abort){
        var timer = null;
        $(this).bind(event, function(){
            timer = setTimeout(fn, timeout);
        });
        if(abort == undefined){
            return;
        }
        $(this).bind(abort, function(){
            if(timer != null){
                clearTimeout(timer);
            }
        });
    };
})(jQuery);

// 使用
$('#my_img').lazybind(
    'mouseover',
    function(){
        alert(1);
    },
    240,
    'mouseout');

你现在看的文章是: jQuery延时绑定事件(lazy-bind)

Linode VPS - 美国虚拟主机 | IT牛人博客聚合网站

高性能并发Web服务器实现核心内幕

ideawu — Fri, 29 Apr 2011 10:06:54 +0000

今天, 和部门的同事一起分享了Web服务器的核心内幕, 把PPT奉上, 大家喜欢可以下载. 本PPT的出发点和许多所谓的XX源码分析非常不同.

高性能并发Web服务器实现核心内幕

View more presentations from ideawu

你现在看的文章是: 高性能并发Web服务器实现核心内幕

Linode VPS - 美国虚拟主机 | IT牛人博客聚合网站

史上最强大的PHP Web面试题(会做就能进百度)

ideawu — Thu, 31 Mar 2011 08:57:24 +0000

注: 只要你会做了这道题目, 你的能力已经可以进入百度了! 如果别的部门不要你, 请你给我发邮件, 我一定尽我所能强烈推荐你! 如果你不想加入百度, 而别的公司又不要你, 只能说明那家公司瞎眼了.

题目: 见图片, 该图是某网页的一个区域的截图, 用于显示商品或者其它信息的分类. 该分类的每一项可以折叠和收起(展开和收缩, 如果有子分类的话). 分类的级数不固定. 现有一个PHP变量:

$cats = array(
    array(
        'id' => 1,
        'name' => '学术和教育',
        'children' => array(
            array(
                'id' => 2,
                'name' => '自然科学',
                'children' => null,
            ),
            // ...
        ),
    ),
    // ...
);

请写一段PHP代码, 将该数组所包含的分类数据生成一段能实现如图片所示功能的HTML/JavaScript代码, 可不考虑CSS样式.

———-

注解: 这道题目考察的范围非常广, 包括PHP, HTML, JavaScript, CSS, 递归, 只有真正掌握了如上几种全部技能, 才能实现完整的功能, 否则必须依赖分工. 应聘者所能实现的程度越大, 得分就越高.

如果应聘者的应聘职位不包括HTML/JS/CSS, 那么题目可改为: 把上面的PHP数据用缩进换行文本的形式保存到文件, 并读取文件生成一个同样的PHP数组.(自定义格式的序列化和反序列化)

看到这篇日志的读者, 如果已经做了出来, 并且个人想加入百度, 请在评论中回复URL并说明你的意愿, 我会主动联系你. 或者你可以把程序打包发给我.

———-

Note: There is a poll embedded within this post, please visit the site to participate in this post's poll.

你现在看的文章是: 史上最强大的PHP Web面试题(会做就能进百度)

Linode VPS - 美国虚拟主机 | IT牛人博客聚合网站

PHP的continue 2

ideawu — Tue, 01 Mar 2011 05:52:12 +0000

PHP是一种类C语言语法的脚本语言, 但它有一些和C语言甚至是常见编程语言不一致的地方, 也就是PHP不符合常理的地方. 比如continue指令就是一个鲜活的例子.

简单地把continue用在for循环中, 那么, PHP的continue和C语言的continue一样, 都是在直接跳到下一个循环, 忽略后面的代码的执行. 不过, 如果循环中包含了一个switch语句, 并且continue是放在switch里的, 那么意思就大不相同了!

请看下面的例子:

[work@ideawu.net ~]$ cat a.php
2
3
4
5
[work@ideawu.net ~]$ cat t.c
#include 

int main(int argc, char **argv){
    int i;
    for(i=0; i<6; i++){
        switch(i){
            case 3:
                continue;
            default:
                break;
        }
        printf("%d\n", i);
    }
    return 0;
}

[work@ideawu.net ~]$ ./a.out
0
1
2
4
5

注意到了吗? PHP的打印结果里出现了数字”3″! 也就是说, continue并没有作用到for语句, 这显然和C语言以及其它的语言不一样. 再看PHP的手册, 对这种情况做了解释:

Note: Note that in PHP the switch statement is considered a looping structure for the purposes of continue.

Note: Note that unlike some other languages, the continue statement applies to switch and acts similar to break. If you have a switch inside a loop and wish to continue to the next iteration of the outer loop, use continue 2.

原来, 如果要达到C语言那样的效果, 必须使用”continue 2(继续二)”, PHP也太二了吧! 这个陷阱如果不留意, 很容易就陷进去了. 顺便说一句, 没有goto有时极大降低效率.

你现在看的文章是: PHP的continue 2

Linode VPS - 美国虚拟主机 | IT牛人博客聚合网站

PHP查询MySQL大量数据的内存占用分析

ideawu — Thu, 24 Feb 2011 02:34:12 +0000

这篇文章主要是从原理, 手册和源码分析在PHP中查询MySQL返回大量结果时, 内存占用的问题, 同时对使用MySQL C API也有涉及.

昨天, 有同事在PHP讨论群里提到, 他做的一个项目由于MySQL查询返回的结果太多(达10万条), 从而导致PHP内存不够用. 所以, 他问, 在执行下面的代码遍历返回的MySQL结果之前, 数据是否已经在内存中了? -

while ($row = mysql_fetch_assoc($result)) {
    // ...
}

当然, 这种问题有许多优化的方法. 不过, 就这个问题来讲, 我首先想到, MySQL是经典的C/S(Client/Server, 客户端/服务器)模型, 在遍历结果集之前, 底层的实现可能已经把所有的数据通过网络(假设使用TCP/IP)读到了Client的缓冲区, 也有另一种可能, 就是数据还在Server端的发送缓冲区里, 并没有传给Client.

在查看PHP和MySQL的源码之前, 我注意到PHP手册里有两个功能相近的函数:

mysql_query()
mysql_unbuffered_query()

两个函数的字面意思和说明证实了我的想法, 前一个函数执行时, 会把所有的结果集从Server端读到Client端的缓冲区中, 而后一个则没有, 这就是”unbuffered(未缓冲)”的意思.

那就是说, 如果用mysql_unbuffered_query()执行了一条返回大量结果集的SQL语句, 在遍历结果之前, PHP的内存是没有被结果集占用的. 而用mysql_query()来执行同样的语句的话, 函数返回时, PHP的内存占用便会急剧增加, 立即耗光内存.

如果阅读PHP的相关代码, 可以看到这两个函数的实现上的异同:

/* {{{ proto resource mysql_query(string query [, int link_identifier])
   Sends an SQL query to MySQL */
PHP_FUNCTION(mysql_query)
{
    php_mysql_do_query(INTERNAL_FUNCTION_PARAM_PASSTHRU, MYSQL_STORE_RESULT);
}
/* }}} */

/* {{{ proto resource mysql_unbuffered_query(string query [, int link_identifier])
   Sends an SQL query to MySQL, without fetching and buffering the result rows */
PHP_FUNCTION(mysql_unbuffered_query)
{
    php_mysql_do_query(INTERNAL_FUNCTION_PARAM_PASSTHRU, MYSQL_USE_RESULT);
}
/* }}} */

两个函数都调用了php_mysql_do_query(), 只差了第2个参数的不同, MYSQL_STORE_RESULT和MYSQL_USE_RESULT. 再看php_mysql_do_query()的实现:

if(use_store == MYSQL_USE_RESULT) {
    mysql_result=mysql_use_result(&mysql->conn);
} else {
    mysql_result=mysql_store_result(&mysql->conn);
}

mysql_use_result()和mysql_store_result()是MySQL的C API函数, 这两个C API函数的区别就是后者把结果集从MySQL Server端全部读取到了Client端, 前者只是读取了结果集的元信息.

回到PHP, 使用mysql_unbuffered_query(), 可以避免内存的立即占用. 如果在遍历的过程不对结果进行”PHP缓存”(如放到某数组中), 则整个执行过程虽然操作了十万条或者百万条或者更多的数据, 但PHP占用的内存始终是非常小的.

你现在看的文章是: PHP查询MySQL大量数据的内存占用分析

Linode VPS - 美国虚拟主机 | IT牛人博客聚合网站

30个使用大背景图的酷站

ideawu — Fri, 12 Nov 2010 01:32:05 +0000

选一个好的背景图对于设计来说永远不会错. 对于网站设计来说, 也是如此, 因为网站设计很大一部分是图片设计. 好的背景图可以立即吸引访问者的目光, 背景图也能决定网站的风格和色调, 甚至是定位.

Campanino Golf Club

Raven at Lora Bay

Old Loft

查看全部30个酷站的设计 >>

图片来自: 1stwebdesigner.com

你现在看的文章是: 30个使用大背景图的酷站

Linode VPS - 美国虚拟主机 | IT牛人博客聚合网站

lighttpd配置HTTPS(SSL)

ideawu — Fri, 29 Oct 2010 02:45:18 +0000

1. 创建SSL证书

openssl req -new -x509 \
-keyout ideawu.net.pem -out ideawu.net.pem \
-days 99365 -nodes

把 ideawu.net.pem 拷贝到 /home/work/lighttpd-1.5/conf/

2. lighttpd配置

$SERVER["socket"] == ":443" {
    $HTTP["host"] == "ideawu.net" {
        ssl.engine = "enable"
        ssl.pemfile = "/home/work/lighttpd-1.5/conf/ideawu.net.pem"
    }
}

3. 访问:

https://localhost:443

4. API和工具使用:

wget –no-check-certificate https://localhost:443

curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);

补充: Apache HTTPS
openssl genrsa 1024 > server.key
openssl req -new -key server.key > server.csr
openssl req -x509 -days 99365 -key server.key -in server.csr > server.crt

你现在看的文章是: lighttpd配置HTTPS(SSL)

Linode VPS - 美国虚拟主机 | IT牛人博客聚合网站

tableview新增单选功能

ideawu — Sat, 23 Oct 2010 08:49:24 +0000

根据用户反馈的功能需求, tableview 现新增了单选功能, 用于限制只能选择最多一行记录.

tableview 是一组功能丰富, 接口易学易用的 javascript 控件, 包括数据表格控件, 排序控件, 分页控件, 双栏选择控件. 下载及文档: http://www.ideawu.net/person/tableview/

你现在看的文章是: tableview新增单选功能

Linode VPS - 美国虚拟主机 | IT牛人博客聚合网站

Wordpress评论转义HTML标签

ideawu — Tue, 22 Jun 2010 05:54:47 +0000

把这段代码放到 theme 里的 functions.php 文件:

function theme_pre_comment_post( $c) {
	$c['comment_content'] = htmlspecialchars($c['comment_content']);
	return $c;
}
add_filter( 'preprocess_comment', 'theme_pre_comment_post', '', 1);

你现在看的文章是: Wordpress评论转义HTML标签

Linode VPS - 美国虚拟主机 | IT牛人博客聚合网站

HTTP POST using PHP cURL

ideawu — Mon, 21 Jun 2010 06:44:40 +0000

function http_post($url, $data){
	$ch = curl_init($url) ;
	curl_setopt($ch, CURLOPT_POST, 1) ;
	curl_setopt($ch, CURLOPT_POSTFIELDS, $data);
	curl_setopt($ch, CURLOPT_HEADER, 0);
	curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1) ;
	$result = curl_exec($ch) ;
	curl_close($ch) ;

	return $result;
}

function http_get($url){
	$ch = curl_init($url) ;
	curl_setopt($ch, CURLOPT_HEADER, 0);
	curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1) ;
	$result = curl_exec($ch) ;
	curl_close($ch) ;

	return $result;
}

获取 HTTP 请求的首部:

curl_setopt($ch, CURLINFO_HEADER_OUT, true);
$result = curl_exec($ch) ;
echo curl_getinfo($ch, CURLINFO_HEADER_OUT);

你现在看的文章是: HTTP POST using PHP cURL

Linode VPS - 美国虚拟主机 | IT牛人博客聚合网站

PHP解析HTML和loadHTML乱码

ideawu — Wed, 19 May 2010 05:44:57 +0000

为了对 RSS 输出的博客文章进行重新格式化, 比如去掉过于花哨的样式, 去除 JavaScript 脚本代码, 去除 onclick 等, 所以写了相关的 PHP 代码, 使用 DOM 模块.

1. 乱码解决

毫无疑问, 一上来就遇到了乱码问题, 虽然我已经按文档所述, 所有的字符使用 UTF-8 编码:

$html = '你好';
$dom = new DOMDocument();
@$dom->loadHTML($html);
echo $dom->documentElement->nodeValue;

但是, 如果改成:

$html = '你好';
$dom = new DOMDocument();
@$dom->loadXML($html);
echo $dom->documentElement->nodeValue;

就没有问题. 后来才发现, 原来 loadHTML 会依赖 HTML 中的声明 meta 标签. 如果没有这样的标签, 就当作 iso-8859-1 字符集, 所以乱码. 要解决, 就给字符串加上这样的一个标签在头部:

$meta = '';
@$dom->loadHTML($meta . $html);

2. 递归

HTML/XML 是递归结构, 所以一定会递归遍历:

function _pretty_html_node($node){
	// 递归终止条件
	// 1. XML_TEXT_NODE
	// 2. XML_ELEMENT_NODE
	// 3. 没有子节点

	foreach($node->childNodes as $n){
		$child_text .= _pretty_html_node($n);
	}

	// 然后对不同的标签做不同的处理
	switch($tag){
		case 'a':
			$href = $node->getAttribute('href');
			$text .= "$child_text";
		...
	}

	return $text;
}

3. 转义字符处理

对于文本节点, 其 nodeValue 要经过 htmlspeciachars() 转义. 因为读取 HTML/XML 时, 会对文本进行反转义, 比如 > 在内存中已经是 >了.

下载源码: pretty_html.php

你现在看的文章是: PHP解析HTML和loadHTML乱码

Linode VPS - 美国虚拟主机 | IT牛人博客聚合网站

tableview新版本发布

ideawu — Wed, 12 May 2010 14:16:46 +0000

tableview 即原来的 two-column-selector, 在升级为 1.1 版本时, 它的项目名称变为 tableview. 1.1 版本最大的变化是加入了排序功能.

在网页开发中, 常常需要一个表格与列表相结合的控件, 即能像表格(table)一样显示丰富的信息, 又能像列表选择控件(select)一样方便地选择数据. 在桌面应用程序开发中, 许多GUI库都提供了类似的控件, 如.Net的ListView.

PagerView是一个好看精巧的分页控件. PagerView+TableView为网页开发提供了类似的工具, 但代码更简单, 功能更紧凑.
SortView是一个方便易用的分页控件.
TableView是一个数据表格控件, 代码简单, 功能紧凑.
SelectorView是一个由两个TableView组合而成的控件, 相对于列表选择器, 提供了一个临时的存放已选中项的地方.

下载及文档: http://www.ideawu.net/person/tableview/v1.1/

你现在看的文章是: tableview新版本发布

Linode VPS - 美国虚拟主机 | IT牛人博客聚合网站

开发搜索引擎 – PHP中文分词

ideawu — Fri, 07 May 2010 00:30:07 +0000

对于中文搜索引擎来说, 中文分词是整个系统最基础的部分之一, 因为目前基于单字的中文搜索算法并不是太好. 当然, 本文不是要对中文搜索引擎做研究, 而是分享如果用 PHP 做一个站内搜索引擎. 本文是这个系统中的一篇.

我使用的分词工具是中科院计算所的开源版本的 ICTCLAS. 另外还有开源的 Bamboo, 我随后也会对该工具进行调研.

从 ICTCLAS 出发是个不错的选择, 因为其算法传播比较广泛, 有公开的学术文档, 并且编译简单, 库依赖少. 但目前只提供了 C/C++, Java 和 C# 版本的代码, 并没有 PHP 版本的代码. 怎么办呢? 也许可以学习它的 C/C++ 源码和学术文档中, 然后再开发一个 PHP 版本出来. 不过, 我要使用进程间通信, 在 PHP 代码里调用 C/C++ 版本的可执行文件.

下载源码解压后, 在有 C++ 开发库和编译环境的机器上直接 make ictclas 即可. 它的 Makefile 脚本有个错误, 执行测试的代码没有加上’./’, 当然不能像 Windows 下执行成功了. 但也不影响编译结果.

进行中文分词的 PHP 类就在下面了, 用 proc_open() 函数来执行分词程序, 并通过管道和其交互, 输入要进行分词的文本, 读取分词结果.

 array("pipe", "r"),
           1 => array("pipe", "w"),
        );
        $cmd = self::$cmd_path . "/ictclas";
        $process = proc_open($cmd, $descriptorspec, $pipes);

        if (is_resource($process)) {
            $str = iconv('utf-8', 'gbk', $str);
            fwrite($pipes[0], $str);
            $output = stream_get_contents($pipes[1]);

            fclose($pipes[0]);
            fclose($pipes[1]);

            $return_value = proc_close($process);
        }

        /*
        $cmd = "printf '$input' | " . self::$cmd_path . "/ictclas";
        exec($cmd, $output, $ret);
        $output = join("\n", $output);
        */

        $output = trim($output);
        $output = iconv('gbk', 'utf-8', $output);

        return $output;
    }

    /**
     * 进行分词, 返回词语列表.
     */
    function tokenize($str){
        $tokens = array();

        $output = self::cmd($input);
        if($output){
            $ps = preg_split('/\s+/', $output);
            foreach($ps as $p){
                list($seg, $tag) = explode('/', $p);
                $item = array(
                    'seg' => $seg,
                    'tag' => $tag,
                    );
                $tokens[] = $item;
            }
        }

        return $tokens;
    }
}
NLP::set_cmd_path(dirname(__FILE__));
?>

使用起来很简单(确保 ICTCLAS 编译后的可执行文件和词典在当前目录):

下一步将结合 ZendFramework 的 Zend_Search_Lucene 模块来做一个可以运行的中文搜索系统了!

你现在看的文章是: 开发搜索引擎 – PHP中文分词

Linode VPS - 美国虚拟主机 | IT牛人博客聚合网站

链接包含”%2F”导致mod_rewrite失效

ideawu — Wed, 05 May 2010 02:05:09 +0000

IT牛人博客聚合网站(www.udpwork.com)用到了 Apache 的 mod_rewrite 模块进行 URL 重写. 但是, 在使用过程中曾经出现过一个比较诡异的问题. 开始认为是重写规则设置得不对, 后来才发现, 是”%2F”导致 Apache 直接返回 404 错误.

比如浏览查看某个标签下的文章列表的链接为


http://www.udpwork.com/tag/Linux

在重写之前的链接是


http://www.udpwork.com/?tag=Linux

在 PHP 脚本中用如下代码重写 URL

$url = '/tag/' . urlencode($tag);

相应的 Apache mod_rewrite 配置为

RewriteCond  %{REQUEST_URI}  ^/tag/.*$
RewriteRule  ^/tag/(.*)$  ?tag=$1  [L]

不过, 当 tag 中包含斜杠’/'时, 出现了问题, 服务器提示”404 – Not Found”. 比如 tag 是 Unix/Linux, 生成的链接是


http://www.udpwork.com/tag/Unix%2FLinux

斜杠’/'被转义成’%2F’, 那么最终的还原后的链接应该是


http://www.udpwork.com/?tag=Unix%2FLinux

直接访问这个未重写过的 URL, 是完全正常的. 但 Apache 一直报 404 错误. 后来才发现, 原来 Apache 有一个配置项”AllowEncodedSlashes“, 默认是”Off”, 也就是不允许请求路径(上例是 /tag/Unix%2FLinux)中包含编码后的斜杠’/'(在某些平台是反斜杠’\'). 这个选项的的相应代码在 mod_rewrite 模块被执行之前

// request.c
AP_DECLARE(int) ap_process_request_internal(request_rec *r){
	if (d->allow_encoded_slashes) {
		access_status = ap_unescape_url_keep2f(r->parsed_uri.path);
	} else {
		access_status = ap_unescape_url(r->parsed_uri.path);
	}
}

// util.c
AP_DECLARE(int) ap_unescape_url(char *url){
	if (IS_SLASH(*x) || *x == '\0')
		badpath = 1;
	...
	else if (badpath)
		return HTTP_NOT_FOUND;
}

默认不允许包含”%2F”. 如果请求路径中包含了, 那么 ap_unescape_url() 函数认为是无效的路径, 直接返回 HTTP_NOT_FOUND, 最终浏览器得到的是”404 – Not Found”出错页面. 当然可以通过修改 Apache 配置来解决这个问题, 不过, 在 PHP 脚本中解决更通用

$url = '/tag/' . urlencode(str_replace('/', '%2F', $tag));

这样, 斜杠被两次转义, 变为”/tag/Unix%252FLinux”. Apache 接收到请求后, 进行一次解码, 得到”/tag/Unix%2FLinux”, 以参数”tag=Unix%2FLinux”交给 PHP 脚本处理, PHP 自己再将请求参数进行一次解码, $_GET['tag'] 的值就是”Unix/Linux”了.

你现在看的文章是: 链接包含”%2F”导致mod_rewrite失效

Linode VPS - 美国虚拟主机 | IT牛人博客聚合网站

idea's blog » Web

PHP重用curl句柄, CURLOPT_HTTPGET的BUG

Related posts:

PHP浮点数显示和转成字符串

Related posts:

Apache用mod_rewrite配置子域名

Related posts:

强大的纯JS数据图工具-flot

Related posts:

获取动态加载的图片大小的正确方法

(错误)在添加了HTML之后立即调用代码获取尺寸

(错误)用jQuery的load()事件处理

正确的方法

Related posts:

关系数据库应用设计基础

Related posts:

jQuery延时绑定事件(lazy-bind)

Related posts:

高性能并发Web服务器实现核心内幕

Related posts:

史上最强大的PHP Web面试题(会做就能进百度)

Related posts:

PHP的continue 2

Related posts:

PHP查询MySQL大量数据的内存占用分析

Related posts:

30个使用大背景图的酷站

Campanino Golf Club

Raven at Lora Bay

Old Loft

Related posts:

lighttpd配置HTTPS(SSL)

Related posts:

tableview新增单选功能

Related posts:

Wordpress评论转义HTML标签

Related posts:

HTTP POST using PHP cURL

Related posts:

PHP解析HTML和loadHTML乱码

1. 乱码解决

2. 递归

3. 转义字符处理

Related posts:

tableview新版本发布

Related posts:

开发搜索引擎 – PHP中文分词

Related posts:

链接包含”%2F”导致mod_rewrite失效

Related posts: