在你的主页中为Web Robot设计路标

 更新时间:2016年9月20日 19:03  点击:2026

  Internet越来越酷,WWW的知名度如日中天。在Internet上发布公司信息、进行电子商 务已经从时髦演化成时尚。作为一个Web Master,你可能对HTML、Javascript、Java、 ActiveX了如指掌,但你是否知道什么是Web Robot?你是否知道Web Robot和你所设 计的主页有什么关系? 
Internet上的流浪汉--- Web Robot 

  有时你会莫名其妙地发现你的主页的内容在一个搜索引擎中被索引,即使你从未与他 们有过任何联系。其实这正是Web Robot的功劳。Web Robot其实是一些程序,它可以 穿越大量Internet网址的超文本结构,递归地检索网络站点所有的内容。这些程序有时 被叫 “蜘蛛(Spider)” , “网上流浪汉(Web Wanderer)”,“网络蠕虫(web worms)”或Web crawler。一些Internet网上知名的搜索引擎站点(Search Engines)都 有专门的Web Robot程序来完成信息的采集,例如Lycos,Webcrawler,Altavista等,以 及中文搜索引擎站点例如北极星,网易,GOYOYO等。 

  Web Robot就象一个不速之客,不管你是否在意,它都会忠于自己主人的职责,任劳 任怨、不知疲倦地奔波于万维网的空间,当然也会光临你的主页,检索主页内容并生 成它所需要的记录格式。或许有的主页内容你乐于世人皆知,但有的内容你却不愿被 洞察、索引。难道你就只能任其“横行”于自己主页空间,能否指挥和控制Web Robot的行踪呢?答案当然是肯定的。只要你阅读了本篇的下文,就可以象一个交通 警察一样,布置下一个个路标,告诉Web Robot应该怎么去检索你的主页,哪些可以 检索,哪些不可以访问。 

  其实Web Robot能听懂你的话 

  不要以为Web Robot是毫无组织,毫无管束地乱跑。很多Web Robot软件给网络站点的 管理员或网页内容制作者提供了两种方法来限制Web Robot的行踪: 

  1、Robots Exclusion Protocol 协议 

  网络站点的管理员可以在站点上建立一个专门格式的文件,来指出站点上的哪一部分 可以被robot访问, 这个文件放在站点的根目录下,即http://.../robots.txt. 

  2、Robots META tag 

  一个网页作者可以使用专门的HTML META tag ,来指出某一个网页是否可以被索 引、分析或链接。 

  这些方法适合于大多数的Web Robot,至于是否在软件中实施了这些方法,还依赖于 Robot的开发者,并非可以保证对任何Robot都灵验。如果你迫切需要保护自己内容, 则应考虑采用诸如增加密码等其他保护方法。 

  使用Robots Exclusion Protocol协议 

  当Robot访问一个 Web 站点时,比如http://www.sti.net.cn/,它先去检查文件http: //www.sti.net.cn/robots.txt。如果这个文件存在,它便会按照这样的记录格式去分析: 

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/


  以确定它是否应该检索站点的文件。这些记录是专门给Web Robot看的,一般的浏览 者大概永远不会看到这个文件,所以千万不要异想天开地在里面加入形似<img src=http:///htmldata/2005-05-16/*> 类的HTML语句或是“How do you do? where are you from?”之类假情假意的问候语。 

  在一个站点上只能有一个 "/robots.txt" 文件,而且文件名的每个字母要求全部是小 写。在Robot的记录格式中每一个单独的"Disallow" 行表示你不希望Robot访问的URL, 每个URL必须单独占一行,不能出现 "Disallow: /cgi-bin/ /tmp/"这样的病句。同时在一个 记录中不能出现空行,这是因为空行是多个记录分割的标志。 

  User-agent行指出的是Robot或其他代理的名称。在User-agent行,'*' 表示一个特殊的含 义---所有的robot。 

  下面是几个robot.txt的例子: 

  在整个服务器上拒绝所有的robots: 
User-agent: *
Disallow: / 

几乎每天在脚本技术领域都会出现新的技术并流行,脚本技术引进了新的规则,并可使人突发 奇想而改变以往已有事物的名称。一时间,一种你称之为技术而其他人却不了解,反之亦然,其他人称之为技术而你却知之甚少,甚至在两种情况下,你们指的是同一件事情。

  本文的目的只是力图对大量的基于脚本的技术名称和缩写词作一指点。去年,这些名称已作了一些改变。同样地,一些技术已由初始阶段发展得更为成熟和完善,有的则略微有了些改变,但却仍旧沿用原来的名称(因此现在看来有点混乱)。但是当你读完本文,所有事情都会清楚了。按顺序排列,请看下文:

  Dynamic HTML (DHTML) DHTML Scriptlets XML XML Scriptlets IE 5.0 Behaviors HTML Components (HTC) 

  以上这些名称的范围较大,但都是可从Microsoft获得的典型的脚本类技术的名称。 

  动态HTML(Dynamic HTML)

  因为动态HTML(Dynamic HTML)首次出现在Internet Explorer 4.0中,所以它是所有Microsoft脚本 技术的鼻祖。动态HTML(Dynamic HTML)也可归为“A”(代表Active),即现在使用的大量引擎、编程工 具和技术。

  每个web页面都是标记、段落、表单、Windows中的表单元素、帧和表格等的有机组合,想到了 这一点,就会对文档对象模型(Document Object Model)有个粗略的认识。World Wide Web 代理 (W3C)对此所做的标准的说明详细地阐述了web页面中内容的层次及访问的路径。 

  DHTML是一个名称,它通常用于识别一种方式,即IE4,IE5 and Navigator4改变某种模式并用 它来确定当前Web页面的模式。关键是这些模式利用页面本身的代码支持动态的和脚本驱动的web页面的变化。这就为那些编写动态的和交互式应用程序的Web开发者开辟了一条新路。 

  编者按:当W3C发布DOM规则时,它希望两种主要浏览器(IE和Nav)的第五个版本都能按照这个 规则执行他们的DHTML。这样,尽管Nav5适合DOM而IE5不适合,web管理员也更容易创建两种浏览器都兼容的Web页面,而不是象目前这样在IE4/Nav4浏览器中要用不同的方式执行DHTML。 

  动态HTML脚本组件(DHTML Scriptlets) 

  DHTML支持在一个web页面中组织各种不同类型的内容以达到许多特殊效果,利用这些代码,还 可以在多个页面中重复使用这些内容和功能。在这个过程中,通常使用的是“剪切”和“粘贴”,但有时却不需做太多重复工作。 

  例如,粘贴SPANs & IMGs或TABLEs & anchors以创建一个全新的对象,该对象有预设功能和用 户化的参数,或许一个TABLE和the Remote Data Service ActiveX控制元能够使该对象以多种方式显示各项记录。它不是一个新的标记,也不是一个新的二进制ActiveX控件,而是一个基于HTML的可视组件:一个DHTML Scriptlet。 

  一个DHTML Scriptlet是一个HTML页面置入另一个HTML主页,该主页有一主体和一组脚本代码可 独立运作,它还可展示一些性能、方法和内容。一个DHTML Scriptlet通过OBJECT标记置入并由一个 简单的HTML文件提供。如果有用户界面,这种对象就能显示某些特殊功能。但它也可以成为一个简单的、不起眼的商业化对象。 

  最初被简单地称作脚本的组件如今已丧失了许多原有的价值且已不再受人青睐,但要创建组合 HTML控制权,只有用它才可能完成。如果需要一个特殊的可视的HTML组件,该组件是多种标记的组合,那么除了二进制ActiveX控件外,DHTML Scriptlets是唯一的选择。如果不考虑用户界面,或只想要提高单个元素的性能,那么就应该利用其它基于脚本的工具了。 

  XML

  XML是eXtensible Markup Language的缩写,它可为Web应用程序提供一个新的开发范围。XML正成为 一种广泛地应用于在Web间交换数据的编程语言。值得推崇的是,它的结构与HTML相似但更为严谨。XML的重要性在于它是专用于创建新的脚本类的编程语言,这种脚本是由脚本代码组成的真的COM对象。 

  XML Scriptlets 

  如今,XML Scriptlets是一个令人困惑的问题,而它们的初始名Server Scriptlets则更另人费解。从Server到XML有一个很大的飞跃,但原来的名称更易于理解: 

  1、他们象服务器一样工作。 

  在以IIS做web server时,有些中文名的文件会出现无法下载的情况。

  个人测试结果:文件名为2个、4个中文字时无法下载,而1个、3个、5个时没有问题,其他情况未做测试。

  测试环境:英文版windows 2000+IIS 5.0

  有两种方法可以解决此问题:

  1、在Web服务器端修改注册表,HKEY_LOCAL_MACHINESYSTEMCurrentControlSetservicesINETINFO_PARAMETERSFAVORDBCS 把1改成0,之后重新启动IIS即可。(如果此值已经是0,应该不会出现上述问题)

  2、在客户端修改IE设置 把“总是以UTF-8发送URL”设置为不选中。(最好采用第一种方案,否则不会为每个访问者都去设置一下吧)




  那什么是相对路径?什么是绝对路径呢?为什么使用了绝对路径有时就不能显示呢?让我们一起来认识一下它们吧。

  比如C盘的My Pictures目录下有一个tp.jpg图像,那么它的路径就是c:My picturestp.jpg,其实这种完整地描述文件位置的路径就是绝对路径。如网页index.htm中有一张图片tp.jpg,它们的绝对路径是:

  c:My picturesindex.htm

  c:My picturestp.jpg

  如果你使用了绝对路径c:My picturestp.jpg进行图片链接,那么在本地电脑中将一切正常,因为在c:My pictures下的确存在tp.jpg这个图片。但你将它们上传到网站服务器上后,就不会正常了,因为服务器给你划分的存放空间可能在C盘其他目录中,也可能在D盘其他目录中,总之不会那么巧的就是c:My pictures。那么图片路径应该如何设置呢?这里就必须使用相对路径了,所谓相对路径,顾名思义就是自己相对与目标位置。在上例中index.htm中连接的tp.jpg就可以使用My picturestp.jpg来定位文件,这样不论将这些文件放到哪里,只要它们的相对关系没有变,就不会出错。具体的链接方式是这样的:“..My picturesimg.jpg”,其中使用“..”来表示上一级目录,“....”表示上上级的目录,以此类推。

  我们一起来看看初学的朋友可能犯的几个路径错误:

例1

  c:mywedwedindex.htm

  c:mywedimgtp.jpg

  在此例中,index.htm网页中有tp.jpg这个图片,因为两个文件同在Mywed目录下,所以初学者可能把图片链接写为imgtp.jpg,那么这样实际的链接就变为了C:mywedwedimgtp.jpg,显然这是不正确的。正确的路径应该是相对路径..imgtp.jpg。

例2

  c:mywedwedwed1index.htm

  c:mywedimgimg1tp.jpg

  在此例中,index.htm网页中有tp.jpg这个图片,初学者可能错误的把图片链接写为..imgimg1tp.jpg,那么这样转为绝对路径就是C:mywedwedimgimg1tp.jpg了,因为在该目录下并没有此文件,所以显然这种链接是错误的。正确的应该是....imgimg1tp.jpg。

例3

  c:mywedwedwedindex.htm

  c:mywedwedimgtp.jpg

  在此例中,index.htm网页中有tp.jpg这个图片,初学者可能错误地把图片链接写为....imgtp.jpg,那么这样转为绝对路径就是C:mywedimgtp.jpg了,因为在该目录下并没有此文件,所以显然这种链接是错误的。正确的应该是..imgtp.jpg。

  通过上面三个例子,我们可以看到网页与图片所在目录相同的部分都可以使用“..”进行代替。

  有的读者可能会有这样的疑惑:一个网站有许多的链接,我怎么能保证它们的连接都正确,如果我调整了一下图片或网页的存储路径,那不是全乱了么?为了提高工作效率,我们推荐大家使用Dreamweaver进行网站编辑,因为它有个站点管理功能,使用该功能绝对路径可以自动地转化为相对路径,并且当你在站点中改动文件路径时,与这些文件关联的连接路径都会自动更改,实在是方便极了!


<    为增强大家对网页播放技术的感性认识,同时更为激发学习网页播放技术的浓厚兴趣,特首先向大家介绍网页播放技术的若干特效,简单而实用,希望能对读者有所帮助或启发。

    虽然说是特效,但实际上几乎所有的人都很容易上手,因为通过单纯的“文本文件”编辑即可实现目的。

    WMP 类媒体播放

    1、改变媒体信息。就是将媒体文件在播放时显示的诸如名字、表演者及版权等媒体信息一一改变成“自己”的。不是一种真正的改变,实为障眼法。请点击播放键观看效果 。

    代码如下:

SyntaxHighlighter.highlight();

[!--infotagslink--]

相关文章

  • photoshop设计一幅大鱼海棠动画片海报制作实例教程

    今天小编在这里就来给各位photoshop的这一款软件的使用者们来说一说设计一幅大鱼海棠动画片海报制作的实例教程,各位想知道具体制作步骤的使用者们,那么各位就快来看看...2016-09-14
  • Springboot如何实现Web系统License授权认证

    这篇文章主要介绍了Springboot如何实现Web系统License授权认证,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下...2020-05-28
  • C#使用Http Post方式传递Json数据字符串调用Web Service

    这篇文章主要为大家详细介绍了C#使用Http Post方式传递Json数据字符串调用Web Service,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2020-06-25
  • ps怎么制作倒影 ps设计倒影的方法

    ps软件是一款非常不错的图片处理软件,有着非常不错的使用效果。这次文章要给大家介绍的是ps怎么制作倒影,一起来看看设计倒影的方法。 用ps怎么做倒影最终效果&#819...2017-07-06
  • C语言程序设计第五版谭浩强课后答案(第二章答案)

    这篇文章主要介绍了C语言程序设计第五版谭浩强课后答案(第二章答案),小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧...2021-04-02
  • Photoshop设计商务名片的5种常见思路分享

    今天小编在这里就来给Photoshop的这一款软件的使用者们来说下计商务名片的5种常见思路,各位想知道的使用者,那么下面就快来跟着小编一起看一看吧。 给各位Photosho...2016-09-14
  • InterlliJ IDEA2020新建java web项目找不到Static Web的解决

    这篇文章主要介绍了InterlliJ IDEA2020新建java web项目找不到Static Web的解决,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2020-09-02
  • 详解在IDEA中将Echarts引入web两种方式(使用js文件和maven的依赖导入)

    这篇文章主要介绍了在IDEA中将Echarts引入web两种方式(使用js文件和maven的依赖导入),本文通过图文并茂的形式给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2020-07-11
  • jQuery mobile 移动web(6)

    这篇文章主要介绍了jQuery mobile 移动web(6)的相关资料,需要的朋友可以参考下...2015-12-21
  • WPF实现类似360安全卫士界面的程序源码分享

    最近在网上看到了新版的360安全卫士,感觉界面还不错,于是用WPF制作了一个,时间有限,一些具体的控件没有制作,用图片代替了。感兴趣的朋友一起跟着小编学习WPF实现类似360安全卫士界面的程序源码分享...2020-06-25
  • photoshop安卓和苹果界面设计之尺寸规范详解

    今天小编在这里就来给各位photoshop的这一款软件的使用者们来说下安卓和苹果的界面设计之尺寸规范,各位想知道的使用者们,那么下面就快来跟着小编一起看看吧。 给...2016-09-14
  • photoshop设计重影效果具体制作教程

    今天小编在这里就来给各位photoshop的这一款软件的使用者们来说一说设计重影效果具体的制作教程,各位想知道具体制作方法的软件使用者们,那么大家就来看下小编带来的教...2016-09-14
  • Illustrator结合photoshop设计可爱的卡通女厨师头像制作教程

    今天小编在这里就来给Illustrator的这一款软件的使用者们来说一说结合photoshop设计可爱的卡通女厨师头像的制作教程,各位想知道具体制作步骤的使用者们,那么下面就快来...2016-09-14
  • PS怎么设计T恤 PS制作T恤教程

    PS怎么设计T恤?很多人都想要在T恤上有自己喜欢的图案,那么自己设计T恤的图案是方法之一,本次为大家带来了详细的ps设计T恤教程,有兴趣的同学快来看看吧。 1、打开PS,新...2016-12-31
  • jQuery UI结合Ajax创建可定制的Web界面

    这篇文章主要为大家详细介绍了jQuery UI结合Ajax创建可定制的Web界面,如何利用Ajax和jQuery UI创建具有各种定制功能的高度可定制的UI,感兴趣的小伙伴们可以参考一下...2016-06-24
  • photoshop设计一张节约用水环保主题海报制作教程

    今天小编在这里就来给photoshop的这一款软件的使用者们来详细的说说设计一张节约用水环保主题海报的制作教程,各位想知道具体制作方法的使用者们,那么下面就快来跟着小...2016-09-14
  • Microsoft Expression Web 简体中文正式版 官方下载地址

    Microsoft Expression Web 简体中文正式版相对于早期的 Microsoft Expression Web Designer CTP1(英文)除了它是正式的中文版外,有进步的地方1.对标签的id名称加上了css的代...2020-06-25
  • Tomcat首次部署web项目流程图解

    这篇文章主要介绍了Tomcat首次部署web项目流程图解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下...2020-12-11
  • web项目开发之JS函数防抖与节流示例代码

    这篇文章主要介绍了web项目开发之JS函数防抖与节流实现的示例代码及原理解析,有需要的朋友可以借鉴参考下,希望能够有所帮助...2021-09-24
  • Web制作验证码功能实例代码

    web开发中,经常会使用验证码功能,例如登录、注册,或其他关键功能之前经常会使用。下面通过实例代码给大家介绍Web制作验证码功能实例代码,感兴趣的朋友一起看看吧...2017-06-24