robots.txt 鬼打牆事件簿

[supermonkey]

為什麼別人的robots.txt都是整齊的列表，我的全都黏在一起？？？我用流覽器看很多網站的robots.txt都是整齊的列表，但是我的並不是。

不管我怎麼試，包括直接下載CNN的robots.txt ，再用FTP上傳，但是用瀏覽器瀏覽時還是一樣全都黏在一起，明明CNN是列表，只是DOWNLOAD又上傳到我的空間，但是為何結果不一樣？？？

請求高手協助，我試2-3個小時，能想到的方法都試了。。。

拜託

圖一是CNN
圖二是我的(是上傳CNN的robots.txt)

我會執著於這個，是因為我用一個測是網站是否正常的網站測是我的網站，他有錯誤提示：
Your robots.txt file Content-type should be text/plain not text/html

我的txt明明就是用windows開的純文字檔
再說，我下載CNN再直接FTP上傳，結果也全都黏在一起，這也無法解釋。。。

[tvirus]

1.BOM?FTP傳輸方式?(請固定用Binary方式丟,或者是...)
2.以HTML方式看TXT,本來就是不會斷行,因為<br>跟\r\n是兩碼子事

[supermonkey]

作者: tvirus

1.BOM?FTP傳輸方式?(請固定用Binary方式丟,或者是...)
2.以HTML方式看TXT,本來就是不會斷行,因為<br>跟\r\n是兩碼子事

1.use global setting的型態上傳。我不知道什麼是BOM，我貼圖上來，煩請看一下
2.請問您有看到上面的附加檔案嗎？用IE、CHROME瀏覽器看時都一樣，所有的大站，如CNN等等，都會自己換行，整齊排列，唯獨我的不會斷行！即使我複製他們的robots.txt上傳至我的空間，還是一樣。

用線上網站測試ROBOTS.TXT，結果顯示：
Your robots.txt file Content-type should be text/plain not text/html (see here).

我測是如CNN等或是一般個人網站，都是通過測試，唯獨我的無法通過。
我用IE、CHROME瀏覽器看他們的ROBOTS.txt也都是有換行，如同上面複的CNN圖片，但是我的全都黏在一起。





附上上次的圖片，同一瀏覽器，上圖是CNN，下圖是我的網站：

[tvirus]

你不如附上你的robots.txt
或者是你網站的robots.txt路徑( hxxp://xxx.xxx.xxx/robots.txt )比較快
附上圖檔,沒啥意義

[carloschen]

用Windows的記事本開啟robots.txt，編輯完成另存新檔，編碼必須為ANSI。
FTP傳輸類型改成二進位檔案試試。

[supermonkey]

作者: carloschen

用Windows的記事本開啟robots.txt，編輯完成另存新檔，編碼必須為ANSI。
FTP傳輸類型改成二進位檔案試試。

我試了，如圖，但是沒有用。
我測試
http://www.pczone.com.tw/robots.txt
也是像CNN在瀏覽器瀏覽下會換行

我用您說的方式，二進位上傳，但是沒有效
我嘗試用CONTROL PANEL的線上檔案管理模式上傳，也沒有用。。。

作者: tvirus

你不如附上你的robots.txt
或者是你網站的robots.txt路徑( hxxp://xxx.xxx.xxx/robots.txt )比較快
附上圖檔,沒啥意義

http://www.babydolls.tk/robots.txt

[tvirus]

這...Apache Mime Type設定的關係?!
你的robots.txt內容確定為一般Unix ASCII格式,跟一般網站的一樣
只是mime type...

[root@xxxx tmp]# wget http://xxxx.xxxx.tw/robots.txt
--2011-06-19 23:00:29--  http://xxxx.xxxx.tw/robots.txt
正在查找主機 xxxx.xxxx.tw... 123.204.OO.OO
正在連接 xxxx.xxxx.tw|123.204.OO.OO|:80... 連上了。
已送出 HTTP 要求，正在等候回應... 200 OK
長度: 348 [text/plain]
Saving to: `robots.txt.2'

100%[======================================>] 348         --.-K/s   in 0s

2011-06-19 23:00:29 (26.8 MB/s) -- 已儲存 ‘robots.txt.2’ [348/348])

[root@xxxx tmp]# wget http://www.babydolls.tk/robots.txt
--2011-06-19 23:00:31--  http://www.babydolls.tk/robots.txt
正在查找主機 www.babydolls.tk... 66.197.192.150
正在連接 www.babydolls.tk|66.197.192.150|:80... 連上了。
已送出 HTTP 要求，正在等候回應... 200 OK
長度: 750 [text/html]
Saving to: `robots.txt.3'

100%[======================================>] 750         --.-K/s   in 0s

2011-06-19 23:00:32 (64.5 MB/s) -- 已儲存 ‘robots.txt.3’ [750/750])

[supermonkey]

作者: tvirus

這...Apache Mime Type設定的關係?!
你的robots.txt內容確定為一般Unix ASCII格式,跟一般網站的一樣
只是mime type...

請問mime type可以自己改嗎？要怎麼改？
還是那是根主機整體設定有關？

謝謝您