※ 引述《jonas (Jonas!Jo!)》之銘言：
: J大的列表真是太好用了
: 不過想請教一下
: 關於一些MOD官網未建好目錄路徑的影片
: 例如:電影199裡的新天堂樂園
: http://mod.cht.com.tw/video/movie-details.php?id=386003
: 電影199 龍紋身的女孩
: http://mod.cht.com.tw/video/movie-details.php?id=452694
: 電影199 紅色情深 經典數位修復
: http://mod.cht.com.tw/video/movie-details.php?id=417886
: 等等 族繁不及備載
: 不知道J大是否也有辦法用程式抓取列表呢？
: 或是量會太大？
: 或許可以懇請J大設一頁工作表來放這些迷失的名片
: 因為機上盒雖然找得到，但是要找出哪些片即將下片實在太費時了
: 光是有片名跟下片日期，即使沒有路徑幫助也很大了，
: MOD官網不知為何 比方說驚悚類的就漏建路徑十來片
: 好萊塢199的影集更是幾乎全都漏...Orz
: 個人小小發現，如不方便也感謝J大，畢竟是MOD官網的問題...
: 謝謝撥冗閱讀^^
官網目前資料有點奇怪, 以前電影199大概都能抓到1400筆左右的資料, 等官網修正吧.
以下簡介一下目前爬蟲的機制, 以電影199來舉例,
1. 首先會進入
http://mod.cht.com.tw/video/set_monthly.php?id=1
2. 抓取每個標題連結, 例如
本週上架 http://mod.cht.com.tw/video/set-type.php?id=73
熱門排行 http://mod.cht.com.tw/video/set-type.php?id=74
音樂電影 http://mod.cht.com.tw/video/set-type.php?id=75
劇情 http://mod.cht.com.tw/video/set-type.php?id=76
...
3. 再進入每個標題(例如本週上架), 抓取每個影片連結, 例如
柯羅索巨獸 http://mod.cht.com.tw/video/movie-details.php?id=459269
蠟筆小新電影 http://mod.cht.com.tw/video/movie-details.php?id=459257
恐龍尤物 http://mod.cht.com.tw/video/movie-details.php?id=459443
唱吧！奇蹟！ http://mod.cht.com.tw/video/movie-details.php?id=459271
...
4. 最後進入每個影片連結, 抓取相關資料(片名, 多螢, 路徑, 下片日期, 簡介...)
所以如果無法透過以上方式進入的影片, 將無法抓取.
另外影集的問題, 舉個例子
http://mod.cht.com.tw/video/drama-details.php?id=448866
當步驟4進入此影片的連結後, 目前只會抓取現存的影片資料, 也就是
[Poli波力S2第1-2話]
, 其他集數不會進去抓取資料, 我有嘗試過修改程式進去抓取資料, 可是會遇到三個問題
, 第一個遇到的是官網資料混亂的問題, 例如
http://mod.cht.com.tw/video/drama-details.php?id=458921
http://mod.cht.com.tw/video/drama-details.php?id=460533
...
裡面集數非常混亂, 且包含許多錯誤的影片, 很多卡通199的影集都有類似的問題,
第二個問題是資料龐大, 如果將每個集數都抓出來的話, 卡通199-兒童 的資料量就會從
目
前的88筆暴漲到4400筆左右.
由於怕資料量太大官網擋掉, 目前爬蟲大概是接近每0.7秒抓一個影片資料, 每天大概會
抓
二到三次, 如果資料量太大, 花費時間會過多.
第三個是google試算表的排序問題, 一般正常人的觀點, 排續集數的時候, 大概是這樣
火影第1集
火影第2集
火影第3集
火影第4集
火影第10集
火影第11集
火影第12集
火影第20集
火影第21集
火影第22集
火影第99集
火影第100集
火影第101集
但是google試算表排序的是
火影第1集
火影第10集
火影第100集
火影第101集
火影第11集
火影第12集
火影第2集
火影第20集
火影第21集
火影第22集
火影第3集
火影第4集
當然, 對sort下一些參數可以改善排序, 但始終沒找到一個適用全部影集的方式, 都
只能改善部分影集.
以上三個問題, 讓我目前暫時放棄抓影集的資訊.
--
: J大的列表真是太好用了
: 不過想請教一下
: 關於一些MOD官網未建好目錄路徑的影片
: 例如:電影199裡的新天堂樂園
: http://mod.cht.com.tw/video/movie-details.php?id=386003
: 電影199 龍紋身的女孩
: http://mod.cht.com.tw/video/movie-details.php?id=452694
: 電影199 紅色情深 經典數位修復
: http://mod.cht.com.tw/video/movie-details.php?id=417886
: 等等 族繁不及備載
: 不知道J大是否也有辦法用程式抓取列表呢？
: 或是量會太大？
: 或許可以懇請J大設一頁工作表來放這些迷失的名片
: 因為機上盒雖然找得到，但是要找出哪些片即將下片實在太費時了
: 光是有片名跟下片日期，即使沒有路徑幫助也很大了，
: MOD官網不知為何 比方說驚悚類的就漏建路徑十來片
: 好萊塢199的影集更是幾乎全都漏...Orz
: 個人小小發現，如不方便也感謝J大，畢竟是MOD官網的問題...
: 謝謝撥冗閱讀^^
官網目前資料有點奇怪, 以前電影199大概都能抓到1400筆左右的資料, 等官網修正吧.
以下簡介一下目前爬蟲的機制, 以電影199來舉例,
1. 首先會進入
http://mod.cht.com.tw/video/set_monthly.php?id=1
2. 抓取每個標題連結, 例如
本週上架 http://mod.cht.com.tw/video/set-type.php?id=73
熱門排行 http://mod.cht.com.tw/video/set-type.php?id=74
音樂電影 http://mod.cht.com.tw/video/set-type.php?id=75
劇情 http://mod.cht.com.tw/video/set-type.php?id=76
...
3. 再進入每個標題(例如本週上架), 抓取每個影片連結, 例如
柯羅索巨獸 http://mod.cht.com.tw/video/movie-details.php?id=459269
蠟筆小新電影 http://mod.cht.com.tw/video/movie-details.php?id=459257
恐龍尤物 http://mod.cht.com.tw/video/movie-details.php?id=459443
唱吧！奇蹟！ http://mod.cht.com.tw/video/movie-details.php?id=459271
...
4. 最後進入每個影片連結, 抓取相關資料(片名, 多螢, 路徑, 下片日期, 簡介...)
所以如果無法透過以上方式進入的影片, 將無法抓取.
另外影集的問題, 舉個例子
http://mod.cht.com.tw/video/drama-details.php?id=448866
當步驟4進入此影片的連結後, 目前只會抓取現存的影片資料, 也就是
[Poli波力S2第1-2話]
, 其他集數不會進去抓取資料, 我有嘗試過修改程式進去抓取資料, 可是會遇到三個問題
, 第一個遇到的是官網資料混亂的問題, 例如
http://mod.cht.com.tw/video/drama-details.php?id=458921
http://mod.cht.com.tw/video/drama-details.php?id=460533
...
裡面集數非常混亂, 且包含許多錯誤的影片, 很多卡通199的影集都有類似的問題,
第二個問題是資料龐大, 如果將每個集數都抓出來的話, 卡通199-兒童 的資料量就會從
目
前的88筆暴漲到4400筆左右.
由於怕資料量太大官網擋掉, 目前爬蟲大概是接近每0.7秒抓一個影片資料, 每天大概會
抓
二到三次, 如果資料量太大, 花費時間會過多.
第三個是google試算表的排序問題, 一般正常人的觀點, 排續集數的時候, 大概是這樣
火影第1集
火影第2集
火影第3集
火影第4集
火影第10集
火影第11集
火影第12集
火影第20集
火影第21集
火影第22集
火影第99集
火影第100集
火影第101集
但是google試算表排序的是
火影第1集
火影第10集
火影第100集
火影第101集
火影第11集
火影第12集
火影第2集
火影第20集
火影第21集
火影第22集
火影第3集
火影第4集
當然, 對sort下一些參數可以改善排序, 但始終沒找到一個適用全部影集的方式, 都
只能改善部分影集.
以上三個問題, 讓我目前暫時放棄抓影集的資訊.
--
All Comments