MOD電影199清單列表, 按照下片時間排序 - MOD

By Doris
at 2017-09-24T10:24
at 2017-09-24T10:24
Table of Contents
※ 引述《jonas (Jonas!Jo!)》之銘言:
: J大的列表真是太好用了
: 不過想請教一下
: 關於一些MOD官網未建好目錄路徑的影片
: 例如:電影199裡的新天堂樂園
: http://mod.cht.com.tw/video/movie-details.php?id=386003
: 電影199 龍紋身的女孩
: http://mod.cht.com.tw/video/movie-details.php?id=452694
: 電影199 紅色情深 經典數位修復
: http://mod.cht.com.tw/video/movie-details.php?id=417886
: 等等 族繁不及備載
: 不知道J大是否也有辦法用程式抓取列表呢?
: 或是量會太大?
: 或許可以懇請J大設一頁工作表來放這些迷失的名片
: 因為機上盒雖然找得到,但是要找出哪些片即將下片實在太費時了
: 光是有片名跟下片日期,即使沒有路徑幫助也很大了,
: MOD官網不知為何 比方說驚悚類的就漏建路徑十來片
: 好萊塢199的影集更是幾乎全都漏...Orz
: 個人小小發現,如不方便也感謝J大,畢竟是MOD官網的問題...
: 謝謝撥冗閱讀^^
官網目前資料有點奇怪, 以前電影199大概都能抓到1400筆左右的資料, 等官網修正吧.
以下簡介一下目前爬蟲的機制, 以電影199來舉例,
1. 首先會進入
http://mod.cht.com.tw/video/set_monthly.php?id=1
2. 抓取每個標題連結, 例如
本週上架 http://mod.cht.com.tw/video/set-type.php?id=73
熱門排行 http://mod.cht.com.tw/video/set-type.php?id=74
音樂電影 http://mod.cht.com.tw/video/set-type.php?id=75
劇情 http://mod.cht.com.tw/video/set-type.php?id=76
...
3. 再進入每個標題(例如本週上架), 抓取每個影片連結, 例如
柯羅索巨獸 http://mod.cht.com.tw/video/movie-details.php?id=459269
蠟筆小新電影 http://mod.cht.com.tw/video/movie-details.php?id=459257
恐龍尤物 http://mod.cht.com.tw/video/movie-details.php?id=459443
唱吧!奇蹟! http://mod.cht.com.tw/video/movie-details.php?id=459271
...
4. 最後進入每個影片連結, 抓取相關資料(片名, 多螢, 路徑, 下片日期, 簡介...)
所以如果無法透過以上方式進入的影片, 將無法抓取.
另外影集的問題, 舉個例子
http://mod.cht.com.tw/video/drama-details.php?id=448866
當步驟4進入此影片的連結後, 目前只會抓取現存的影片資料, 也就是
[Poli波力S2第1-2話]
, 其他集數不會進去抓取資料, 我有嘗試過修改程式進去抓取資料, 可是會遇到三個問題
, 第一個遇到的是官網資料混亂的問題, 例如
http://mod.cht.com.tw/video/drama-details.php?id=458921
http://mod.cht.com.tw/video/drama-details.php?id=460533
...
裡面集數非常混亂, 且包含許多錯誤的影片, 很多卡通199的影集都有類似的問題,
第二個問題是資料龐大, 如果將每個集數都抓出來的話, 卡通199-兒童 的資料量就會從
目
前的88筆暴漲到4400筆左右.
由於怕資料量太大官網擋掉, 目前爬蟲大概是接近每0.7秒抓一個影片資料, 每天大概會
抓
二到三次, 如果資料量太大, 花費時間會過多.
第三個是google試算表的排序問題, 一般正常人的觀點, 排續集數的時候, 大概是這樣
火影第1集
火影第2集
火影第3集
火影第4集
火影第10集
火影第11集
火影第12集
火影第20集
火影第21集
火影第22集
火影第99集
火影第100集
火影第101集
但是google試算表排序的是
火影第1集
火影第10集
火影第100集
火影第101集
火影第11集
火影第12集
火影第2集
火影第20集
火影第21集
火影第22集
火影第3集
火影第4集
當然, 對sort下一些參數可以改善排序, 但始終沒找到一個適用全部影集的方式, 都
只能改善部分影集.
以上三個問題, 讓我目前暫時放棄抓影集的資訊.
--
: J大的列表真是太好用了
: 不過想請教一下
: 關於一些MOD官網未建好目錄路徑的影片
: 例如:電影199裡的新天堂樂園
: http://mod.cht.com.tw/video/movie-details.php?id=386003
: 電影199 龍紋身的女孩
: http://mod.cht.com.tw/video/movie-details.php?id=452694
: 電影199 紅色情深 經典數位修復
: http://mod.cht.com.tw/video/movie-details.php?id=417886
: 等等 族繁不及備載
: 不知道J大是否也有辦法用程式抓取列表呢?
: 或是量會太大?
: 或許可以懇請J大設一頁工作表來放這些迷失的名片
: 因為機上盒雖然找得到,但是要找出哪些片即將下片實在太費時了
: 光是有片名跟下片日期,即使沒有路徑幫助也很大了,
: MOD官網不知為何 比方說驚悚類的就漏建路徑十來片
: 好萊塢199的影集更是幾乎全都漏...Orz
: 個人小小發現,如不方便也感謝J大,畢竟是MOD官網的問題...
: 謝謝撥冗閱讀^^
官網目前資料有點奇怪, 以前電影199大概都能抓到1400筆左右的資料, 等官網修正吧.
以下簡介一下目前爬蟲的機制, 以電影199來舉例,
1. 首先會進入
http://mod.cht.com.tw/video/set_monthly.php?id=1
2. 抓取每個標題連結, 例如
本週上架 http://mod.cht.com.tw/video/set-type.php?id=73
熱門排行 http://mod.cht.com.tw/video/set-type.php?id=74
音樂電影 http://mod.cht.com.tw/video/set-type.php?id=75
劇情 http://mod.cht.com.tw/video/set-type.php?id=76
...
3. 再進入每個標題(例如本週上架), 抓取每個影片連結, 例如
柯羅索巨獸 http://mod.cht.com.tw/video/movie-details.php?id=459269
蠟筆小新電影 http://mod.cht.com.tw/video/movie-details.php?id=459257
恐龍尤物 http://mod.cht.com.tw/video/movie-details.php?id=459443
唱吧!奇蹟! http://mod.cht.com.tw/video/movie-details.php?id=459271
...
4. 最後進入每個影片連結, 抓取相關資料(片名, 多螢, 路徑, 下片日期, 簡介...)
所以如果無法透過以上方式進入的影片, 將無法抓取.
另外影集的問題, 舉個例子
http://mod.cht.com.tw/video/drama-details.php?id=448866
當步驟4進入此影片的連結後, 目前只會抓取現存的影片資料, 也就是
[Poli波力S2第1-2話]
, 其他集數不會進去抓取資料, 我有嘗試過修改程式進去抓取資料, 可是會遇到三個問題
, 第一個遇到的是官網資料混亂的問題, 例如
http://mod.cht.com.tw/video/drama-details.php?id=458921
http://mod.cht.com.tw/video/drama-details.php?id=460533
...
裡面集數非常混亂, 且包含許多錯誤的影片, 很多卡通199的影集都有類似的問題,
第二個問題是資料龐大, 如果將每個集數都抓出來的話, 卡通199-兒童 的資料量就會從
目
前的88筆暴漲到4400筆左右.
由於怕資料量太大官網擋掉, 目前爬蟲大概是接近每0.7秒抓一個影片資料, 每天大概會
抓
二到三次, 如果資料量太大, 花費時間會過多.
第三個是google試算表的排序問題, 一般正常人的觀點, 排續集數的時候, 大概是這樣
火影第1集
火影第2集
火影第3集
火影第4集
火影第10集
火影第11集
火影第12集
火影第20集
火影第21集
火影第22集
火影第99集
火影第100集
火影第101集
但是google試算表排序的是
火影第1集
火影第10集
火影第100集
火影第101集
火影第11集
火影第12集
火影第2集
火影第20集
火影第21集
火影第22集
火影第3集
火影第4集
當然, 對sort下一些參數可以改善排序, 但始終沒找到一個適用全部影集的方式, 都
只能改善部分影集.
以上三個問題, 讓我目前暫時放棄抓影集的資訊.
--
Tags:
MOD
All Comments

By Anonymous
at 2017-09-27T03:00
at 2017-09-27T03:00

By David
at 2017-09-28T06:38
at 2017-09-28T06:38

By Connor
at 2017-10-01T15:29
at 2017-10-01T15:29

By Agnes
at 2017-10-04T05:39
at 2017-10-04T05:39

By Adele
at 2017-10-04T22:52
at 2017-10-04T22:52

By David
at 2017-10-06T14:58
at 2017-10-06T14:58

By Lucy
at 2017-10-08T17:07
at 2017-10-08T17:07
Related Posts
MOD機器怎麼加裝DVD 放映機

By Xanthe
at 2017-09-23T15:22
at 2017-09-23T15:22
更換遙控器

By Oliver
at 2017-09-22T18:51
at 2017-09-22T18:51
更換遙控器

By Una
at 2017-09-22T17:40
at 2017-09-22T17:40
關於MOD 977 (好孩子別亂點)

By Eden
at 2017-09-21T23:11
at 2017-09-21T23:11
中華電信MOD-2017秋分日凌影響時間表

By Xanthe
at 2017-09-21T19:57
at 2017-09-21T19:57