MOD電影199清單列表, 按照下片時間排序 - MOD

Doris avatar
By Doris
at 2017-09-24T10:24

Table of Contents

※ 引述《jonas (Jonas!Jo!)》之銘言:
: J大的列表真是太好用了
: 不過想請教一下
: 關於一些MOD官網未建好目錄路徑的影片
: 例如:電影199裡的新天堂樂園
: http://mod.cht.com.tw/video/movie-details.php?id=386003
: 電影199 龍紋身的女孩
: http://mod.cht.com.tw/video/movie-details.php?id=452694
: 電影199 紅色情深 經典數位修復
: http://mod.cht.com.tw/video/movie-details.php?id=417886
: 等等 族繁不及備載
: 不知道J大是否也有辦法用程式抓取列表呢?
: 或是量會太大?
: 或許可以懇請J大設一頁工作表來放這些迷失的名片
: 因為機上盒雖然找得到,但是要找出哪些片即將下片實在太費時了
: 光是有片名跟下片日期,即使沒有路徑幫助也很大了,
: MOD官網不知為何 比方說驚悚類的就漏建路徑十來片
: 好萊塢199的影集更是幾乎全都漏...Orz
: 個人小小發現,如不方便也感謝J大,畢竟是MOD官網的問題...
: 謝謝撥冗閱讀^^

官網目前資料有點奇怪, 以前電影199大概都能抓到1400筆左右的資料, 等官網修正吧.


以下簡介一下目前爬蟲的機制, 以電影199來舉例,

1. 首先會進入
http://mod.cht.com.tw/video/set_monthly.php?id=1

2. 抓取每個標題連結, 例如
本週上架 http://mod.cht.com.tw/video/set-type.php?id=73
熱門排行 http://mod.cht.com.tw/video/set-type.php?id=74
音樂電影 http://mod.cht.com.tw/video/set-type.php?id=75
劇情 http://mod.cht.com.tw/video/set-type.php?id=76
...

3. 再進入每個標題(例如本週上架), 抓取每個影片連結, 例如
柯羅索巨獸 http://mod.cht.com.tw/video/movie-details.php?id=459269
蠟筆小新電影 http://mod.cht.com.tw/video/movie-details.php?id=459257
恐龍尤物 http://mod.cht.com.tw/video/movie-details.php?id=459443
唱吧!奇蹟! http://mod.cht.com.tw/video/movie-details.php?id=459271
...

4. 最後進入每個影片連結, 抓取相關資料(片名, 多螢, 路徑, 下片日期, 簡介...)

所以如果無法透過以上方式進入的影片, 將無法抓取.



另外影集的問題, 舉個例子
http://mod.cht.com.tw/video/drama-details.php?id=448866

當步驟4進入此影片的連結後, 目前只會抓取現存的影片資料, 也就是
[Poli波力S2第1-2話]

, 其他集數不會進去抓取資料, 我有嘗試過修改程式進去抓取資料, 可是會遇到三個問題
, 第一個遇到的是官網資料混亂的問題, 例如
http://mod.cht.com.tw/video/drama-details.php?id=458921
http://mod.cht.com.tw/video/drama-details.php?id=460533
...

裡面集數非常混亂, 且包含許多錯誤的影片, 很多卡通199的影集都有類似的問題,

第二個問題是資料龐大, 如果將每個集數都抓出來的話, 卡通199-兒童 的資料量就會從

前的88筆暴漲到4400筆左右.

由於怕資料量太大官網擋掉, 目前爬蟲大概是接近每0.7秒抓一個影片資料, 每天大概會

二到三次, 如果資料量太大, 花費時間會過多.

第三個是google試算表的排序問題, 一般正常人的觀點, 排續集數的時候, 大概是這樣
火影第1集
火影第2集
火影第3集
火影第4集
火影第10集
火影第11集
火影第12集
火影第20集
火影第21集
火影第22集
火影第99集
火影第100集
火影第101集

但是google試算表排序的是
火影第1集
火影第10集
火影第100集
火影第101集
火影第11集
火影第12集
火影第2集
火影第20集
火影第21集
火影第22集
火影第3集
火影第4集

當然, 對sort下一些參數可以改善排序, 但始終沒找到一個適用全部影集的方式, 都
只能改善部分影集.


以上三個問題, 讓我目前暫時放棄抓影集的資訊.

--
Tags: MOD

All Comments

Anonymous avatar
By Anonymous
at 2017-09-27T03:00
只能說辛苦了 做這種吃力不討好的工作...
David avatar
By David
at 2017-09-28T06:38
一個現在連節目表都做不好 光是STB、WEB、APP都能不
Connor avatar
By Connor
at 2017-10-01T15:29
同步的系統。外面的人是更難去做統合之類的事。
Agnes avatar
By Agnes
at 2017-10-04T05:39
開放API即可改善所有問題 但不可能
Adele avatar
By Adele
at 2017-10-04T22:52
謝謝J大,看來目前只能等MOD官網改善了
David avatar
By David
at 2017-10-06T14:58
感謝J大感嘆J大!
Lucy avatar
By Lucy
at 2017-10-08T17:07
電影199超讚啊!

MOD機器怎麼加裝DVD 放映機

Xanthe avatar
By Xanthe
at 2017-09-23T15:22
想請問一下 在MOD機器外 有辦法加裝dvd放影機嗎? 感覺MOD似乎把影音接頭給佔住了 不需要錄的功能 sorry - ...

更換遙控器

Oliver avatar
By Oliver
at 2017-09-22T18:51
說到 遙控器 , 順便問一個問題 我剛裝 MOD 不久 但我發現 遙控器 沒有返回鍵 ??????????????????? (就是譬如你轉第66台, 然後又轉 88台 , 如果有 返回鍵 就可以回到66台) ------------------------------------ 我聽工程師說 ...

更換遙控器

Una avatar
By Una
at 2017-09-22T17:40
https://i.imgur.com/zuTjw1t.jpg 原本的遙控器感應不良有點難按 今天也抽空到服務處更換遙控器了 直接報上資料就換給我了 原本以為應該是更換良品 結果拿到全新的 還不錯 遙控器有問題到趕快去更換吧! - ...

關於MOD 977 (好孩子別亂點)

Eden avatar
By Eden
at 2017-09-21T23:11
最近亂轉結果發現有送兩週的試用 還有50點的點數 想問說這試用開始後會自動訂閱嗎 點數只能用在這裡嗎 (歡樂點 支援平板,手機觀看但要綁定門號 這門號是隨便綁我的手機還是有要求阿 會被發現嗎ㄎㄎ - ...

中華電信MOD-2017秋分日凌影響時間表

Xanthe avatar
By Xanthe
at 2017-09-21T19:57
http://mod.cht.com.tw/news/announcement/content.php?id=9372 2017秋分日凌影響時間表 下列頻道因受日凌現象太陽電磁波的影響,在所示時間可能產生畫面干擾或黑畫面。 影響時段如下 (依每日時間排序): 9/20~9/29 下午 13:03~13 ...