27 มิถุนายน
ไม่น่าเชื่อว่าเราจะมีวันนี้...
วันที่เราจะมาเดินตามหาแอร์ในCERN
ห้องสมุดตอนนี้ได้กลายเป็นโอเอซิสของSummer studentและหลายๆคนในCERNไปแล้วค่ะ เพราะเป็นหนึ่งในไม่กี่ที่ที่มีแอร์ บางออฟฟิส(ส่วนใหญ่)ก็ไม่มีแอร์นะคะ ตอนเช้ายังพอไปแย่งชิงที่นั่งได้ทัน แต่ตอนบ่ายนี่คือแน่นมากค่ะ ถึงขั้นบางคนต้องวางของจองที่เอาไว้เลย
เปิดดูพยากรณ์อากาศของวันนี้ไป โอ้ว 36องศา
แทบจะไม่อยากเดินตากแดดไปออฟฟิสเลยค่ะ มานั่งหมกตัวอยู่ห้องสมุดดีกว่า\\ถ้ามีที่นะ
ส่วนงานของวันนี้ มาต่อกันที่ส่งAlertไปที่อีเมลกันต่อ
หลังจากประกาศLambda functionไปแล้วลองเรียกNotifierที่Initใส่configเรียบร้อยดู รันไปซักพักStreamก็เด้งค่ะ ทีนี้เลยไปส่องขอดูว่าในระหว่างProcessมันเกิดอะไรขึ้นกันแน่(หลายครั้งเจอแบบนี้ Streamเด้งแล้วต้องไปนั่งส่องเอาเอง ไม่งั้นไม่รู้Errorเพราะมันจะไม่เด้งErrorอะไรออกมาข้างนอกเลย)
ปรากฏว่าอย่างที่สันนิษฐานไว้ เป็นเพราะว่าไปเรียกภายในlambdaซึ่งจะProcessในClusterไม่ใช่Python notebook เราต้องshop fileเข้าclusterก่อนโดยการเรียก sc.addPyFile() ถึงจะเรียกได้ แลเวก็ต้องไปเปลี่ยนตัวชื่อSourceของconfigด้วยนิดหน่อย
ลองให้มันส่งไปที่เมลเราดู
โอ้ว แล้วเราก็ได้พบกับ Attack of emailไหลเข้ามารัวๆเลย มีความหลอนเกิดขึ้นนิดหน่อยด้วยตรงที่แม้จะปิดStreamingไปแล้ว. แต่เมลยังเข้ามาอยู่ คิดว่าน่าจะเป็นเพราะความดีเลย์ ไม่ก็ตัวWindow frameเองที่ดักWatermarkไว้
อย่างไรก็ตาม ถือว่างานเสร็จไปทั้งflowแล้ว เหลือแค่การImprove efficientcyให้ดีขึ้น
ทั้งData ที่ถูกแปลงเป็นStatic แล้วก็ตัวAnomaly detectionของเมลด้วย
ตอนเย็นๆSupervisorก็ให้ลองexport จากhdfsเป็นCsv เพื่อมาทำvisualitation ติดปัญหาอยู่นิดนึงตอนset window เป็นday/week month)พอรันไปนานๆก็เจอเจ๊งเหมือนกันค่ะ คราวนี้เหมือนจะเป็นที่Limitationบางอย่างของSWAN ตอนgroupเดือนกับอาทิตย์นี่ต้องใช้เวลานานเหมือนกันนะคะ
ตอนนี้เลยออกมาแต่Hourly visualization dashboardค่ะ
งดงามม!
เข้าสู่ระบบเพื่อแสดงความคิดเห็น
Log in