Comment puis-je supprimer uniquement la balise d’un site Web?

Je pense que votre meilleure option consiste à utiliser un parsingur HTML léger ( quelque chose comme Majestic 12 , basé sur mes tests, il est environ 50 à 100% plus rapide que HTML Agility Pack) et à ne traiter que les nœuds qui vous intéressent ( et ). Majestic 12 est un peu plus difficile à utiliser que HTML Agility Pack, mais si vous recherchez des performances, il vous aidera certainement!

Cela vous mènera à la fin de ce que vous demandez, mais vous devrez quand même télécharger la page entière. Je ne pense pas qu’il y ait un moyen de contourner cela. Ce que vous allez économiser, c’est générer les nœuds DOM pour tous les autres contenus (en dehors du corps). Vous devrez les parsingr, mais vous pouvez ignorer tout le contenu d’un nœud que vous ne souhaitez pas traiter.

Voici un bon exemple d’utilisation de l’parsingur M12.

Je n’ai pas d’exemple concret sur la manière de saisir le corps, mais j’en ai un qui consiste à saisir uniquement les liens et avec peu de modifications, il y parviendra. Voici la version brute:

 GrabBody(ParserTools.OpenM12Parser(_response.BodyBytes)); 

Vous devez ouvrir l’parsingur M12 (l’exemple de projet fourni avec M12 contient des commentaires qui détaillent exactement la manière dont toutes ces options affectent les performances, ET ILS LE FONT !!!):

 public static HTMLparser OpenM12Parser(byte[] buffer) { HTMLparser parser = new HTMLparser(); parser.SetChunkHashMode(false); parser.bKeepRawHTML = false; parser.bDecodeEntities = true; parser.bDecodeMiniEntities = true; if (!parser.bDecodeEntities && parser.bDecodeMiniEntities) parser.InitMiniEntities(); parser.bAutoExtractBetweenTagsOnly = true; parser.bAutoKeepScripts = true; parser.bAutoMarkClosedTagsWithParamsAsOpen = true; parser.CleanUp(); parser.Init(buffer); return parser; } 

Analyser le corps:

 public void GrabBody(HTMLparser parser) { // parser will return us tokens called HTMLchunk -- warning DO NOT destroy it until end of parsing // because HTMLparser re-uses this object HTMLchunk chunk = null; // we parse until returned oChunk is null indicating we reached end of parsing while ((chunk = parser.ParseNext()) != null) { switch (chunk.oType) { // matched open tag, ie  case HTMLchunkType.OpenTag: if (chunk.sTag == "body") { // Start generating the DOM node (as shown in the previous example link) } break; // matched close tag, ie  case HTMLchunkType.CloseTag: break; // matched normal text case HTMLchunkType.Text: break; // matched HTML comment, that's stuff between  case HTMLchunkType.Comment: break; }; } } 

La génération des nœuds DOM est délicate, mais la classe Majestic12ToXml vous aidera à le faire. Comme je l’ai dit, ce n’est pas du tout l’équivalent du 3-liner que vous avez vu avec le pack d’agilité HTML, mais une fois que vous aurez acquis les outils, vous pourrez obtenir exactement ce dont vous avez besoin pour une fraction du coût en performances et probablement aussi. beaucoup de lignes de code.

Je suggérerais de tirer parti du Pack d’agilité HTML pour effectuer l’parsing / la manipulation HTML.

Vous pouvez facilement sélectionner le corps comme ceci:

 var webGet = new HtmlWeb(); var document = webGet.Load(url); document.DocumentNode.SelectSingleNode("//body") 

Toujours la méthode la plus simple / la plus rapide (la moins précise).

 int start = response.IndexOf(" 

 document.write("");